DeepSeek 开源模型完整列表

Janus-Pro 的核心创新是 Decoupled Visual Encoding——将视觉编码分为两条独立路径：

两条路径共享同一个 Transformer 语言模型作为"大脑"，但视觉编码各自独立。这种设计避免了传统方案中单一编码器在理解和生成任务上的冲突，让 Janus-Pro 在两个方向上都达到顶尖水平。

Janus-Pro-7B 支持 384×384 分辨率的文本到图像生成。其生成流程如下：

1. 用户输入文本描述（prompt）
2. 语言模型将文本转换为视觉 token 序列（通过 VQ Tokenizer 的 codebook）
3. 自回归生成离散的视觉 token，每个 token 对应 codebook 中的一个索引
4. VQ Tokenizer 解码器将 token 序列重构为 384×384 RGB 图像

虽然分辨率（384×384）不及专用图像生成模型（如 SDXL 的 1024×1024），但作为统一多模态模型，Janus-Pro 在理解与生成兼顾的场景下表现优异，生成质量接近专用模型。

import torch
from transformers import AutoModelForCausalLM
from janus.models import MultiModalityCausalLM, VLChatProcessor
from PIL import Image

# 1. 加载模型
model_path = "deepseek-ai/Janus-Pro-7B"
vl_chat_processor = VLChatProcessor.from_pretrained(model_path)
tokenizer = vl_chat_processor.tokenizer

vl_gpt = AutoModelForCausalLM.from_pretrained(
    model_path,
    trust_remote_code=True,
    torch_dtype=torch.bfloat16,
    device_map="auto"
).eval()

# 2. 多模态理解 — 图像问答
conversation = [
    {
        "role": "<|User|>",
        "content": "<image_placeholder>\n这张图片中有什么？请详细描述。",
        "images": ["images/demo.jpg"],
    },
    {"role": "<|Assistant|>", "content": ""},
]

prepare_inputs = vl_chat_processor(
    conversations=conversation,
    images=[Image.open("images/demo.jpg")],
    force_batchify=True
).to(vl_gpt.device)

inputs_embeds = vl_gpt.prepare_inputs_embeds(**prepare_inputs)
outputs = vl_gpt.language_model.generate(
    inputs_embeds=inputs_embeds,
    attention_mask=prepare_inputs.attention_mask,
    pad_token_id=tokenizer.eos_token_id,
    max_new_tokens=512,
    do_sample=False,
)
answer = tokenizer.decode(outputs[0], skip_special_tokens=True)
print(f"理解结果: {answer}")

# 3. 图像生成 — 文本到图像
gen_conversation = [
    {
        "role": "<|User|>",
        "content": "生成一张图片：一只可爱的橘猫坐在窗台上，阳光洒在它身上。",
    },
    {"role": "<|Assistant|>", "content": ""},
]

gen_inputs = vl_chat_processor(
    conversations=gen_conversation,
    force_batchify=True
).to(vl_gpt.device)

# 设置生成图像所需的特殊 token
gen_inputs_embeds = vl_gpt.prepare_inputs_embeds(**gen_inputs)
gen_outputs = vl_gpt.language_model.generate(
    inputs_embeds=gen_inputs_embeds,
    attention_mask=gen_inputs.attention_mask,
    pad_token_id=tokenizer.eos_token_id,
    max_new_tokens=2048,
    do_sample=True,
    temperature=0.8,
)

# 解码生成的视觉 token 为图像
generated_tokens = gen_outputs[0]
decoded_image = vl_gpt.gen_vision_model.decode_code(
    generated_tokens,
    shape=[384, 384]
)
decoded_image.save("generated_cat.png")
print("图像已保存为 generated_cat.png")

DeepSeek VL2 采用 Mixture-of-Experts 视觉语言架构，由两大核心组件构成：

DeepSeek VL2 的核心创新之一是 动态分辨率（Dynamic Resolution）支持。传统视觉语言模型通常将图像强制裁剪或缩放为固定尺寸（如 224×224 或 336×336），导致小文字模糊、宽高比失真。VL2 通过以下机制解决了这一问题：

• 自适应切块：根据图像原始宽高比和分辨率，自动将图像切分为多个子图块（tiles），每个子图块独立编码
• 全局缩略图：同时保留一张全局缩略图，用于捕捉整体构图和上下文信息
• 分辨率自适应：支持从低分辨率缩略图到高分辨率扫描件的任意分辨率输入，无需人工预处理
• 动态 token 分配：根据图像内容复杂度，智能分配视觉 token 数量——简单图表使用较少 token，密集文档使用更多 token

from transformers import AutoModelForCausalLM

from deepseek_vl2.models import DeepseekVLV2Processor, DeepseekVLV2ForCausalLM
import torch

# 1. 加载模型与处理器
model_path = "deepseek-ai/deepseek-vl2-small"
vl_chat_processor = DeepseekVLV2Processor.from_pretrained(model_path)
tokenizer = vl_chat_processor.tokenizer

vl_gpt = DeepseekVLV2ForCausalLM.from_pretrained(
    model_path,
    trust_remote_code=True,
    torch_dtype=torch.bfloat16,
    device_map="auto"
).cuda().eval()

# 2. 多轮对话示例（支持动态分辨率图像）
conversation = [
    {
        "role": "User",
        "content": "<image>\n请描述这张图片的内容，并提取其中的文字。",
        "images": ["./document.png"]
    },
    {
        "role": "Assistant",
        "content": "这是一份财务报告..."
    },
    {
        "role": "User",
        "content": "<image>\n这张图表中的趋势是什么？",
        "images": ["./chart.png"]
    },
]

# 3. 准备输入并推理
prepare_inputs = vl_chat_processor(
    conversations=conversation,
    images=["./document.png", "./chart.png"],
    force_batchify=True
).to(device=vl_gpt.device, dtype=vl_gpt.dtype)

# 4. 生成回答
inputs_embeds = vl_gpt.prepare_inputs_embeds(**prepare_inputs)
outputs = vl_gpt.language_model.generate(
    inputs_embeds=inputs_embeds,
    attention_mask=prepare_inputs.attention_mask,
    max_new_tokens=512,
    do_sample=False,
)

answer = tokenizer.decode(outputs[0], skip_special_tokens=True)
print(answer)

社区维护的 Awesome DeepSeek Integration 项目已成为 DeepSeek 生态的重要入口，整合了 DeepSeek API 和开源模型在各类应用中的集成方案：

• 624+ 次提交（commits），持续活跃更新
• 覆盖 5 种语言的集成文档和示例代码
• 涵盖聊天客户端、RAG 框架、Agent 平台、编程插件等 50+ 种集成方式
• 社区贡献者和 Fork 数量持续增长，已成为 DeepSeek 生态的核心枢纽