DeepSeek 推論高速化徹底チュートリアル

スループット	単位時間あたりに処理されるトークン数（tokens/s）。システム全体の処理能力を示し、高いほど良い。
最初のトークンまでの時間 (TTFT)	リクエスト送信から最初のトークンを受信するまでの時間。ユーザーエクスペリエンスに影響する重要な指標。
トークンあたりの出力時間 (TPOT)	各トークンの生成にかかる平均時間。ストリーミング出力の滑らかさに影響します。
VRAM使用量	モデルのロードと推論中に使用されるGPUメモリ（GB）。デプロイ可能なモデルサイズとバッチサイズに直接影響します。

エンジン	開発元	主な利点	適用シナリオ
vLLM	UC Berkeley	PagedAttentionによるメモリ管理、非常に高いスループット	本番環境のAPIサービス
SGLang	Stanford/LMSYS	RadixAttentionによるプレフィックスキャッシュ、構造化生成	マルチターン対話、エージェントシナリオ
TensorRT-LLM	NVIDIA	極限のGPU最適化、FP8/INT4量子化	NVIDIA GPUでの最高性能
llama.cpp	ggerganov	CPU/GPUハイブリッド推論、GGUF量子化	パソコン、エッジデバイス

• KVキャッシュ管理：計算済みのKey-Value行列をキャッシュし、重複計算を回避。PagedAttentionはKVキャッシュをページ単位で管理し、メモリ使用効率を2〜4倍向上させます。
• Continuous Batching：動的バッチ処理。リクエスト完了後すぐに新しいリクエストに置き換え、GPU使用率を高い状態に保ちます。
• 量子化：FP16重みをINT8/INT4/FP8に圧縮し、メモリ使用量を50%〜75%削減、精度低下は最小限。
• カーネル融合：複数のCUDAカーネルを1つに統合し、メモリ読み書きを削減、計算効率を向上。
• テンソル並列：単一レイヤーの重みを複数のGPUに分割し、単一GPUのメモリ制限を突破。
• 投機的デコーディング：小さいモデルで候補トークンを高速生成し、大きいモデルで検証、2〜3倍高速化。

選定のアドバイス

本番環境のAPIサービスにはvLLMが最適です。マルチターン対話やエージェントシナリオにはSGLangを推奨。極限のGPU性能を求めるならTensorRT-LLM。パソコンやエッジデバイスにはllama.cppを使用してください。モデルの詳細はDeepSeekモデルアーキテクチャ詳細をご覧ください。

• KV Cache のブロック化: 各ブロックは固定数のトークンの Key と Value ベクトルを格納
• オンデマンド割り当て: リクエスト到着時にのみブロックを割り当て、連続空間を事前割り当てしない
• メモリ共有: 並列サンプリングやビームサーチのシナリオでは、同じプロンプトの KV Cache を共有可能
• コピーオンライト: 書き込み時にのみブロックをコピーし、共有を最大化

# vLLM のインストール（pip 推奨） pip install vllm # ソースからインストール（最新機能を取得） git clone https://github.com/vllm-project/vllm.git cd vllm pip install -e . # インストールの確認 python -c "import vllm; print(vllm.__version__)"

# DeepSeek-V3/R1 671B 複数 GPU デプロイ（8x A100/H100 80GB） vllm serve deepseek-ai/DeepSeek-V3 \ --tensor-parallel-size 8 \ --max-model-len 8192 \ --gpu-memory-utilization 0.95 \ --max-num-seqs 256 \ --enable-prefix-caching \ --trust-remote-code # DeepSeek-R1 蒸留版デプロイ（単一 A100 80GB） vllm serve deepseek-ai/DeepSeek-R1-Distill-Llama-70B \ --tensor-parallel-size 1 \ --max-model-len 4096 \ --gpu-memory-utilization 0.90 \ --dtype bfloat16 \ --trust-remote-code # DeepSeek-R1-Distill-Qwen-32B（単一 RTX 4090 24GB） vllm serve deepseek-ai/DeepSeek-R1-Distill-Qwen-32B \ --max-model-len 4096 \ --gpu-memory-utilization 0.85 \ --dtype float16 \ --trust-remote-code

パラメータ	説明	推奨値
--max-num-seqs	最大同時リクエスト数	128-256
--max-num-batched-tokens	1 回のバッチ処理あたりの最大トークン数	8192-16384
--gpu-memory-utilization	GPU メモリ使用率の上限	0.90-0.95
--enable-prefix-caching	プレフィックスキャッシュを有効化（共有プロンプトは KV Cache を自動再利用）	有効
--enable-chunked-prefill	チャンク化プリフィル、長いプロンプトが他のリクエストをブロックしない	有効

from openai import OpenAI # vLLM はデフォルトで OpenAI 互換 API を提供 client = OpenAI( base_url="http://localhost:8000/v1", api_key="not-needed", ) response = client.chat.completions.create( model="deepseek-ai/DeepSeek-V3", messages=[ {"role": "system", "content": "あなたはプロのプログラミングアシスタントです。"}, {"role": "user", "content": "Python でクイックソートアルゴリズムを実装してください。"}, ], temperature=0.7, max_tokens=2048, stream=True, ) for chunk in response: if chunk.choices[0].delta.content: print(chunk.choices[0].delta.content, end="")

ヒント

vLLM の OpenAI 互換 API は、コードロジックを変更することなく、OpenAI SDK を使用する任意のアプリケーションを直接置き換えることができます。本番環境では、Nginx を使用したロードバランシングとレート制限を推奨します。

• プレフィックスツリーストレージ: すべてのリクエストの KV キャッシュはプレフィックスごとにツリー構造で編成されます
• 自動マッチング: 新しいリクエストが到着すると、最長の共通プレフィックスを自動的にマッチングし、KV キャッシュを再利用します
• LRU 退避: LRU 戦略を使用してキャッシュを管理し、メモリ制限下でキャッシュヒット率を最大化します
• 設定不要: RadixAttention は完全に自動で動作し、手動でのプレフィックス設定は不要です

# SGLang のインストール（pip 推奨） pip install sglang[all] # またはソースからインストール git clone https://github.com/sgl-project/sglang.git cd sglang pip install -e "python[all]" # インストールの確認 python -c "import sglang; print(sglang.__version__)"

# DeepSeek-V3 マルチ GPU デプロイ（8x H100 80GB） python -m sglang.launch_server \ --model deepseek-ai/DeepSeek-V3 \ --tp 8 \ --context-length 8192 \ --mem-fraction-static 0.85 \ --enable-radix-cache # DeepSeek-R1 蒸留版（2x A100 80GB） python -m sglang.launch_server \ --model deepseek-ai/DeepSeek-R1-Distill-Llama-70B \ --tp 2 \ --context-length 4096 \ --mem-fraction-static 0.90 # DeepSeek-Coder-V2 コード推論（シングル H100） python -m sglang.launch_server \ --model deepseek-ai/DeepSeek-Coder-V2-Instruct \ --tp 1 \ --context-length 16384 \ --dtype bfloat16 \ --enable-radix-cache

import sglang as sgl @sgl.function def multi_turn_chat(s, system_prompt, user_question): # システムプロンプトは自動的にキャッシュされ、マルチターン対話で再利用されます s += sgl.system(system_prompt) s += sgl.user(user_question) s += sgl.assistant(sgl.gen("answer", max_tokens=1024)) # 複数ブランチの並列呼び出し @sgl.function def parallel_eval(s, question): s += sgl.system("以下のプランを評価してください。") s += sgl.user(question) # 3 つの次元で評価を並列生成 s += sgl.fork(3) s += sgl.gen("score", max_tokens=10, regex=r"\d+\.\d+") s += sgl.gen("reason", max_tokens=200) s += sgl.gen("suggestion", max_tokens=200) s += sgl.join() # ランタイムバックエンドの設定 runtime = sgl.Runtime(model_path="deepseek-ai/DeepSeek-V3") sgl.set_default_backend(runtime) # 実行 state = multi_turn_chat.run( system_prompt="あなたはプロのプログラミングアシスタントです。", user_question="PagedAttention の原理を説明してください。", ) print(state["answer"])

シナリオ	キャッシュなし TTFT	キャッシュあり TTFT	高速化
マルチターン対話（5 ターン）	450ms	120ms	3.75x
Few-shot プロンプト（10-shot）	820ms	150ms	5.46x
エージェントツール呼び出し	380ms	90ms	4.22x

• グラフ最適化: レイヤー融合、定数畳み込み、デッドコード除去などの計算グラフ最適化を自動実行
• カーネルの自動チューニング: 特定の GPU アーキテクチャ（H100/A100/L40S）に最適な CUDA カーネルを自動選択
• FP8 ネイティブサポート: H100 の FP8 Tensor Core アクセラレーションにより、スループットが 2 倍に
• INT4/INT8 量子化: Weight-Only および SmoothQuant 量子化スキームをサポート
• インフライトバッチ処理: NVIDIA による Continuous Batching の実装で、レイテンシが低減

# Docker から始める（環境問題を避けるため推奨） docker pull nvcr.io/nvidia/tritonserver:24.06-trtllm-python-py3 # コンテナを実行 docker run --gpus all -it --rm \ -v /path/to/models:/models \ nvcr.io/nvidia/tritonserver:24.06-trtllm-python-py3 # またはコンテナ内で pip インストール pip install tensorrt_llm -U --extra-index-url https://pypi.nvidia.com

# ステップ 1: TensorRT-LLM チェックポイント形式に変換 python convert_checkpoint.py \ --model_dir deepseek-ai/DeepSeek-R1-Distill-Llama-70B \ --output_dir ./trt_checkpoints \ --dtype bfloat16 \ --tp_size 2 # ステップ 2: TensorRT Engine をビルド trtllm-build \ --checkpoint_dir ./trt_checkpoints \ --output_dir ./trt_engines \ --gemm_plugin bfloat16 \ --max_batch_size 64 \ --max_input_len 4096 \ --max_output_len 2048 \ --max_num_tokens 8192 \ --use_fp8_context_fmha enable # ステップ 3: 推論サービスを実行 python run.py \ --engine_dir ./trt_engines \ --tokenizer_dir deepseek-ai/DeepSeek-R1-Distill-Llama-70B \ --max_output_len 2048 \ --enable_triton_backend

# FP8 量子化変換（キャリブレーションデータが必要） python quantize.py \ --model_dir deepseek-ai/DeepSeek-R1-Distill-Llama-70B \ --dtype bfloat16 \ --qformat fp8 \ --kv_cache_dtype fp8 \ --output_dir ./trt_checkpoints_fp8 \ --calib_size 512 \ --tp_size 2 # FP8 Engine をビルド trtllm-build \ --checkpoint_dir ./trt_checkpoints_fp8 \ --output_dir ./trt_engines_fp8 \ --gemm_plugin fp8 \ --max_batch_size 128 \ --max_input_len 4096 \ --max_output_len 2048 \ --use_fp8_context_fmha enable # FP8 推論: メモリ半分、スループット 2 倍 python run.py \ --engine_dir ./trt_engines_fp8 \ --tokenizer_dir deepseek-ai/DeepSeek-R1-Distill-Llama-70B \ --max_output_len 2048

# INT4 Weight-Only 量子化 python quantize.py \ --model_dir deepseek-ai/DeepSeek-R1-Distill-Qwen-32B \ --dtype float16 \ --qformat int4_awq \ --group_size 128 \ --output_dir ./trt_checkpoints_int4 \ --calib_size 128 # INT4 Engine をビルド trtllm-build \ --checkpoint_dir ./trt_checkpoints_int4 \ --output_dir ./trt_engines_int4 \ --gemm_plugin int4 \ --max_batch_size 64 \ --max_input_len 4096 \ --max_output_len 2048 # INT4 推論: 32B モデルは約 16GB の VRAM のみで、RTX 4090 で実行可能

TensorRT-LLM の適用シナリオ

TensorRT-LLM は、純粋な NVIDIA GPU 環境で最高の推論パフォーマンスを追求する本番シナリオに最適です。欠点は、デプロイプロセスが複雑でモデルコンパイルのステップが必要なこと、vLLM や SGLang よりも柔軟性が低いことです。推論プラットフォームとして Triton Inference Server を使用する場合、TensorRT-LLM が推奨バックエンドです。

量子化タイプ	ビット幅	ファイルサイズ比	品質	推奨シナリオ
Q4_K_M	~4.5 bit	~25%	優秀	コストパフォーマンス最良、最初の選択として推奨
Q5_K_M	~5.5 bit	~30%	非常に良い	より高品質を求める場合
Q8_0	8 bit	~50%	ほぼ無損失	VRAM が十分にある場合
IQ3_M	~3.5 bit	~20%	良好	VRAM が極端に限られている場合

# macOS（Homebrew を使用） brew install llama.cpp # Linux / Windows（ソースからコンパイル） git clone https://github.com/ggerganov/llama.cpp cd llama.cpp make -j # CUDA アクセラレーションを有効化 make -j GGML_CUDA=1 # Apple Metal アクセラレーションを有効化（macOS） make -j GGML_METAL=1 # Python バインディングをインストール pip install llama-cpp-python # CUDA 対応の Python バインディング CMAKE_ARGS="-DGGML_CUDA=on" pip install llama-cpp-python

# GGUF 形式の DeepSeek 蒸留モデルをダウンロード（Qwen-32B を例に） # Hugging Face から Q4_K_M 量子化バージョンをダウンロード wget https://huggingface.co/unsloth/DeepSeek-R1-Distill-Qwen-32B-GGUF/resolve/main/DeepSeek-R1-Distill-Qwen-32B-Q4_K_M.gguf # コマンドライン推論 ./llama-cli \ -m DeepSeek-R1-Distill-Qwen-32B-Q4_K_M.gguf \ -p "MoE（Mixture of Experts）アーキテクチャの原理を説明してください。" \ -n 512 \ -t 8 \ --temp 0.7 \ --top-p 0.9 # OpenAI 互換 API サーバーを起動 ./llama-server \ -m DeepSeek-R1-Distill-Qwen-32B-Q4_K_M.gguf \ --host 0.0.0.0 \ --port 8080 \ -ngl 99 \ -c 4096 \ -t 8

from llama_cpp import Llama # モデルのロード llm = Llama( model_path="./DeepSeek-R1-Distill-Qwen-32B-Q4_K_M.gguf", n_ctx=4096, # コンテキスト長 n_threads=8, # CPU スレッド数 n_gpu_layers=99, # GPU アクセラレーション層数（-1 = すべて） verbose=False, ) # 推論 response = llm.create_chat_completion( messages=[ {"role": "user", "content": "Python で二分探索アルゴリズムを書いてください。"}, ], temperature=0.7, max_tokens=512, stream=True, ) for chunk in response: if "choices" in chunk: delta = chunk["choices"][0].get("delta", {}) print(delta.get("content", ""), end="")

# macOS でコンパイル時に Metal を有効化 make -j GGML_METAL=1 # 実行時に GPU 層数を指定 ./llama-cli \ -m DeepSeek-R1-Distill-Qwen-14B-Q4_K_M.gguf \ -p "Transformer の Self-Attention メカニズムを説明してください。" \ -ngl 99 \ -c 4096 \ -n 512 # M3 Max (36GB) は Qwen-32B Q4_K_M を実行可能 # M2 Ultra (64GB) は Qwen-72B Q4_K_M を実行可能

ハードウェア構成	推奨モデル	量子化	期待速度
16GB RAM + RTX 4060	DeepSeek-R1-Distill-Qwen-7B	Q4_K_M	30-50 tok/s
32GB RAM + RTX 4090	DeepSeek-R1-Distill-Qwen-32B	Q4_K_M	20-35 tok/s
M3 Max 36GB	DeepSeek-R1-Distill-Qwen-32B	Q4_K_M	15-25 tok/s
M2 Ultra 64GB	DeepSeek-R1-Distill-Llama-70B	Q4_K_M	8-15 tok/s

エンジン	入力128トークン	入力512トークン	入力2048トークン	出力256トークン
vLLM (FP16)	3,420	2,890	2,150	2,680
SGLang (FP16)	3,510	3,120	2,380	2,920
TensorRT-LLM (FP8)	5,820	4,950	3,680	4,580
llama.cpp (Q4)	580	420	280	380

エンジン	アイドルTTFT	16並列TTFT	64並列TTFT	TPOT
vLLM (FP16)	85ms	210ms	580ms	32ms
SGLang (FP16)	72ms	185ms	510ms	28ms
TensorRT-LLM (FP8)	80ms	195ms	530ms	30ms
llama.cpp (Q4)	1,250ms	2,800ms	8,500ms	180ms

エンジン	モデル重み	KVキャッシュ	その他オーバーヘッド	合計
vLLM (FP16)	140GB	12GB	4GB	156GB
SGLang (FP16)	140GB	10GB	4GB	154GB
TensorRT-LLM (FP8)	70GB	6GB	3GB	79GB
llama.cpp (Q4)	38GB	4GB	2GB	44GB

ベンチマーク結論

• TensorRT-LLM FP8はNVIDIA GPU上でスループットが最も高く、メモリ使用量が最も少ない。
• SGLangは長いコンテキストやマルチターン会話シナリオで最も低いレイテンシを実現（RadixAttentionの利点）。
• vLLMはエコシステムが最も成熟し、コミュニティが最も活発で、デプロイが最も簡単です。
• llama.cppはGPU環境では前述の3つよりも性能が大幅に劣りますが、CPUやエッジデバイスでは最良の体験を提供します。

量子化手法	ビット幅	圧縮率	精度損失	対応エンジン
AWQ	INT4	4倍	< 0.5%	vLLM, TensorRT-LLM, SGLang
GPTQ	INT4	4倍	< 1%	vLLM, TensorRT-LLM
GGUF	2-8ビット	2-8倍	< 1% (Q4+)	llama.cpp
FP8	8ビット	2倍	ほぼ無損失	TensorRT-LLM (H100)
SmoothQuant	INT8	2倍	< 0.5%	TensorRT-LLM

# AutoAWQのインストール pip install autoawq # AWQ量子化（DeepSeek-R1-Distill-Qwen-32Bの例） from awq import AutoAWQForCausalLM from transformers import AutoTokenizer model_path = "deepseek-ai/DeepSeek-R1-Distill-Qwen-32B" quant_path = "DeepSeek-R1-Distill-Qwen-32B-AWQ" # モデルの読み込み model = AutoAWQForCausalLM.from_pretrained(model_path) tokenizer = AutoTokenizer.from_pretrained(model_path) # 量子化設定 quant_config = { "zero_point": True, "q_group_size": 128, "w_bit": 4, "version": "GEMM", } # 量子化の実行 model.quantize(tokenizer, quant_config=quant_config) # 量子化モデルの保存 model.save_quantized(quant_path) tokenizer.save_pretrained(quant_path) # vLLMでAWQ量子化モデルを使用 # vllm serve ./DeepSeek-R1-Distill-Qwen-32B-AWQ --quantization awq

モデル	FP16メモリ	FP8メモリ	INT4メモリ	削減率
DeepSeek-V3 (671B)	1,342 GB	671 GB	336 GB	75%
R1-Distill-Llama-70B	140 GB	70 GB	35 GB	75%
R1-Distill-Qwen-32B	64 GB	32 GB	16 GB	75%
R1-Distill-Qwen-7B	14 GB	7 GB	3.5 GB	75%

• FP8: 精度損失はほぼゼロ（< 0.1%）です。FP8は浮動小数点表現を使用し、ダイナミックレンジが大きいためです。ただし、H100/H200などFP8対応ハードウェアが必要です。
• INT8 (SmoothQuant): 精度損失は< 0.5%で、アクティベーションの外れ値を平滑化することで実現します。汎用性が高く、A100/H100の両方で使用できます。
• INT4 (AWQ)：精度損失 < 0.5%、アクティベーション値の分布を分析して重要なチャネルを保護します。現在最も推奨されるINT4ソリューション
• INT4 (GPTQ)：精度損失 < 1%、キャリブレーションデータが必要ですが、量子化プロセスはより安定しています
• Q4_K_M (GGUF)：精度損失 < 1%、llama.cppエコシステムで広く使用され、コストパフォーマンスが最も高い

量子化選定の推奨事項

H100をお持ちの場合はFP8を優先（スループットが最も高い）；A100環境ではAWQ INT4を推奨（VRAM節約効果が顕著で精度も高い）；個人PCではGGUF Q4_K_M（ファイルサイズが小さく、互換性が良い）。VRAMを75%削減することで、同じモデルをはるかに少ないGPUでデプロイできるか、同じハードウェアでより多くの同時ユーザーにサービスを提供できます。