多言語RAGシステムの設計

多言語RAGの独自の課題

ナレッジベースに中国語の技術文書、英語の論文、日本語の特許が混在している場合、ユーザーが中国語で質問しても英語や日本語の関連コンテンツを検索できるようにするにはどうすればよいでしょうか？多言語RAGには3つの主要な課題があります：Embeddingの非整合（異なる言語の同じ意味がベクトル空間で遠く離れている可能性）、検索言語の不一致（中国語のクエリが英語の文書にマッチしにくい）、多言語生成の一貫性（多言語コンテキストが混在すると生成時に言語が混乱する可能性）。

多言語Embeddingの選定

Embeddingモデルの選択は多言語RAGの基盤です。推奨モデル：Multilingual-E5（100以上の言語をサポート、MITライセンス）、BGE-M3（中英の密・疎ハイブリッド検索をサポート）、OpenAI text-embedding-3-large（多言語性能は良いがコストが高い）、Cohere Embed v3（多言語で圧縮ベクトルをサポート）。重要な評価指標：MMTEBなどの多言語ベンチマークでの性能、対象言語のカバレッジ、ベクトル次元、推論速度。

言語横断検索戦略

from openai import OpenAI
import numpy as np

client = OpenAI(api_key="your-deepseek-api-key", base_url="https://api.deepseek.com")

class MultilingualRAG:
    def __init__(self):
        self.documents = []  # [(text, lang, embedding)]

    def embed(self, text):
        resp = client.embeddings.create(model="text-embedding-3-large", input=text)
        return resp.data[0].embedding

    def add_document(self, text, lang):
        vec = self.embed(text)
        self.documents.append((text, lang, vec))

    def search_direct(self, query, top_k=5):
        """直接的な言語横断検索—多言語Embeddingの整合性に依存"""
        qv = self.embed(query)
        scored = []
        for text, lang, dv in self.documents:
            sim = np.dot(qv, dv) / (np.linalg.norm(qv) * np.linalg.norm(dv))
            scored.append((sim, text, lang))
        scored.sort(reverse=True)
        return scored[:top_k]

    def search_with_translate(self, query, target_lang="zh", top_k=5):
        """翻訳後検索—クエリを対象言語に翻訳してから検索"""
        if target_lang != "zh":
            query = self._translate(query, target_lang)
        return self.search_direct(query, top_k)

    def _translate(self, text, target_lang):
        resp = client.chat.completions.create(model="deepseek-chat",
            messages=[{"role":"user","content":f"{target_lang}に翻訳：{text}"}])
        return resp.choices[0].message.content

    def hybrid_search(self, query, top_k=5):
        """ハイブリッド検索：元のクエリと翻訳クエリの結果を統合"""
        results_orig = self.search_direct(query, top_k)
        results_en = self.search_direct(self._translate(query, "en"), top_k)
        # 重複を排除して統合し、ランキングを融合
        seen = set()
        merged = []
        for r in results_orig + results_en:
            if r[1] not in seen:
                seen.add(r[1])
                merged.append(r)
        merged.sort(reverse=True)
        return merged[:top_k]

rag = MultilingualRAG()
rag.add_document("Deep learning revolutionizes AI industry.", "en")
rag.add_document("深度学习彻底改变了人工智能产业。", "zh")
results = rag.hybrid_search("AI技术革新")
for sim, text, lang in results:
    print(f"[{lang}] {text[:60]}... (sim={sim:.3f})")

翻訳戦略：いつ翻訳するか、何を翻訳するか

翻訳は多言語RAGの中核であり、3つの戦略があります：クエリ翻訳（ユーザーのクエリをナレッジベースの主要言語に翻訳してから検索。シンプルだが意味の詳細が失われる可能性）、ドキュメント翻訳（取り込み時にすべての文書を統一言語に翻訳。コストは高いが最良の結果）、デュアルタワー翻訳（検索後にTop-K文書のみを翻訳して生成モデルに渡す）。実践ではデュアルタワー戦略が推奨されます—検索段階では多言語Embeddingで直接マッチングし（翻訳オーバーヘッドを削減）、生成段階では検索されたTop-K文書のみを翻訳します。

多言語RAGの本番最適化

本番環境では以下を推奨します：言語検出の前置（クエリと文書の言語を迅速に判断して戦略を選択）、言語別の分割（異なる言語の文書を別々のベクトルコレクションに保存してノイズを低減）、言語嗜好の学習（ユーザーの履歴行動から言語嗜好を学習してランキングを向上）、フォールバックメカニズム（多言語Embeddingの性能が不十分な場合に翻訳ベースの検索にフォールバック）。監視指標には、各言語の検索再現率と生成品質スコアが含まれます。

多言語RAGの性能評価フレームワーク

多言語RAGシステムの評価は、より

単一言語ははるかに複雑です。各言語のパフォーマンスが期待通りであることを確認する必要があります。私たちは多言語評価フレームワークを設計しました：単一言語検索（中国語で中国語を検索、英語で英語を検索、日本語で日本語を検索—各言語のベースEmbeddingの独立した性能を検証）、言語間検索（中国語で英語を検索、英語で中国語を検索—言語間のアライメント能力を検証）、混合言語検索（中国語のクエリで、知識ベースは中日英混合—多言語環境でのランキング品質を検証）。主要な指標は、各言語組み合わせのRecall@5とMRRです。私たちのテストでは、BGE-M3は中英言語間検索でRecall@5=0.89の良好な性能を達成しましたが、中日言語間では0.52に急落しました。解決策は、軽量な言語間アダプターをトレーニングすることでした—BGE-M3の出力の上にトレーニング可能な線形層を追加し、中日パラレルコーパスで微調整—これにより、中日言語間のRecall@5を0.78に向上させ、追加レイテンシはわずか2msでした。

多言語生成における一貫性の制御

多言語RAG生成における一般的な失敗モードは、言語の混在です。検索された英語のドキュメントの断片が、そのまま中国語の回答に連結されることがあります。解決策：言語一貫性の制約—システムプロンプトで「すべての返信は中国語（コードと技術用語を除く）でなければならず、英語の資料を引用する場合は、中国語に翻訳してから引用すること」と明示的に要求します。後処理翻訳—返信内の英語の混在率が20%を超える場合、英語部分を自動的に翻訳して置き換えます。検索の再ランキング—検索段階で同じ言語のドキュメントに重み付け（例：中国語のドキュメントには×1.2の重み）を行い、同じ言語のドキュメントを優先することで、言語の混在を減らします。この3つの戦略により、言語混在の問題は12%から2%未満に削減されます。