ファインチューニングデータセット構築の技術

データはファインチューニングの魂

機械学習の分野には「Garbage in, garbage out」（ゴミを入れればゴミが出る）という有名な言葉があります。これはLLMのファインチューニングにおいて特に当てはまります。アルゴリズム、ハイパーパラメータ、トレーニング技術に多大な労力を費やすことはできますが、トレーニングデータの質が低ければ、ファインチューニングしたモデルは失敗する運命にあります。逆に、1000件の厳選された高品質なデータは、驚くべき効果の向上をもたらすことがよくあります。

ファインチューニング用データセットの構築は、単に「データ収集→フォーマット→トレーニング」ではありません。それは、データエンジニアリング、ドメイン知識、教育学を融合した芸術です。いくつかの重要な質問に答える必要があります：どれだけのデータが必要か？どこから取得するか？品質をどう保証するか？多様性をどう確保するか？異なるタスクタイプのデータをどう配分するか？この記事では、これらの質問に体系的に答えます。

データソース戦略

ファインチューニングデータのソースはいくつかのレベルに分けられます：手動アノテーション（品質は最高だがコストも最高で、コアシナリオのシードデータに適しています）、AI支援生成（より強力なモデルを使用してトレーニングデータを生成し、その後人間がレビューする、最もコストパフォーマンスの高い方法）、ユーザーログマイニング（実際のユーザー会話から高品質なインタラクションを抽出し、匿名化して使用する、実際のニーズを最も反映します）、公開データセットの整理（HuggingFaceなどのプラットフォームから関連データセットを収集し、フィルタリングとクリーニングを行います）。推奨されるデータソースの比率：30%手動アノテーション（品質の下限を確保）+ 50%AI支援生成＋人間レビュー（規模と品質のバランス）+ 20%ユーザーログマイニング（実シナリオのカバレッジ）。

import json
from openai import OpenAI

client = OpenAI(api_key="your-deepseek-api-key", base_url="https://api.deepseek.com")

class DatasetBuilder:
    def __init__(self):
        self.data = []
        self.quality_checklist = []

    def generate_synthetic(self, task_description, num_samples=100):
        """AIを使用して合成トレーニングデータを生成"""
        prompt = f"""あなたはトレーニングデータ生成の専門家です。以下のタスク説明に基づいて、{num_samples}件の高品質なトレーニングデータを生成してください。

タスク説明：{task_description}

要件：
1. データは多様で、さまざまなシナリオと難易度をカバーしていること
2. 各データにはinstruction（指示）、input（入力）、output（期待される出力）が含まれていること
3. outputは正確で完全であり、タスク要件を満たしていること
4. 各データ間に十分な差異があること

JSONL形式で出力し、各行に1つのJSONオブジェクト：
{{"instruction":"...", "input":"...", "output":"..."}}"""
        response = client.chat.completions.create(
            model="deepseek-chat",
            messages=[{"role":"user","content":prompt}],
            temperature=0.8, max_tokens=4000
        )
        return response.choices[0].message.content

    def check_quality(self, sample):
        """AI支援による品質チェック"""
        prompt = f"""以下のトレーニングデータの品質を評価してください。

データ：
指示：{sample['instruction']}
入力：{sample['input']}
出力：{sample['output']}

チェック項目：
1. 指示は明確ですか？
2. 入力と出力は一致していますか？
3. 出力は正確で完全ですか？
4. 事実誤認はありますか？
5. データはファインチューニングに適していますか？

JSON形式で出力：
{{"quality_score": 1-10, "issues":[], "pass": true/false}}"""
        response = client.chat.completions.create(
            model="deepseek-chat",
            messages=[{"role":"user","content":prompt}],
            temperature=0.1
        )
        return json.loads(response.choices[0].message.content)

    def deduplicate(self, data, threshold=0.85):
        """意味的類似度に基づく重複排除"""
        unique = []
        for item in data:
            is_dup = False
            for existing in unique:
                # 簡略化：instruction+inputの文字類似度を比較
                text1 = item["instruction"] + item.get("input","")
                text2 = existing["instruction"] + existing.get("input","")
                if len(set(text1) & set(text2)) / max(len(set(text1)), len(set(text2)), 1) > threshold:
                    is_dup = True
                    break
            if not is_dup:
                unique.append(item)
        return unique

    def balance_categories(self, data, category_field="category"):
        """データカテゴリのバランス調整"""
        from collections import Counter
        counts = Counter(item.get(category_field, "unknown") for item in data)
        min_count = min(counts.values())
        balanced = []
        from collections import defaultdict
        by_cat = defaultdict(list)
        for item in data:
            by_cat[item.get(category_field, "unknown")].append(item)
        import random
        for cat, items in by_cat.items():
            balanced.extend(random.sample(items, min(min_count, len(items))))
        return balanced

builder = DatasetBuilder()
# synthetic = builder.generate_synthetic("カスタマーサービス対話の意図認識：ユーザーが問い合わせ、苦情、返金のどれを望んでいるかを判断する", 50)
# quality = builder.check_quality(sample_data)
# cleaned = builder.deduplicate(raw_data)
# balanced = builder.balance_categories(cleaned)

品質管理の3層防御

第1層：自動ルールチェック。データ形式が正しいか、outputが空でないか、instructionが短すぎる（5文字未満）または長すぎる（500文字超）でないか、inputとoutputが高度に重複していないか（コピーペーストの誤りである可能性）をチェックします。第2層：AI支援品質スコアリング。より強力なモデルを使用して各データにスコア（1-10）を付け、6点未満のデータは人間が再レビューするか直接破棄します。第3層：手動サンプリングレビュー。各カテゴリからランダムに10〜20件を抽出し、ドメイン専門家が手動でレビューし、データ合格率を計算します。3層の品質管理のカバレッジは、自動チェック100%→AIスコアリング100%→手動レビュー10〜20%とすべきです。

データ配分の芸術

データ配分はモデルの最終的なパフォーマンスに直接影響します。一般的な戦略：タスク均等配分（さまざまなタスクタイプのデータ量をほぼ等しくし、汎用ファインチューニングに適しています）、重点タスク重視（コアビジネスシナリオのデータ量を50%〜70%にし、コア機能を確実にします）、難易度漸進（簡単なものから難しいものへとデータの複雑さを徐々に増やし、モデルがスムーズに学習できるようにします）、自然分布配分（実際のオンライントラフィック分布に従ってデータを配分し、実シナリオでのモデルのパフォーマンスを最適化します）。まず均等配分でベースライン実験を行い、評価結果に基づいて配分を調整することをお勧めします。

データのプライバシーとコンプライアンスの考慮事項

ファインチューニングデータセットを構築する際、データのプライバシーとコンプライアンスは無視できない問題です。特に以下の点に注意してください：ユーザーデータの匿名化 - 実際の会話から抽出したトレーニングデータからは、名前、電話番号、ID番号、住所、銀行カード番号など、すべての個人識別情報（PII）を削除する必要があります。正規表現マッチングとNERモデルの二重検出を使用して、匿名化の完全性を確保します。データソースの合法性 - 公開データセットを使用する場合は、ライセンス契約が商用利用を許可していることを確認します。AI生成データを使用する場合は、元のモデルの利用規約がその出力を他のモデルのトレーニングに使用することを許可しているかどうかに注意します。データストレージのセキュリティ - トレーニングデータは暗号化されたストレージシステムに保存し、アクセス権限を厳格に管理し、データアクセスログを定期的に監査する必要があります。データライフサイクル管理 - トレーニングデータの保持期間を明確に定義し、期限切れデータは速やかに削除し、GDPRの忘れられる権利に準拠します。データバージョン管理：ファインチューニングデータセットの構築は継続的な反復プロセスです - 新しいデータを追加し、誤ったデータを修正し、データ配分を調整し続けます。コードのようにデータセットのバージョンを管理することをお勧めします：Git LFSを使用してデータファイルを保存し、変更のたびにコミットし、意味のあるコミットメッセージを付けます。DVC（Data Version Control）を使用してデータバージョン管理を行い、データの血統を追跡できます - 「このバージョンのモデルはどのバージョンのデータでトレーニングされたか」。データ構築のメタ情報（データソース、構築時間、構築者、品質スコア分布など）を保持します。

合成データの高度なテクニック

AIを使用して合成トレーニングデータを生成する際、生成品質を大幅に向上させる高度なテクニックがあります：多様なシステムプロンプト - データ生成に常に同じプロンプトを使用せず、生成指示の角度と制約を変えて、AIが異なる視点からデータを生成できるようにします。自己対戦 - 同じモデルに教師と生徒の両方の役割をさせ、教師が質問を生成し、生徒が回答し、教師が採点と修正を行い、高品質なデータを生成します。知識蒸留 - より強力なモデル（例：DeepSeek-R1）を使用してトレーニングデータを生成し、より小さなモデル（例：DeepSeek-V2-Lite）をファインチューニングして、能力の転移を実現します。データ拡張 - 既存のデータに対して同義語書き換え、質問反転、条件の追加・削除などの変換を行い、データセットの多様性を高めます。これらのテクニックを組み合わせることで、低コストで高品質かつ大規模なファインチューニングデータセットを取得できます。