微调数据集构建的艺术

数据是微调的灵魂

在机器学习领域有一句名言："Garbage in, garbage out"（垃圾进，垃圾出）。这句话在LLM微调中尤为适用。你可以在算法、超参数、训练技巧上花费大量精力，但如果训练数据质量低劣，你的微调模型注定失败。反之，1000条精心构造的高质量数据，往往能带来令人惊喜的效果提升。

构建微调数据集不是简单的"收集数据→格式化→训练"。它是一门融合了数据工程、领域知识和教育学的艺术。你需要回答一系列关键问题：需要多少数据？从哪获取？如何保证质量？如何确保多样性？不同任务类型的数据如何配比？本文将系统回答这些问题。

数据来源策略

微调数据的来源可以分为几个层次：人工标注（质量最高但成本最高，适合核心场景的种子数据）、AI辅助生成（用更强的模型生成训练数据，再用人工审核，性价比最高的方案）、用户日志挖掘（从真实用户对话中筛选高质量交互，脱敏后使用，最能反映真实需求）、公开数据集整理（从HuggingFace等平台收集相关数据集，筛选和清洗后使用）。推荐的数据来源配比：30%人工标注（确保质量底线）+ 50%AI辅助生成+人工审核（规模和质量兼顾）+ 20%用户日志挖掘（真实场景覆盖）。

import json
from openai import OpenAI

client = OpenAI(api_key="your-deepseek-api-key", base_url="https://api.deepseek.com")

class DatasetBuilder:
    def __init__(self):
        self.data = []
        self.quality_checklist = []

    def generate_synthetic(self, task_description, num_samples=100):
        """使用AI生成合成训练数据"""
        prompt = f"""你是一个训练数据生成专家。请根据以下任务描述生成{num_samples}条高质量的训练数据。

任务描述：{task_description}

要求：
1. 数据应该多样化，覆盖不同的场景和难度
2. 每条数据包含 instruction（指令）、input（输入）、output（期望输出）
3. output必须准确、完整、符合任务要求
4. 每条数据之间应该有足够的差异

以JSONL格式输出，每行一个JSON对象：
{{"instruction":"...", "input":"...", "output":"..."}}"""
        response = client.chat.completions.create(
            model="deepseek-chat",
            messages=[{"role":"user","content":prompt}],
            temperature=0.8, max_tokens=4000
        )
        return response.choices[0].message.content

    def check_quality(self, sample):
        """AI辅助质量检查"""
        prompt = f"""评估以下训练数据的质量。

数据：
指令：{sample['instruction']}
输入：{sample['input']}
输出：{sample['output']}

请检查：
1. 指令是否清晰明确？
2. 输入和输出是否匹配？
3. 输出是否准确完整？
4. 是否存在事实错误？
5. 数据是否适合微调？

JSON格式输出：
{{"quality_score": 1-10, "issues":[], "pass": true/false}}"""
        response = client.chat.completions.create(
            model="deepseek-chat",
            messages=[{"role":"user","content":prompt}],
            temperature=0.1
        )
        return json.loads(response.choices[0].message.content)

    def deduplicate(self, data, threshold=0.85):
        """基于语义相似度的去重"""
        unique = []
        for item in data:
            is_dup = False
            for existing in unique:
                # 简化：比较instruction+input的字符相似度
                text1 = item["instruction"] + item.get("input","")
                text2 = existing["instruction"] + existing.get("input","")
                if len(set(text1) & set(text2)) / max(len(set(text1)), len(set(text2)), 1) > threshold:
                    is_dup = True
                    break
            if not is_dup:
                unique.append(item)
        return unique

    def balance_categories(self, data, category_field="category"):
        """数据类别平衡"""
        from collections import Counter
        counts = Counter(item.get(category_field, "unknown") for item in data)
        min_count = min(counts.values())
        balanced = []
        from collections import defaultdict
        by_cat = defaultdict(list)
        for item in data:
            by_cat[item.get(category_field, "unknown")].append(item)
        import random
        for cat, items in by_cat.items():
            balanced.extend(random.sample(items, min(min_count, len(items))))
        return balanced

builder = DatasetBuilder()
# synthetic = builder.generate_synthetic("客服对话意图识别：判断用户是想咨询、投诉还是退款", 50)
# quality = builder.check_quality(sample_data)
# cleaned = builder.deduplicate(raw_data)
# balanced = builder.balance_categories(cleaned)

质量控制的三层防线

第一层：自动规则检查。检查数据格式是否正确、output是否为空、instruction是否过于简短（<5字）或过长（>500字）、input和output是否高度重复（可能是复制粘贴错误）。第二层：AI辅助质量评分。使用更强的模型对每条数据打分（1-10），低于6分的数据人工复核或直接丢弃。第三层：人工抽样审核。从每个类别中随机抽取10-20条数据，由领域专家进行人工审核，计算数据合格率。三层的质量控制覆盖率应为：自动检查100%→AI评分100%→人工审核10-20%。

数据配比的艺术

数据配比直接影响模型的最终表现。常见策略：任务均衡配比（各种任务类型的数据量大致相等，适合通用型微调）、重点任务倾斜（核心业务场景的数据量占50%-70%，确保核心能力达标）、难度渐进（从简单到困难逐步增加数据复杂度，让模型平稳学习）、以及自然分布配比（按照线上实际流量分布来配比数据，确保微调模型在真实场景中表现最好）。建议先用均衡配比做基线实验，然后根据评估结果调整配比。

数据隐私与合规考量

构建微调数据集时，数据隐私和合规是不可忽视的问题。特别注意以下几点：用户数据的脱敏处理——从真实对话中提取的训练数据必须移除所有个人身份信息（PII），包括姓名、电话号码、身份证号、地址、银行卡号等。使用正则匹配+NER模型双重检测，确保脱敏的完整性。数据来源的合法性——使用公开数据集时确认其许可协议允许商业使用；使用AI生成的数据时注意原始模型的用户协议是否允许用其输出训练其他模型。数据存储安全——训练数据应存储在加密的存储系统中，访问权限严格管控，定期审计数据访问日志。数据生命周期管理——明确训练数据的保留期限，过期数据及时删除，遵守GDPR的被遗忘权要求。数据版本管理：微调数据集的构建是一个持续迭代的过程——你会不断添加新数据、修正错误数据、调整数据配比。建议像管理代码一样管理数据集版本：使用Git LFS存储数据文件，每次变更都commit并附上有意义的commit message；使用DVC（Data Version Control）进行数据版本管理，可以追踪数据血缘——"这个版本的模型是用哪个版本的数据训练的"；保留数据构建的元信息——数据来源、构建时间、构建人、质量评分分布等。

合成数据的进阶技巧

使用AI生成合成训练数据时，有一些进阶技巧能显著提升生成质量：多样化的系统提示词——不要总用同一个prompt生成数据，变化生成指令的角度和约束条件，让AI从不同侧重点生成数据；自我对弈——让同一个模型扮演教师和学生，教师生成问题，学生回答，教师再打分和修正，产生高质量的数据；知识蒸馏——用更强的模型（如DeepSeek-R1）生成训练数据，用来微调更小的模型（如DeepSeek-V2-Lite），实现能力转移；数据增强——对已有数据做同义改写、问题反转、条件增减等变换，扩大数据集的多样性。这些技巧结合使用，可以让你用较低的成本获得高质量、大规模的微调数据集。