指令微调数据构造实战

数据质量：微调的第一性原理

在模型微调中有一个被反复验证的结论：高质量的小数据集远优于低质量的大数据集。LIMA论文甚至证明仅用1000条精心编写的指令数据就能让模型达到接近GPT-4的效果。数据构造不是一个"越多越好"的问题，而是"越精越好"的艺术。一条好的指令数据应该具备：指令清晰无歧义、回复准确完整、格式规范一致、覆盖真实使用场景。

数据来源与采集

指令微调数据的常见来源：人工编写（质量最高但成本大，适合种子数据集）、从现有数据集筛选（ShareGPT/WildChat等真实用户对话，覆盖面广但需清洗）、Self-Instruct生成（用强模型生成指令-回复对，效率高但可能引入模型偏见）、从文档/代码库反推（将文档段落转为指令格式）。实际项目中通常混合使用：50%人工种子+30%Self-Instruct+20%真实用户数据。

数据清洗流水线

import re, json
from openai import OpenAI

client = OpenAI(api_key="your-deepseek-api-key", base_url="https://api.deepseek.com")

class DataCleaner:
    def __init__(self):
        self.filters = []

    def clean(self, samples):
        cleaned = []
        for s in samples:
            # 1. 去除空值和过短内容
            if not s.get("instruction") or len(s["instruction"]) < 10:
                continue
            if not s.get("output") or len(s["output"]) < 20:
                continue
            # 2. 去重（基于指令相似度）
            if self._is_duplicate(s, cleaned):
                continue
            # 3. 格式清洗
            s["instruction"] = self._normalize(s["instruction"])
            s["output"] = self._normalize(s["output"])
            cleaned.append(s)
        return cleaned

    def _is_duplicate(self, sample, existing, threshold=0.9):
        for e in existing[-100:]:  # 仅检查最近100条
            if sample["instruction"] == e["instruction"]:
                return True
        return False

    def _normalize(self, text):
        text = re.sub(r"\s+", " ", text)
        return text.strip()

    def quality_score(self, sample):
        """使用DeepSeek评分数据质量"""
        prompt = f"""评估指令微调数据质量(0-100):
指令: {sample['instruction']}
回复: {sample['output'][:500]}
评分维度: 清晰度 准确性 完整性 实用性
返回JSON: {{"score":85,"issues":[]}}"""
        resp = client.chat.completions.create(model="deepseek-chat",
            messages=[{"role":"user","content":prompt}])
        return json.loads(resp.choices[0].message.content)

cleaner = DataCleaner()
raw = [{"instruction": "解释什么是机器学习", "output": "机器学习是..."}]
print(f"清洗后: {len(cleaner.clean(raw))}条")

数据配比的艺术

不同类型的指令数据需要合理配比，直接决定模型能力的均衡性：通用问答40%（确保基础对话能力）、代码生成20%（编程能力）、推理/数学15%（逻辑能力）、创意写作10%（文本生成多样性）、安全/对齐10%（拒绝不当请求）、特定领域5%（垂直场景能力）。配比不是固定的——如果你的模型主要用于代码场景，可以将代码生成提升至40%，相应降低通用问答比例。

数据增强策略

当数据量不足时，可以运用数据增强技术：指令改写（同一意图用不同表达重写5-10个版本）、回复多样化（同一指令生成不同风格和长度的回复）、难度递增（在基础指令上添加额外约束如"用Python实现"升级为"用Python实现，要求时间复杂度O(n)"）、反向生成（给定高质量回复，逆向生成匹配的指令）。但需注意增强可能引入噪声，每次增强后应重新做质量评估。

数据质量问题的真实案例

在一次为医疗咨询模型构建微调数据集的过程中，我们深刻体会到数据质量的决定性作用。初始数据集包含12000条从网络论坛抓取的医患对话，经过初筛后剩余8000条。第一轮微调后模型表现糟糕——它会给出看似专业但实际错误的医疗建议。深入排查发现了三类典型问题：格式不一致（30%的对话中医生回复混入了患者的下一条提问，因为抓取时HTML结构解析错误）、内容污染（15%的"医生"回复实际来自非专业人士的评论被错误标注为最佳答案）、分布偏差（80%的数据来自皮肤科和儿科，导致模型对心脑血管问题几乎一无所知）。经过三轮严格的数据清洗——人工审核1000条种子数据、用医学专家标注的评判标准对剩余数据进行自动打分、仅保留得分>80的数据——最终数据集缩减到2800条。但就是这2800条高质量数据训练出的模型，在真实医生盲评中获得了4.2/5的评分，远超8000条脏数据训练的模型（2.1/5）。这个案例再次印证了LIMA论文的结论：质量远比数量重要。

数据多样性：避免模型"偏科"

数据多样性不足是微调失败的第二大原因（第一大原因是数据质量差）。一个经典的反面案例：某团队用5000条"客服对话"微调模型后，发现模型对任何问题都回复得像客服——即使被问到"解释相对论"也回复"亲爱的用户，关于相对论的问题我已经帮您记录下来了..."。这就是数据多样性不足导致的"角色固化"。避免方法：指令多样化（数据集中应包含问答、写作、代码、推理、翻译等多种指令类型）、风格多样化（回复不只有一种风格，应该有简洁的和详细的、正式的和轻松的）、领域多样化（即使模型主要服务金融领域，也应该包含5-10%的其他领域数据防止过拟合）。

数据标注的自动化与质量控制

高质量指令数据往往需要人工标注，但纯人工成本太高（每条3-5元）且速度慢。我们采用"AI辅助标注+人工审核"的混合方案：第一轮：AI生成候选（DeepSeek根据种子范例和任务描述生成5个候选回复）→第二轮：AI初筛（另一个DeepSeek实例评估5个候选，选择最优的2个并指出各自的优缺点）→第三轮：人工终审（标注人员从2个候选中选择最佳，或提出修改意见）。这个流程将标注效率提升了4倍（从每天20条提升到80条），同时保持了高质量（人工终审发现AI初筛的准确率约82%，意味着只有18%需要人工重新选择）。标注一致性通过Fleiss' Kappa系数监控——低于0.7时触发标注员重新培训。