CI/CD 流水线中的 AI 测试

AI服务CI/CD的特殊性

传统软件的CI/CD关注的是"代码是否正确"——通过单元测试和集成测试验证。但AI服务的正确性不仅依赖于代码，还依赖于模型权重、提示词和数据——这些都是"活的"，会随着版本迭代而变化。AI CI/CD需要额外验证：模型效果是否退化（新版本相比旧版本在评估集上的表现）、推理延迟是否恶化、输出格式是否保持兼容。

自动化评估流水线

AI CI/CD的核心是自动化评估。建议的分层测试策略：L1-功能测试（API响应码、超时、格式正确性，秒级完成）→L2-基准评估（在100条标准评估集上运行，对比历史基线，分钟级完成）→L3-完整评估（在1000+条评估集上运行，包括对抗样本和边界情况，小时级完成）。L1在每次commit运行，L2在PR时运行，L3在发布前运行。

评估流水线实现

import json, time, requests
from openai import OpenAI

client = OpenAI(api_key="your-deepseek-api-key", base_url="https://api.deepseek.com")

class AIEvaluator:
    def __init__(self, baseline_file="baseline.json"):
        self.baseline = json.load(open(baseline_file)) if baseline_file else {}
        self.results = []

    def run_eval(self, test_cases, endpoint_url):
        for tc in test_cases:
            start = time.time()
            resp = requests.post(endpoint_url, json={"prompt": tc["input"]})
            latency = time.time() - start

            if resp.status_code != 200:
                self.results.append({"test": tc["name"], "status": "FAIL",
                                     "error": f"HTTP {resp.status_code}"})
                continue

            output = resp.json()["output"]
            score = self._judge(tc, output)
            self.results.append({
                "test": tc["name"], "status": "PASS" if score >= 0.7 else "FAIL",
                "score": score, "latency_ms": round(latency*1000)
            })
        return self._summary()

    def _judge(self, test_case, output):
        prompt = f"""评估AI输出质量(0-1):
输入: {test_case['input']}
期望概念: {test_case.get('expected', [])}
实际输出: {output[:1000]}
返回JSON: {{"score":0.85}}"""
        resp = client.chat.completions.create(model="deepseek-chat",
            messages=[{"role":"user","content":prompt}], temperature=0)
        return json.loads(resp.choices[0].message.content)["score"]

    def _summary(self):
        passed = sum(1 for r in self.results if r["status"] == "PASS")
        total = len(self.results)
        avg_latency = sum(r.get("latency_ms", 0) for r in self.results) / total if total else 0
        return {
            "pass_rate": f"{passed}/{total} ({passed/total*100:.1f}%)",
            "avg_latency_ms": avg_latency,
            "regression": self._check_regression()
        }

    def _check_regression(self):
        """对比基线检测退化"""
        if not self.baseline:
            return None
        current_pass = sum(1 for r in self.results if r["status"] == "PASS")
        return current_pass / len(self.results) - self.baseline.get("pass_rate", 1)

evaluator = AIEvaluator()
tests = [{"name":"greeting","input":"你好","expected":["问候","友好"]}]
print(evaluator.run_eval(tests, "http://localhost:8000/chat"))

性能基准与部署门禁

除效果评估外，性能基准同样重要：TTFT（首Token时间，影响用户体验）、吞吐量（tokens/s，影响服务容量）、P50/P95/P99延迟（长尾延迟影响最差用户体验）、显存占用（影响部署密度和成本）。部署门禁规则：效果得分不得低于基线的97%、P95延迟不得超过基线的120%、显存占用不得超过基线的110%。门禁不通过自动阻断部署并通知团队。

GitHub Actions集成示例

在GitHub Actions中集成AI评估：使用自托管Runner（带GPU）运行评估、缓存模型权重加速流水线、评估结果作为PR评论自动发布、设置分支保护规则要求评估通过才能合并。对于无GPU的CI环境，可以使用API代理模式——CI Runner通过API调用已部署的评估服务，而非本地加载模型。

评估数据的生命周期管理

AI评估数据集不是一成不变的——它会过时、被"刷榜"、需要扩展。我们建立了一套评估数据生命周期管理流程：定期审查（每月检查评估集中的问题是否仍然具有代表性，是否出现了新的用户提问模式需要补充）、模型盲区检测（分析线上用户满意度低的案例，将典型失败模式抽象为新评估用例加入评估集）、反作弊机制（监控模型在新版本评估集上的得分是否被人为"刷高"——如提示词中包含了评估集的问题或答案关键词）、难度分层（按任务难度将评估集分为Easy/Medium/Hard三层，分别追踪模型在各难度上的表现，确保简单任务的提升不是以牺牲困难任务为代价）。这套管理流程确保评估集始终反映真实的用户需求和模型能力边界。

评估结果的置信度与统计思维

AI评估不是"通过/不通过"的二元判断，而是带有不确定性的统计估计。在100条评估集上得分85%和90%的差异可能只是抽样误差——不能据此断言"新版本更好"。我们引入的统计严谨性实践：置信区间——对每个评估指标计算95%置信区间（通过Bootstrap采样1000次），只有新版本得分的置信区间下限>旧版本的置信区间上限时，才认定有显著提升；效应量——不仅看"是否显著"还看"提升有多大"（Cohen's d），避免统计显著但实际无意义的小幅波动；多重测试校正——同时监控多个评估指标时使用Benjamini-Hochberg校正，控制错误发现率。统计思维提高了决策质量——过去30%的"模型升级"在引入置信区间分析后被判定为"无显著差异"而避免了不必要的部署风险。