最新博客文章

21 / 200

AI 开发实战教程，从零到一构建你的 AI 应用。

教程日期

DeepSeek 模型评估与基准测试模型微调进阶 DeepSeek 模型完整评估指南：MMLU、HumanEval、GSM8K、MT-Bench 等主流基准测试结果。DeepSeek-V3 vs GPT-4o vs Claude 3.5 全方位对比，含评测代码和选型建议。 2025-06 ·22 分钟阅读 DeepSeek 微调实战教程模型微调高级 DeepSeek 模型微调全流程实战：LoRA/QLoRA 高效微调、全参数微调、数据准备、训练配置、评估验证。覆盖 DeepSeek-V3 和 DeepSeek-R1 的微调方案，含完整代码和最佳实践。 2025-06 ·26 分钟阅读 QLoRA 微调实战指南模型微调进阶全参数微调成本高昂，QLoRA通过4-bit量化+低秩适配让普通开发者在消费级GPU上就能微调大模型。本文手把手带你完成从数据准备到模型部署的完整QLoRA微调流程，使用DeepSeek模型作为基座。 2026-07 ·25 分钟阅读模型后训练模型微调进阶本书的核心公式是 Agent = LLM + 上下文 + 工具。本章聚焦于优化 LLM 这个“大脑”——先用 Mid-training 补齐目标领域的知识与基础能力，再用 SFT/RL 等后训练方法塑造模型利用上下文和工具的行为。第七章结尾指出，评估体系与仿真环境是后训练的两块基石：评估环境为训练提供练习场，评估指标为… 2026-09 ·85 分钟阅读 DeepSeek 模型架构深度解析模型微调高级深入解析 DeepSeek-V3 的 MoE 架构、MLA 注意力机制、Multi-Token Prediction 等核心技术。理解 DeepSeek 如何以极低成本实现 GPT-4o 级别的性能，含架构图解和源码分析。 2025-06 ·28 分钟阅读模型量化部署实战模型微调进阶量化是降低模型推理成本的关键技术。本文从INT8到INT4，系统讲解模型量化的原理、工具链和部署实践，让你的模型在消费级硬件上高效运行。 2026-07 ·22 分钟阅读微调数据集构建的艺术模型微调进阶微调效果的上限由数据质量决定，而非模型或算法。本文深入讲解微调数据集的构建方法论——从数据来源、质量控制、多样性保障到数据配比策略，帮你构建高质量的微调数据集。 2026-07 ·18 分钟阅读模型蒸馏实战：用大模型训练小模型模型微调高级知识蒸馏让小模型逼近大模型能力，同时大幅降低推理成本。本文深入讲解蒸馏原理、数据生成策略、训练技巧与效果评估，教你用 DeepSeek 蒸馏出高性价比小模型。 2026-08 ·24 分钟阅读大模型分布式训练：数据并行、张量并行、流水线并行与专家并行模型微调高级从单卡显存墙出发，系统拆解数据并行、张量并行、流水线并行与专家并行的通信模式与适用边界：为什么张量并行每层需要两次 all-reduce，通信量如何随并行度增长，NVLink 与跨节点带宽如何决定并行度上限，流水线气泡与 1F1B 调度的收益边界，MoE 专家并行的 all-to-all 约束，ZeRO 1/2/3 真正省下的显存究竟是哪一块，以及并行策略选错时性能塌陷在 profile 里的具体表现。 2026-10 ·26 分钟阅读模型压缩全景：量化、剪枝与蒸馏的适用边界和组合策略模型微调高级把量化、剪枝、蒸馏放在同一张账本上比较：权重量化的位宽与分组/异常值处理、GPTQ 与 AWQ 的误差传播视角差异、KV Cache 量化与 FP8 的落位、结构化与非结构化剪枝及其恢复训练、蒸馏的数据构造与师生能力差、权重稀疏与激活稀疏的硬件命运，以及三者叠加时的相互干扰，最后给出一套统一的净收益评测方法，帮助判断一次压缩到底是真省钱还是只是把成本搬了家。 2026-10 ·44 分钟阅读合成数据构建方法论：从自蒸馏到对抗样本的完整链路模型微调高级从自蒸馏与拒绝采样的闭环出发，系统拆解合成数据构建的完整链路：为什么模型生成的数据不能直接当金标，如何量化并调节质量与多样性的平衡，如何用难度课程编排与分桶采样让数据相对于模型能力自适应，如何构造错误注入与对抗样本，以及合成数据与真实数据的混合配比策略，最后给出流水线的评测指标、防退化机制与熔断停止条件。 2026-10 ·45 分钟阅读 QLoRA量化微调实战模型微调进阶 QLoRA通过4-bit量化将大模型微调的内存需求降低到极致。本文深入讲解QLoRA的技术原理、NF4量化、双重量化等关键技术，并提供完整的实战代码。 2025-05 ·18 分钟阅读指令微调数据构造实战模型微调进阶数据质量决定微调效果的上限。本文讲解指令微调数据的构造方法，包括数据来源、清洗策略、质量评估、数据增强和配比设计。 2026-07 ·20 分钟阅读数据集构建与质量评估模型微调高级数据质量决定了微调效果的上限。本文系统讲解微调数据集的构建方法、数据清洗策略、质量评估指标以及数据增强技术，帮助你构建高质量的微调数据集。 2025-06 ·17 分钟阅读大模型评估与基准测试全指南模型微调进阶如何客观评价大模型的能力？本文系统讲解 MMLU、HumanEval、C-Eval 等主流基准测试，以及 LLM-as-Judge、竞技场排名等评估方法，帮助你建立科学的模型评估体系。 2025-07 ·16 分钟阅读 LoRA vs QLoRA vs Full Fine-tuning 全面对比模型微调进阶全面对比LoRA、QLoRA和全量微调三种方案，从原理、显存、训练速度、最终效果等维度分析，帮你做出正确的技术选型。 2026-07 ·22 分钟阅读 DeepSeek 数据工程教程模型微调高级从数据采集到质量评估，完整掌握大模型数据工程流水线。涵盖 SFT 数据集构建、RLHF 偏好数据准备、数据清洗去重、数据增强、大规模数据处理等核心环节。 2025-06 ·23 分钟阅读 RLHF 强化微调实战：从偏好数据到奖励模型模型微调高级 RLHF 让模型输出与人类偏好对齐。本文从偏好数据采集、奖励模型训练到 PPO 强化微调，完整复现一条 RLHF 实战链路，并给出数据质量与效果评估的工程经验。 2026-08 ·26 分钟阅读 LoRA微调完全指南模型微调入门 LoRA是当前最流行的参数高效微调方法。本文从原理到实践，全面讲解LoRA微调的完整流程，包括环境配置、数据集准备、训练参数设置和模型评估。 2025-04 ·16 分钟阅读 DPO 偏好对齐训练详解模型微调高级 DPO（Direct Preference Optimization）是RLHF的简化替代方案，无需训练奖励模型。本文深入讲解DPO的原理、实现细节和训练技巧。 2026-07 ·25 分钟阅读模型评估与 A/B 测试模型微调高级微调完成后，如何客观评估模型效果？A/B测试如何设计才能得到统计显著的结论？本文从离线评估、在线A/B测试和统计显著性三个维度，建立科学的模型效果评估体系。 2026-07 ·20 分钟阅读