大模型微调

基本定义

微调（Fine-tuning）是指在预训练模型基础上，用领域数据继续训练，调整部分或全部参数，使模型在特定任务上的表达方式、术语习惯与输出格式更符合要求。

它和检索增强（RAG）解决的不是同一个问题：RAG 解决「模型不知道这份资料」，微调解决「模型说话方式不对、格式不稳、术语不准」。

与RAG的区别

两者常被混用，实际分工清晰。

• 知识来源：RAG 靠外部文档实时检索，微调把模式固化进参数
• 更新成本：RAG 改文档即可，微调需重新训练
• 适用问题：RAG 治事实缺失，微调治风格与格式
• 可解释性：RAG 能给出引用出处，微调不能

什么时候值得做

满足以下条件时，微调的性价比才成立。

• 任务固定且高频：如固定格式的工单分类、话术生成
• 有高质量标注数据：数百到数千条干净样本起步
• 通用模型反复调不好：提示词与 RAG 已试过仍不稳定
• 对延迟或成本敏感：小模型微调后替代大模型调用

风险提示

微调最常见的失败不是技术问题，而是数据问题：样本带偏见、标注不一致、覆盖场景不全都直接反映到输出上。此外微调后模型可能遗忘通用能力，需要用回归测试集验证。对多数中小企业，先把提示词与知识库做扎实，是更划算的顺序。

常见问题