模型蒸馏是用大模型的能力去训练小模型的技术，让小模型以更低的算力成本接近大模型在特定任务上的表现。
本文由北京国信诚商互联网科技有限公司整理 · 更新于 2026-10-31基本定义
蒸馏（Distillation）是指以能力较强的大模型作为「教师」，通过其输出（如概率分布或生成的样本）来训练较小的「学生」模型，使学生模型在特定任务上接近教师水平，同时大幅降低推理成本。
它的价值不在通用能力，而在把大模型在某个固定任务上的表现「压缩」到可低成本运行的模型里。
常见做法
工程上常见的几种路径。
- 输出蒸馏：用教师模型的回答构造训练数据
- 标签蒸馏：学习教师的概率分布而非单一答案
- 任务蒸馏：只针对分类、抽取等单一任务压缩
- 数据合成：用教师生成样本，补充稀缺场景
能带来什么
收益主要在成本与部署弹性。
- 推理成本下降：小模型算力需求显著更低
- 响应更快：适合高并发与端侧场景
- 可本地部署：中小企业硬件也能承载
- 可控性强：针对自有任务分布优化
局限与风险
蒸馏不会凭空产生能力：教师模型不会的，学生也不会；教师模型的偏差会被一并继承。任务分布变化后学生模型容易失效，需要重新训练。此外，用商业闭源模型的输出训练自有模型，需先确认服务条款是否允许，避免合规风险。
常见问题
蒸馏和微调是一回事吗？
不是。微调是在已有模型上用数据调整参数，蒸馏是用大模型的输出训练一个更小的模型。
蒸馏后效果会掉多少？
取决于任务复杂度与数据量，单一任务上可能接近教师，通用能力通常会明显下降。
小公司需要做蒸馏吗？
多数不需要。调用现成接口或微调已足够，只有在调用量大、成本敏感时才值得投入。