模型蒸馏

什么是模型蒸馏

模型蒸馏（Knowledge Distillation）是把一个能力更强的大模型（教师模型）的知识，迁移到一个更小、更快的模型（学生模型）上的技术。小模型模仿大模型的输出，在保留大部分能力的同时大幅降低推理成本。

为什么重要

大模型能力强但推理贵、响应慢；小模型便宜快但能力弱。蒸馏试图"既要便宜快、又要能力强"：让大模型产出高质量答案，小模型学习模仿，最终得到一个尺寸小、成本低、能力接近大模型的学生模型。这也是很多"小模型接近大模型水平"新闻背后的技术。

核心方式

1. 输出模仿：小模型学习大模型的答案与推理过程，而不是只学最终标签。
2. 软标签：大模型输出各候选答案的概率分布，携带"答案间相似度"信息，比硬标签信息更丰富。
3. 数据增强：用大模型生成大量高质量问答对，作为小模型的训练数据。

常见误解

• 蒸馏不是复制：学生模型受限于自身容量，能力会打折扣，不是 100% 复刻。
• 蒸馏不等于合法：用商业模型输出训练自有模型涉及服务条款与合规问题，需先确认授权。

小结

模型蒸馏是让 AI 能力"下沉"的关键技术：把大模型的能力压缩进小模型，用更低的成本部署更广。它解释了为什么小模型越来越强，也提醒我们关注模型训练的数据合规。