AI 知识蒸馏

什么是知识蒸馏

知识蒸馏（Knowledge Distillation）是 2015 年由 Geoffrey Hinton 团队提出的一种模型压缩与知识迁移技术。它的核心思路是：训练一个参数量巨大、效果优异的「教师模型」，再用它来训练一个参数量小得多的「学生模型」，使学生模型在特定任务上尽量逼近教师模型的表现。

为什么需要知识蒸馏

大模型（如千亿参数模型）效果好，但存在明显短板：

• 推理延迟高，难以支撑实时交互；
• 计算与存储成本高，规模化部署经济性差；
• 内存占用大，无法部署到手机、嵌入式等端侧设备。

知识蒸馏能把大模型「压缩」成小模型，让小模型在成本降低一个数量级的同时保留大部分能力，是平衡「效果」与「成本」的核心技术。

工作原理

传统训练使用「硬标签」（0/1 类别标签）作为监督信号；知识蒸馏改用教师模型输出的**概率分布（软标签）**作为监督信号。软标签包含更丰富的信息：例如识别猫时，教师模型输出「猫 0.9、豹子 0.05、狗 0.03」，其中「猫与豹子相似」这类隐藏知识也被学生模型学习到。

为放大软标签中的细微差异，蒸馏时通常引入「温度」参数 T 对概率分布进行软化，温度越高分布越平滑，学生越容易学到类别间的相似关系。

主要类型

类型	学习内容	特点
输出蒸馏	教师模型的最终输出	实现简单，最常见
特征蒸馏	教师模型的中间层特征	学习更深层表示，效果更好
关系蒸馏	样本间的关系（相似度等）	适合小样本与多任务场景
自蒸馏	模型自身教学	无需外部大教师模型

实际应用

• 端侧 AI：手机助手、离线翻译等设备端部署；
• 高并发服务：客服、推荐、审核等大规模在线推理；
• 大模型小型化：把 70B 模型蒸馏成 7B 模型用于生产；
• 与量化、剪枝结合：多手段叠加进一步压缩模型。

局限性

• 学生模型容量有限，能力存在天花板；
• 依赖高质量数据与训练资源；
• 蒸馏任务通常聚焦特定领域，通用蒸馏效果有限。

总结

知识蒸馏是「让 AI 更轻、更快、更便宜」的关键技术，也是端侧智能与大模型规模化落地的基石，与量化、剪枝并称模型压缩的三大主流方法。