知识蒸馏是把大模型（教师模型）的能力迁移到小模型（学生模型）的技术，是大模型部署与推理提速的关键。本文讲清原理、方法、收益与适用场景。
学习内容
知识蒸馏（Knowledge Distillation）的核心思想是：训练一个大而强的模型当「老师」，再用老师的输出训练一个小而快的模型当「学生」，让学生学得接近老师的水平。这样我们既保留了强模型的「智慧」，又拿到了小模型「便宜、快速、能部署在普通设备上」的优势。
大模型效果好，但代价也大：
现实场景往往只需要模型在某个领域（比如客服问答、文本分类）表现好，不需要它什么都会。知识蒸馏就是「把大模型的专长浓缩进小模型」的答案。
传统监督学习是拿「标准答案」教模型；知识蒸馏的特殊之处在于，它拿老师模型的输出概率分布当「软标签」来教学生。
举例说明：一张猫的图片，正确答案是「猫」（标签概率 1），但老师模型可能会输出「猫 0.9、豹子 0.05、狗 0.03、其他 0.02」。这个分布里藏着大量「隐藏知识」——比如猫和豹子长得像，模型学到了这种关联。
学生模型学习的不再是孤立的「猫」，而是老师眼中「各种类别之间的相似关系」，因此学得更深、泛化更好。为了让学生能学到这种「软分布」，通常会给概率加一个「温度」参数放大分布差异，这就是 Hinton 等人在 2015 年提出蒸馏论文的核心技巧。
根据「教什么」，蒸馏主要分三类：
以工业界的典型应用为例：把 70B 参数的老师模型蒸馏成 7B 的学生模型，在特定任务上学生往往能保留老师 80%~95% 的效果，而推理成本可能下降一个数量级。这也是为什么很多开源小模型能「以小博大」，在榜单上接近大模型的表现——它们大多经过了知识蒸馏。
蒸馏不是免费的午餐：
知识蒸馏是「把大模型的智能打包进小模型」的核心技术，是 AI 应用从云端走向端侧、从演示走向规模化生产的关键一环。理解蒸馏，就理解了「为什么小模型也能很聪明」这个 2026 年 AI 行业的重要现象。
继续学习
AGI（通用人工智能）是所有 AI 公司的终极目标。本文讲清 AGI 与当前 AI 的区别、发展阶段与争议。
C-Eval 是面向中文基础模型的评估套件，涵盖 52 个学科、13948 道题目，是国内大模型评测最常引用的中文基准。本文介绍它的构成、榜单与中文评测的要点。
微调让通用大模型适配特定业务。本文讲清微调原理、方法与 RAG 的取舍。
NotebookLM 是谷歌推出的 AI 笔记助手，能把你的私有文档变成可交互的知识库，还能一键生成对话式播客。本文从创建笔记本、上传资料、提问与生成音频概览四个步骤，带你快速上手。
RAG（检索增强生成）解决大模型知识过时与幻觉问题。本文讲清原理、流程和适用场景。
temperature（温度）与 top-p 是控制 AI 输出随机性与多样性的两个核心参数。本文用通俗例子讲清原理，并给出不同场景的调参建议。
