大模型蒸馏是什么？点一下，看老师怎样教学生

大模型蒸馏点一下，看原理

老师提供示范，

学生学会自己回答。

用教师模型的输出训练学生模型，通常让更小的学生承担目标任务。

回答蒸馏1 / 4

教师模型学生模型

提供示范等待学习

从教师输出中获得

问题 + 筛选后的示范回答

教师生成示范

把目标任务交给教师；筛选它生成的回答，作为学生的训练材料。

看学生怎样学→

部署时，学生通常独立运行；能胜任哪些任务，还要用没见过的题来验证。

机制示意，不运行真实模型；图中节点与连线不代表真实参数量。

再了解一点 · 蒸馏的另一种方式上面演示的是回答蒸馏：学习教师生成的文本。另一种常见方式是概率蒸馏：在相同上下文里，让学生学习教师对候选 token 的概率分布；经典方法用温度让分布更平缓。

学生的效果取决于教师质量、数据覆盖和模型容量。蒸馏可以与降低数值精度的量化、移除部分权重或结构的剪枝配合使用。

依据：DeepSeek-R1 官方说明 · 知识蒸馏原论文 · Deep Compression

PageWell · Principle一个机制，一次演示