大模型蒸馏是啥？
大模型
小模型
AI 名词扫盲
大模型蒸馏
是啥？
把大模型的本事，装进小得多的模型里。
问题
大模型很强，也很重
6710亿
个参数 · DeepSeek-R1
这么大的模型，手机、笔记本都装不下，只能放在机房的显卡上跑——又慢又贵。
办法
让大模型当老师，
小模型当学生
老师
大模型
学生
小模型
学生不用背下老师的全部知识，只学一件事：遇到问题时，老师是怎么判断的。
关键 · 举例
老师的回答里，
藏着更多信息
考题：照片里是什么？
标准答案（%）
老师的回答（%）
100
0
0
0
95
4.7
0.6
≈0
猫
老虎
狗
汽车
猫
老虎
狗
汽车
标准答案只说“猫”。老师还透露：老虎比狗像猫得多，汽车毫不相干。这层“谁像谁”，学生白捡。
调温度
给回答加点“温度”
温度 T = 1温度 T = 4
95%
4.7%
0.6%
≈0
55%
26%
16%
3.5%
猫
老虎
狗
汽车
老师太自信，小概率就小得看不见。把它的原始打分除以“温度”再换算：温度越高，分数越平，谁像谁一目了然。
怎么学
学生一遍遍对答案
老师调软的答案学生的打分
猫
老虎
狗
汽车
差距
学生先自己打分，再和老师调软的答案、标准答案各比一次，差多少改多少。一遍遍重复，就越来越像老师。
效果 · DistilBERT（2019）
学生小了，本事还在
小40%
模型体积
快60%
推理速度
保留97%
BERT 的语言理解能力
Hugging Face 用蒸馏把 BERT 压成了 DistilBERT。
到了大语言模型
学“下一个词”怎么选
看得到老师的打分
学老师给每个候选词打的分（白盒蒸馏）
例：今天天气真___
好
热
冷
差
只看得到老师写的字
让老师写出大量解答，学生拿来照着练（黑盒蒸馏）
前者学得更细；后者门槛更低，能调用老师就行。
实例 · 2025
DeepSeek-R1
带出 6 个学生
R1
1.5B
7B
8B
14B
32B
70B
B＝十亿参数
用 R1 整理的 80 万条样本，直接微调开源的 Qwen 和 Llama。32B 那个在多项测试上超过了 OpenAI o1-mini。
代价
蒸馏不是白捡
1有天花板
学生通常比老师弱一截。
2连错一起学
老师的偏见和错误，学生也会学走。
3只会老师出过的题
老师没覆盖到的题型，学生往往也不会。
记住这一句
蒸馏，就是
大模型出题、打分，
小模型照着学。
下次看到模型名里带 Distill，你就知道它是怎么来的了。