什么是模型量化？如何让大模型跑得更快更省

什么是模型量化

模型量化（Quantization）指把模型的数值精度从高精度（如 FP16、FP32）降到低精度（如 INT8、INT4），从而压缩体积、降低内存占用、提升推理速度。

为什么需要量化

大模型动辄几十 GB，单卡跑不动。量化后模型体积可缩小 4-8 倍：70B 模型从约 140GB 压到 35GB 左右，消费级显卡也能本地运行。

常见精度档位

FP16：原始精度，质量最好，显存需求高。
INT8：体积减半，质量损失小，主流选择。
INT4：体积减 75%，速度最快，质量有可见损失。

量化方式

训练后量化（PTQ）：模型训练完再压缩，简单但精度损失偏大。
量化感知训练（QAT）：训练时就模拟量化，质量更好但成本高。

实践建议

看硬件：消费级显卡优先 INT4/INT8。
看任务：对质量敏感（写作、推理）用 INT8；速度优先（对话）可 INT4。
看评测：量化后跑一遍任务对比输出质量再定档。

常见疑问

问：量化后的模型"变笨"吗？
答：大模型量化后质量损失通常可控，但复杂推理任务差异会更明显。

问：量化能替代蒸馏吗？
答：不同路线——量化压缩已有模型，蒸馏训练更小模型，可组合使用。

总结

模型量化是本地部署大模型的"省钱钥匙"：降低精度换体积与速度，让高性能模型跑进普通硬件。按硬件预算与质量要求选择合适的精度档位，并在量化后实测验证，是稳妥的落地姿势。