AI 推理参数详解：temperature 与 top-p 怎么调？

为什么需要调推理参数

同一个问题，问 AI 十次可能得到十种回答——有的更「稳」，有的更「飘」。这种差异主要由推理参数控制。其中最重要的两个是 temperature 和 top-p，它们共同决定了 AI 输出的随机性与多样性。

temperature：控制「大胆程度」

模型在生成下一个词时，会计算所有候选词的概率分布。temperature 就是用来调整这个分布的形状的：

• temperature 越低（接近 0）：概率分布越「尖锐」，几乎总是选最高概率的词 → 输出稳定、重复、保守，适合需要准确答案的场景（代码、数学、事实问答）；
• temperature 越高（如 1.0 以上）：分布越「平坦」，低概率词也有机会被选中 → 输出多样、有创意，但可能跑题、出错，适合头脑风暴、故事创作、文案发散。

可以这样理解：temperature 是模型的「胆量旋钮」——调低它，模型只敢说最有把握的话；调高它，模型愿意尝试各种说法。

top-p：控制「候选范围」

top-p（也叫核采样）是另一种随机性控制方式：模型只从「累积概率达到 p 的那批词」里选词。

• top-p 小（如 0.1）：候选池极窄，几乎只从最高概率的几个词里选 → 输出稳定；
• top-p 大（如 0.9~1.0）：候选池宽，更多低概率词可被选中 → 输出多样。

与 temperature 的「重新分配概率」不同，top-p 是「直接砍掉候选词」，两者机制不同但目标相似：控制输出的确定性程度。

常见场景推荐参数

场景	temperature	top-p	说明
代码生成	0~0.3	0.1~0.3	要稳、要可运行
事实问答/翻译	0.1~0.4	0.3~0.5	准确优先
邮件/公文润色	0.3~0.6	0.5~0.7	稳定中带自然
营销文案	0.7~0.9	0.8~0.9	需要文采与变化
头脑风暴/创意	0.9~1.2	0.9~1.0	鼓励发散

注意：不同模型对参数的实际响应不同，以上是通用起点，建议在你的模型上多做几组对比实验。

两个参数的配合技巧

• 优先只调一个：很多情况下固定 top-p 只调 temperature 就够了，两个一起大幅调整容易「过火」；
• 先调 temperature 找感觉，再微调 top-p：temperature 对结果影响更直观；
• 需要稳定输出时：temperature 调到 0 最可靠，但会损失一点语言的自然度；
• 做产品时：给用户提供「稳定/均衡/创意」三档即可，不必暴露原始参数。

总结

temperature 控制「敢不敢冒险」，top-p 控制「能在多大范围内冒险」。理解并善用这两个参数，是让 AI 从「能用」走向「好用」的基础技能。