推理时计算(Test-Time Compute)指在模型推理(回答问题)阶段增加额外计算量来提升答案质量的技术:让模型在给出最终答案前先进行多步思考、自我纠错或搜索验证,是推理模型(如 o1、DeepSeek-R1)的核心机制。
AI Glossary
推理时计算(Test-Time Compute,也称测试时计算)指把更多算力花在"模型回答问题的那一步"上:传统大模型是"问一句、答一句"直接生成;而推理时计算让模型在给出最终答案前先做大量内部思考——拆解问题、逐步推理、发现错误回头修正、必要时调用搜索验证。2024 年末 OpenAI o1 与 2025 年 DeepSeek-R1 让这项技术成为主流,也是"推理模型"与普通对话模型的核心区别。
推理时计算主要有三种增加方式:
传统上 AI 的进步主要靠"训练时计算"——用更多数据与算力把能力压进模型参数里,成本发生在训练阶段、推理时几乎免费。推理时计算则把成本挪到使用阶段:能力不"存"在参数里,而是"算"在回答时。两者是互补关系:基础能力仍需训练获得,推理时计算负责在关键时刻把能力用到极致。
推理时计算显著提升复杂任务(数学、编程、长程规划)的表现,但代价是"慢与贵":一次深度思考可能消耗普通回答数十倍的算力与延迟。实际产品普遍采用分级策略——简单问题直接回答,复杂问题才启用深度思考,在"快"与"准"之间做动态取舍。
用通俗中文解释 AI 技术术语,帮助你看懂工具页面里的模型、协议和工作流。