五种推理级别、一个模型:如何用好“努力程度”旋钮
GPT-6 Astra 的五个可选推理级别是本次发布中影响最大的新 API 原语——同一个模型,可以按请求在“快速应答者”与“深度思考者”之间切换。
五种推理级别、一个模型:如何用好“努力程度”旋钮
藏在 GPT-6 Astra 发布规格里的,是实际影响最大的功能:五个可选的推理级别。开发者不必再在“快模型”与“聪明模型”之间二选一,而是按请求调节努力程度旋钮——这改变了你基于该 API 进行架构设计的方式。
各级别的作用。每上调一档,换来的是更深层的斟酌——回答之前进行更多的内部计算——代价是延迟和 token。最低几档在查询类问题上表现得像个反应敏捷的助手;最高几档则接近前沿基准测试所考量的那种深思熟虑的多步推理。OpenAI 在 GPQA Diamond 上 96.0% 的成绩反映的是最高档位的设置。
为什么这在架构上重要。旧模式是在不同模型层级之间做路由——大部分流量走廉价模型,少数场景按需升级到高级模型。努力程度旋钮把这一切压缩为一次集成:相同的模型标识、相同的工具接口、相同的行为基线,成本按调用调节。对于智能体系统——单个会话里琐碎步骤与困难步骤交替出现——按步骤控制努力程度是比切换模型更干净的原语。
实践中的设置方法。从最低档起步,依据信号逐级上调:问题的复杂度、答案的风险高低、是否存在需要综合分析的工具结果。分类与信息抽取停留在低档;多文档推理、规划和代码审查使用更高档位。把所用级别与结果一起记入日志——你自己的流量会比任何指南更快教会你这套映射关系。
注意事项。努力程度不是保证。更高的档位抬高了上限,但也加大了延迟和成本的波动,而某些失效模式——比如“自信却错误”的综合结论——在任何档位下都可能存在。这个旋钮是预算工具,不是正确性保证,评估套件应当覆盖你实际上线使用的档位。
可以预期每家前沿实验室都会推出等价的原语。可调节推理是那种罕见的同时利好厂商与客户的功能——厂商得到更好的经济性,其他人得到更好的成本控制。