百万 token 上下文：它到底有什么用

GPT-6 Astra 的 105 万 token 上下文窗口听起来是一场毫无保留的胜利。但在实践中，长上下文是一件存在真实失败模式的专业工具——以下是它实际能交付的价值。

百万 token 上下文：它到底有什么用

自 9月 3日以来，GPT-6 Astra 的 105 万 token 上下文窗口一直是规格讨论的主角。但长上下文是现代 AI 中被过度宣传最厉害的能力之一，而真相——一如既往——比那个数字更有意思。

一百万 token 能装下什么。大约 75 万个单词：一整个中等规模的代码库、一套完整的监管申报文件、一本带批注的完整长篇小说，或几个小时的会议记录。工作单位从“段落”变成“语料库”，这确实催生了新的应用——全仓库工程、纵向文档分析、诉讼级审查。

它做不到什么。长上下文不是检索，而且模型在整个窗口内的退化并不均匀。巨大窗口中部的信息获得的注意力少于边缘内容——有充分记录的“迷失在中间”效应在当前世代的模型中依然存在。大海捞针式测试中的精确问题得分不错；同时对五十份文档做综合推理，仍是错误最集中的地方。

经济账。按 Astra 每百万输入 token 10 美元的价格，一个塞满的上下文窗口意味着还没生成一个输出 token，请求就已花掉真金白银——而在对话中反复携带这些上下文会让账单成倍增长。这正是缓存如此重要的原因：Anthropic 0.20 美元的缓存读取定价，正是因为稳定前缀主导着长上下文工作负载；激进使用缓存的路由策略能大幅削减有效成本。

实用模式。从百万 token 窗口中真正获得价值的团队，绝大多数以混合方式使用：用检索选出相关子集，用长上下文容纳该子集及其周边内容，再对这个整体做一次高规格推理。窗口是承载“周全”的容器，而不是“取舍”的替代品。

坦诚的结论：对特定一类语料库规模的工作而言，长上下文确实解锁了真实能力；但如果你指望它让检索架构过时，那它只是一场昂贵的幻觉。它不会。