自回归才是核心架构革新

从 ChatGPT 横空出世以来,已经过去四年了。 这几年时间,真的是恍如隔世。 许多人把大模型的发展归功于那篇划时代的论文《Attention is All You Need》。认为注意力是一切的基石。 但是,我不这么认为。我认为 Transformer 发明的注意力机制,最大的作用是降低了训练的复杂度。 但是注意力机制,并不是思维产生的原因。 我认为,思维诞生于自回归。 推理这件事,是无法并行的。思考的步骤之间存在因果依赖:第 3 步的前提是第 2 步的结论。能并行的问题不叫问题,是搜索。因此,过去的人工智能着眼于“剪枝算法”。 剪枝算法认为答案是搜索出来的。给所有的答案打分,就能找到答案。 问题作为输入,是一成不变的。 自回归不搜索全部的答案。它找一次,就把找到的结果并入问题重新找。 每次找到一点结果,就把结果并入问题,于是下一拍面对的是一个不同的问题。 搜索的代价是空间,自回归的代价是时间。搜索要求有候选清单,而开放任务根本写不出候选清单。这是经典 AI 在真实问题上失效的原因:没有可遍历的树。 自回归仍然是建立在“搜索”的基础上的。只不过,它不追求深度搜索,而是每次搜索一层就换问题。 随着迭代的递进,问题越来越长 —— 答案却越来越简单。 写下的每一个字,都把一段未知搬进了已知。于是上下文单调变长,剩余问题单调变小。 注意力机制负责让机器读懂问题,自回归负责让机器解决问题。 而自回归跑起来之后,注意力读的对象就换成了模型自己写下的东西。 这就是“写作即思考”。 如果没有注意力机制,其实也可以用别的东西替代。唯有自回归才是核心不可替代的结构。没有自回归,就没有思考。

November 18, 2026