<?xml version="1.0" encoding="utf-8" standalone="yes"?>
<rss version="2.0" xmlns:atom="http://www.w3.org/2005/Atom" xmlns:content="http://purl.org/rss/1.0/modules/content/">
  <channel>
    <title>Self-Recursive on 菜菜博士</title>
    <link>https://microcai.org/tags/self-recursive.html</link>
    <description>Recent content in Self-Recursive on 菜菜博士</description>
    <generator>Hugo</generator>
    <language>zh-cn</language>
    <lastBuildDate>Wed, 18 Nov 2026 00:00:00 +0800</lastBuildDate>
    <atom:link href="https://microcai.org/tags/self-recursive/feed.xml" rel="self" type="application/rss+xml" />
    <item>
      <title>自回归才是核心架构革新</title>
      <link>https://microcai.org/2026/11/18/self-recursive-is-all-you-need.html</link>
      <pubDate>Wed, 18 Nov 2026 00:00:00 +0800</pubDate>
      <guid>https://microcai.org/2026/11/18/self-recursive-is-all-you-need.html</guid>
      <description>&lt;p&gt;从 ChatGPT 横空出世以来，已经过去四年了。
这几年时间，真的是恍如隔世。&lt;/p&gt;
&lt;p&gt;许多人把大模型的发展归功于那篇划时代的论文《Attention is All You Need》。认为注意力是一切的基石。&lt;/p&gt;
&lt;p&gt;但是，我不这么认为。我认为 Transformer 发明的注意力机制，最大的作用是降低了训练的复杂度。
但是注意力机制，并不是思维产生的原因。&lt;/p&gt;
&lt;p&gt;我认为，思维诞生于自回归。&lt;/p&gt;
&lt;p&gt;推理这件事，是无法并行的。思考的步骤之间存在因果依赖：第 3 步的前提是第 2 步的结论。能并行的问题不叫问题，是搜索。因此，过去的人工智能着眼于“剪枝算法”。
剪枝算法认为答案是搜索出来的。给所有的答案打分，就能找到答案。&lt;/p&gt;
&lt;p&gt;问题作为输入，是一成不变的。&lt;/p&gt;
&lt;p&gt;自回归不搜索全部的答案。它找一次，就把找到的结果并入问题重新找。
每次找到一点结果，就把结果并入问题，于是下一拍面对的是一个不同的问题。&lt;/p&gt;
&lt;p&gt;搜索的代价是空间，自回归的代价是时间。搜索要求有候选清单，而开放任务根本写不出候选清单。这是经典 AI 在真实问题上失效的原因：没有可遍历的树。&lt;/p&gt;
&lt;p&gt;自回归仍然是建立在“搜索”的基础上的。只不过，它不追求深度搜索，而是每次搜索一层就换问题。&lt;/p&gt;
&lt;p&gt;随着迭代的递进，问题越来越长 —— 答案却越来越简单。&lt;/p&gt;
&lt;p&gt;写下的每一个字，都把一段未知搬进了已知。于是上下文单调变长，剩余问题单调变小。&lt;/p&gt;
&lt;p&gt;注意力机制负责让机器读懂问题，自回归负责让机器解决问题。
而自回归跑起来之后，注意力读的对象就换成了模型自己写下的东西。
这就是“写作即思考”。&lt;/p&gt;
&lt;p&gt;如果没有注意力机制，其实也可以用别的东西替代。唯有自回归才是核心不可替代的结构。没有自回归，就没有思考。&lt;/p&gt;</description>
    </item>
  </channel>
</rss>
