大语言模型(LLMs)的迅速崛起——以及它们在日常生活中日益增长的角色——掩盖了一个根本问题:生成式预训练变压器(GPT)模型会产生幻觉,在处理内存密集型任务时表现挣扎,消耗巨大的计算和能源资源,有时还会表现得不可预测。
研究人员将由此产生的不均衡称为:参差不齐的智能(jagged intelligence)。系统能解决研究生级别的问题,却在孩子都能做对的事情上绊倒。而且,失败往往毫无预兆。
这使得 LLMs 在许多任务中很有价值,但也使它们无法可靠地预测基本的物理动作,比如球如何弹跳或猫如何跳跃。一个流行的测试说明了这一点:“我把一枚硬币放进咖啡杯里。我带着杯子走进厨房,把它倒扣在柜台上。然后我带着杯子走回客厅。硬币在哪里?”直到最近,模型通常回答硬币还在客厅的杯子里。它们无法模拟硬币掉出来的过程。当今的领先模型能正确回答——但对一个广泛流传的谜题给出正确答案并不等同于内在知识,甚至不等同于对物理的基本理解。稍微改变一下谜题,失败就会卷土重来。
因此,研究人员正在探索后变压器
a AI 框架。其理念不仅仅是构建更大的 LLMs,而是赋予模型对空间关系的更好理解,改善它们的内存,并纳入新的推理类型。
这些概念包括模拟人、物体和环境行为的“世界模型”
b;将问题分解为较小组件并进行多步推理的智能体架构;能够以线性扩展进行长序列建模的选择性状态空间模型(SSMs)
c;以及受生物启发的神经记忆模块
d,其运作方式更像人类大脑。
e 纽约大学计算机科学 Jacob T. Schwartz 教授、2018 年 ACM 图灵奖得主 Yann LeCun 说:“我们绝不可能仅通过训练文本就在人工智能中实现人类水平的智能。世界比语言更复杂。”
模型行为
如果过去十年的 AI 主要集中在教会计算机掌握语言,那么下一个十年可能会专注于教会 AI 如何掌握现实,并理解物理世界中事物如何运作。尽管大语言模型不太可能消失,但 AI 宇宙可能会变得更加多样化。
“今天的 LLM 模型比 1991 年类似的神经网络稍微复杂一点,但也不是多太多,”KAUST 生成式 AI 中心联合主席、瑞士 AI 实验室 IDSIA 科学总监、循环神经网络(RNNs)领域的先驱
f Jürgen Schmidhuber 说。“通过‘图灵测试’
g远比在物理世界中开发真正的 AI 容易得多。仅仅预测下一个令牌不足以产生通用人工智能(AGI)
h,”他补充道。
麻省理工学院电气工程与计算机科学副教授 Phillip Isola 说,这些麻烦中的许多都可追溯到内存问题。“变压器原生不具备我们人类所理解的那种意义上的内存,”他说。LLMs 的问题根源在于它们处理信息的方式。随着上下文窗口向前移动,它们天真地覆盖令牌,他补充道。这会导致错误和幻觉,但也导致模型在处理复杂任务时迷失思路。
尽管得益于护栏、增强检索和面向推理的训练,抑制幻觉的能力有所提高,但底层的 LLM 引擎并未进化。模型仍然生成看似合理、甚至令人信服的输出——有时对有时错——却完全不理解世界实际如何运作。它们较少捏造引文、统计数据甚至新闻事件,但仍然无法推理如果一颗球滚到自动驾驶汽车前面的街道上会发生什么。仅仅是颗球吗?有孩子在追它吗?
Isola 说,理想情况下,变压器模型应该只是整体 AI 堆栈中的一层。然而,更多的层级增加了出错的可能性。虽然 LLMs 看起来流畅,但它们通常在事实、目标追踪、长期规划和适应变化方面表现挣扎。“变压器模型有很多局限性,包括缺乏对我们世界关键组成部分的空间关系的理解,”卡内基梅隆大学计算机科学系助理教授 Aditi Raghunathan 补充道。
k寻求变革
Schmidhuber 说,尽管语言技能令人印象深刻,但基于变压器的模型功能更像巨大的数据库,而非智能源泉。变压器模型擅长写作或头脑风暴想法等“模糊”任务,但不适合科学计算或精确的分步推理,例如对账。
这一差距并不局限于物理世界;它也出现在正式推理中。“有各种各样标准变压器无法解决的简单问题。例如,它们根据 1 位的数量是奇数还是偶数对任意大小的位字符串进行分类的能力。”不幸的是,他注意到,向问题投入更多资源——扩展模型规模——将无法解决根本问题。
自 1990 年以来,Schmidhuber 的研究一直集中在开发人工智能体,这些智能体通过“自我发明的实验”收集数据,学习世界模型,以识别数据中的规律和模式。控制器使用世界模型内的模拟来选择能最大化长期预测奖励的动作序列。“目标总是在变化,因为无论系统学到什么都会变得无聊,因此它必须不断发明新目标,”他说。“这本质上就是婴儿和科学家学习的方式——不是通过下载网络,而是通过自我发明的实验。”
LeCun 正在采取不同的方法。他的联合嵌入预测架构(JEPA)
l不直接生成文本或像素;它使用图像、视频和其他信号,通过自监督学习来学习和预测未来状态的抽象表示。这个基于 JEPA 的世界模型位于一个具有感知、内存、执行模块和成本模块的智能体内部。智能体使用 JEPA 的世界模型来模拟动作的后果,并选择那些看起来最有希望的动作。
LeCun 的目标是摆脱变压器模型(包括 LLMs)的基本局限性。“如果你使用变压器模型来预测未来的视频帧,结果会变成一团模糊的混乱,因为它完全不知道实际上发生了什么。当系统试图计算‘平均值’时,它基本上什么也得不到,”他解释道。不幸的是,使用概率分布模型来解决这一挑战变成了一个“难解的数学问题”,而插入扩散模型“并不能让我们更接近真正理解现实。”
JEPA 使用来自相机、麦克风和一系列工业或科学仪器的传感器数据,以识别真正重要的变量并预测场景将如何展开。其应用范围可能从机器人和航空航天扩展到智能电网和自动驾驶。2025 年 11 月,LeCun 宣布辞去 Meta 首席 AI 科学家的职务,并创办了一家初创公司
m,以全面开发 JEPA 框架。“认为我们可以纯粹从语言中解决复杂的 AI 问题是荒谬的。这永远不会行得通,”他说。
世界模型之所以如此强大,是因为它在生成响应之前可以推演情境。例如,在硬币和杯子的场景中,智能体不使用关于这些物体的语言来产生可能的答案。它实际模拟杯子倾斜、硬币离开杯子以及硬币静止在柜台上的过程,然后再报告它最终在哪里。换成罐子,加第二枚硬币,或者中途放下杯子两次,模拟仍会继续追踪这些物体。同样,世界模型可以向前投影几秒钟,衡量孩子追球进入街道的可能性——以及错误决策的代价。
寻找更好的推理
其他后变压器方法正在成形。例如,研究人员正在探索 SSMs,如 Mamba
n,它们维持一个紧凑的运行“状态”,随着新词或数据的到来进行更新,而不是不断比较每一个单词。它们能处理比当前变压器模型更长的序列——有时还能使用更少的计算力和内存。这种运行状态使它们成为物理预测的有吸引力选项:追踪飞行轨迹或天气锋面的系统可以携带过去的事件,而不是从头重新收集和重新评估每一个观察结果。SSMs 可以帮助 AI 更好地预测复杂轨迹、天气模式和其他动态事件。
Google DeepMind 正在开发 Titans
o,一个在训练后继续学习和记忆的“神经记忆”模块。DeepMind 研究人员还开发了一种称为“嵌套学习”
p的技术,它重新定向内部工作流以避免灾难性遗忘。
q 与此同时,AI21 Labs 开发了 Jamba
r,一个结合变压器元素和 Mamba 风格状态空间的模型,而另一组研究人员创建了一个称为保留网络(Retentive Network)
s的框架,旨在实现并行训练和循环低成本推理。
目前,后变压器世界仍在成形——尚不清楚它何时完全到来,或将以何种形式出现。一些研究人员,如 CMU 的 Raghunathan,预计该领域将逐步推进。她认为模型设计师将混合和匹配组件以实现期望的性能基准,构建更灵活的框架,并产生更可靠的结果。这将带来“创造性且开放式的问题解决”以及“质量和可靠性的提高”,她说。
Isola 总结道:“我们可以用变压器模型做很多事情——而且很可能有很大空间让它们表现更好——但这些模型也有固有的局限性。我们必须找到方法构建更健壮的人工智能堆栈。”
Samuel Greengard 是一名作家和记者,常驻美国俄勒冈州西林恩。