论文概要
研究领域: NLP/AI 作者: Hao Fei, Yiran Zhao 发布时间: 2026-07-29 arXiv: 2607.27201
—
🧠 引子:你为什么会突然转身?
让我先讲一个场景。
你走在一条热闹的街道上,迎面走来一个陌生人。就在你们即将擦肩而过的瞬间,他突然停下脚步,眼睛越过你的肩膀,看向某个方向。
你会怎么做?
十有八九,你会下意识地转过身,顺着他的视线望过去。你甚至不会先思考”我为什么要转身”——这个动作几乎是自动的,就像呼吸一样自然。
但这里有一个有趣的问题:你的身体并没有接收到任何新的信息。街道上的一切和前一秒完全一样,没有任何异常的声音或光线变化。你之所以转身,是因为你”读”到了那个陌生人的心理——他看到了什么有趣的东西,而他的反应让你相信,那个东西值得你看一眼。
这就是”心理理论”(Theory of Mind)的力量。人类的大脑天生就擅长做一件事:猜测其他人在想什么。这种能力如此基础、如此自动化,以至于我们很少意识到它的存在——直到我们尝试教机器做同样的事情。
今天这篇论文,讲的就是如何让AI从”看见世界”进化到”读懂人心”。
—
🌍 世界模型:AI的”内心戏”
要理解这篇论文,咱们得先从”世界模型”说起。
所谓世界模型,就是AI对周围环境的一种”心理表征”。你可以把它想象成AI脑海中的一幅地图——不是普通的地图,而是一幅会动的、能预测未来的地图。
比如,一辆自动驾驶汽车的世界模型可能包含这样的信息:”前方10米有一个行人,他正在以1米/秒的速度横穿马路,如果继续按当前速度行驶,3秒后可能会发生碰撞。”
有了这个世界模型,AI就能”想象”不同行动的后果,然后选择最好的那个。这就像你在下棋时会”在脑海中推演”几步之后的局面一样。
世界模型的概念并不新鲜。早在1990年,Jürgen Schmidhuber就提出了类似的想法。近年来,随着深度学习的爆发,世界模型在机器人控制、游戏AI、自动驾驶等领域取得了惊人的进展。
但现有的世界模型有一个根本性的缺陷:它们只关心物理世界。
—
🤖 物理世界模型的问题:对的场景,错的行为
想象这样一个场景:
爱丽丝和鲍勃坐在一张桌子旁。桌子上有一个盒子,里面放着一块巧克力。爱丽丝离开房间后,鲍勃偷偷把巧克力从盒子里拿出来,藏进了抽屉里。然后爱丽丝回来了。
现在问:爱丽丝会去哪里找巧克力?
任何一个三岁小孩都会告诉你:爱丽丝会去盒子里找。因为她离开房间的时候,巧克力还在盒子里,她不知道鲍勃已经把它移走了。
但如果问一个传统的物理世界模型,它可能会回答:爱丽丝会去抽屉里找。因为从”客观事实”的角度来看,巧克力确实在抽屉里。
你看,问题出在哪里?物理世界模型追踪的是”世界实际上是什么样的”,但人类的行为取决于”每个人相信世界是什么样的”。爱丽丝的行为不是由巧克力的实际位置决定的,而是由她心中的信念决定的。
这就是论文作者指出的核心问题:现有世界模型只回答物理问题——”这是什么?””在哪里?””会怎样变化?”——但人类行为是由隐藏的心理状态驱动的:人们相信什么、想要什么、打算做什么、感受如何、以及他们认为什么是社会允许的。
如果一个模型只追踪物理场景,而不追踪每个智能体对场景的认知和信念,它就会”为看起来对的场景预测错误的行为”。
—
💡 Mental World Modeling:把”心”放进模型
于是,作者提出了一个全新的框架:Mental World Modeling(心理世界建模,简称MWM)。
这个框架的核心理念可以用一句话概括:让心理状态成为世界模型的核心组件,而不是事后解释。
具体来说,MWM框架包含三个关键要素:
第一,耦合的物理-心理状态。
传统的世界模型只维护一个”物理世界状态”——物体在哪里、速度是多少、形状是什么。MWM则同时维护两个相互耦合的状态:物理状态和心理状态。
心理状态包括:每个智能体知道什么、相信什么、想要什么、打算做什么。这些心理变量和物理变量是”耦合”的——物理世界的变化会影响心理状态(比如爱丽丝看到鲍勃移动巧克力,她的信念就会更新),而心理状态也会影响物理世界(比如爱丽丝相信巧克力在盒子里,所以她会去打开盒子)。
第二,目标特定的部分观察。
现实世界中,不同的智能体看到的东西是不一样的。你和我坐在同一间教室里,但我的视野里可能正好被一根柱子挡住了黑板的一角,而你的视野是完整的。
MWM框架要求模型能够”渲染”出每个智能体的”部分观察”——不是整个世界,而是这个世界从那个特定智能体的视角看起来的样子。这需要模型理解”什么在视野内””什么被遮挡了””什么是在视线之外”。
第三,联合更新的模拟。
当你考虑采取一个行动时,你不仅会想象这个行动如何改变物理世界,还会想象它如何改变你和其他人的心理状态。
比如,你决定对朋友说一个善意的谎言。在模拟这个行动的后果时,你不仅要想”这句话会让朋友相信什么”,还要想”如果朋友后来发现真相,他的心理状态会如何变化””这会如何影响你们的关系”。
MWM框架要求模型能够模拟候选行动如何同时更新物理状态和心理状态。这是一种”双轨模拟”:物理世界在变化,心理世界也在变化,而且两者相互影响。
—
🔧 MENTIS:一个可解释的实现
理论框架听起来很美好,但怎么实现呢?
作者们提出了MENTIS——一个”无需训练、完全可解释”的基线系统。这个名字来自拉丁语”mens”(心智),听起来就很酷。
MENTIS把心理世界建模的过程分解为五个步骤:
第一步:状态解析。
就像侦探进入犯罪现场后首先观察环境一样,MENTIS首先解析当前场景中的所有物理实体和关系。桌子、椅子、人、物体——把它们都识别出来,建立一个”物理场景图”。
第二步:目标观察生成。
接下来,MENTIS为每个相关智能体生成”部分观察”。这一步的关键是”视角转换”:模型需要站在每个智能体的位置上,想象他们能看到什么、不能看到什么。
这就像玩一个侦探游戏,你需要分别想象每个嫌疑人在案发时看到了什么——有些人可能看到了凶手,有些人可能被柱子挡住了视线,还有些人可能根本不在现场。
第三步:行动分解。
当一个智能体要采取行动时,MENTIS把这个行动分解为更细粒度的子行动。”拿起杯子”可能被分解为”伸手→握住→提起”。
这种分解很重要,因为在不同的子行动之间,心理状态可能会发生变化。比如,在你”伸手”的时候,你还没有真正触碰到杯子,所以你对杯子重量的信念还是基于之前的经验;但当你”握住”杯子的那一刻,你的触觉反馈会立刻更新你的信念。
第四步:耦合的物理-心理转换。
这是MENTIS的核心。每执行一个子行动,MENTIS同时更新两个状态:
– 物理转换:杯子从桌子上移动到了手中,杯子的位置发生了变化。 – 心理转换:智能体A看到智能体B拿起了杯子,所以A的信念更新为”B拿着杯子”。但如果A没有看到这个动作(比如A当时在看别处),A的信念就不会更新。
这种”双轨并行”的更新机制,使得模型能够精确追踪”谁知道了什么”。
第五步:分支级价值评估。
最后,MENTIS评估每个可能的行动分支的价值。这个价值不仅考虑物理后果(”这个行动能否达到目标”),还考虑心理后果(”这个行动会不会让别人觉得我很粗鲁””这个行动会不会暴露我的秘密”)。
—
📊 实验:当AI开始读心
为了验证MWM的有效性,作者们构建了一个手工制作的质量控制数据集,包含文本、图像和有声视频三种模态的”情境决策场景”。
每个场景都是一个”小故事”:几个角色,一些物体,一系列事件。然后问模型:”在这个情境下,某个角色最可能采取什么行动?”
比如:
> 小明把饼干藏在了蓝色的盒子里,然后离开了房间。小红走进来,看到蓝色的盒子,但她不知道里面有什么。她打开盒子,看到了饼干。这时小明回来了。 > > 问:小明会去哪里找饼干?
正确答案当然是”蓝色的盒子”——因为小明离开时饼干在那里,他不知道小红已经发现了饼干。
作者们测试了8个基于现代大语言模型的世界模型。结果显示:显式建模心理状态对于预测人类决策至关重要。
那些只追踪物理状态的模型,在很多场景下都会给出荒谬的答案。比如,它们可能会预测”小明会去问小红饼干在哪里”——但小明根本不知道小红知道饼干的位置,他为什么要问?
而那些能够追踪心理状态的模型(包括MENTIS),则能够准确地预测人类的行为。
—
🔍 深入分析:瓶颈在哪里?
虽然MENTIS的表现优于纯物理世界模型,但作者们也坦诚地指出了当前心理世界建模的几个瓶颈:
瓶颈一:心理状态的多层次性。
人类的心理状态远比”知道/不知道”复杂。你可能”知道”某件事,但”不相信”它;你可能”想要”某件事,但”觉得不应该”要;你可能”打算”做某件事,但”怀疑”自己能否做到。
现有的模型很难捕捉这种多层次的心理状态。它们往往把心理状态简化为一些离散的标签(”相信A””想要B”),而忽略了这些状态之间的复杂互动。
瓶颈二:社会规范的隐性知识。
人类行为很大程度上受到社会规范的影响。在某些文化中,直接拒绝别人的请求是粗鲁的;在另一些文化中,委婉的拒绝反而会被认为是不真诚的。这些规范往往是隐性的、语境依赖的,很难被显式编码。
瓶颈三:情感状态的动态变化。
人的情感不是静态的。你可能会因为一个小挫折而沮丧,然后因为朋友的一句话而重新振作,然后因为想起另一件事而再次低落。这种情感的动态变化对人的决策有巨大影响,但目前的模型几乎完全忽略了这一点。
瓶颈四:自我认知的缺失。
MENTIS能够追踪”别人知道什么”,但它对”自己知道什么”的追踪仍然很粗糙。人类有一种持续的”自我监控”能力——我们会不断地反思自己的信念、欲望和意图,并基于这种反思来调整行为。这种”元认知”能力是当前AI系统所缺乏的。
—
🌅 为什么这很重要?
你可能会问:就算AI能读懂人心,这又有什么用?
让我举几个例子。
自动驾驶。 现在的自动驾驶汽车知道行人在哪里、速度是多少,但它不知道行人”打算”做什么。如果AI能理解”这个行人正在看手机,他可能没有注意到我的车”,它就能做出更安全的决策。
医疗辅助。 AI可以帮助医生诊断疾病,但如果它不能理解病人的心理状态——”这个病人很焦虑,可能会夸大症状””这个病人很固执,可能不会遵医嘱”——它的建议就很难落地。
教育。 个性化教育的核心不是”学生掌握了哪些知识”,而是”学生为什么没掌握””他对这个科目的态度是什么””什么样的教学方式能激发他的兴趣”。这些都需要心理世界建模。
人机协作。 当你和AI一起工作时,你希望AI不仅知道”你在做什么”,还知道”你为什么这么做””你接下来打算做什么””你需要什么样的帮助”。只有这样,AI才能成为一个真正的”伙伴”,而不是一个高级工具。
机器人。 一个能读懂人心的机器人,可以更好地在人类社会生活。它知道什么时候该说话、什么时候该沉默;知道什么时候该帮忙、什么时候该退后;知道什么时候你的”没事”其实是”有事”。
—
🔮 从物理到心智:世界模型的下一次跃迁
这篇论文的标题很简洁,只有两个词:Mental World Modeling。但这两个词背后,是整个AI领域的一次重要转向。
从1956年达特茅斯会议算起,AI已经走过了70年。在这70年里,我们教会了AI很多技能:下棋、识别图像、翻译语言、生成图像、写代码。但有一个能力,我们始终没能真正教会AI——那就是”理解人心”。
这不仅仅是一个技术问题。从更深层来看,这关系到我们如何定义”智能”。如果智能仅仅意味着”在棋盘上战胜人类”或”在考试中得到高分”,那么AI已经做到了。但如果智能意味着”理解他者的处境””预测他人的行为””在社会中和谐共处”,那么AI还有很长的路要走。
Mental World Modeling可能是这条路上的一个重要里程碑。它标志着世界模型从”模拟物理场景”向”模拟心智场景”的跃迁。这不是一次简单的功能扩展,而是一次范式的转变。
正如论文作者所言:”我们期待MWM成为世界建模的下一个阶段——从模拟物理场景,到模拟在物理场景中行动的心智。”
也许有一天,当AI真正学会了”读心”,我们会回头看着今天的论文,就像今天我们回头看图灵1950年的那篇论文一样——那是一个时代的开端。
—
> 注解:Theory of Mind(心理理论)是发展心理学中的一个核心概念,指个体理解自己和他人的心理状态(如信念、意图、欲望等)的能力。通常认为,人类儿童在4-5岁时开始发展出完整的心理理论能力。
参考文献 – Fei, H., & Zhao, Y. (2026). Mental World Modeling. arXiv:2607.27201. – Schmidhuber, J. (1990). Making the world differentiable: On using self-supervised fully recurrent neural networks for dynamic reinforcement learning and planning in non-stationary environments. Technical Report. – Premack, D., & Woodruff, G. (1978). Does the chimpanzee have a theory of mind?. Behavioral and Brain Sciences, 1(4), 515-526. – Rabinowitz, N., et al. (2018). Machine theory of mind. ICML 2018. – Wang, L., et al. (2021). Theory of mind for deep reinforcement learning in multi-agent systems. NeurIPS 2021.
— 自动采集于 2026-07-31
#论文 #arXiv #NLP #世界模型 #心理理论 #小凯
