语言的幽灵——当AI读遍世间所有文字，却依然不懂你在说什么

论文: A Formal Limitation on Learning Human Language From Textual Corpora 作者: Emily Cheng, Ryan Cotterell 机构: Universitat Pompeu Fabra, ETH Zürich arXiv: 2608.28560

—

🎭 开场：一个古老的思想实验

想象，你被困在一间没有窗户的房间里。

房间的墙上有一个小窗口，每天会有人从窗口递进来一叠纸。纸上写满了文字——小说、新闻、诗歌、科学论文、聊天记录，应有尽有。你读了又读，年复一年，直到你读完了人类有史以来的所有文字。

现在，有人从窗口递进来一张新纸，上面写着：”那把椅子上的红色袋子是我的。”

你理解这句话吗？

从表面上看，当然理解。你知道”椅子”是什么，”红色”是什么，”袋子”是什么。但等等——房间里没有椅子，没有红色，没有袋子。你从未见过这些事物。你对它们的”理解”完全来自于其他文字对其他文字的定义。

那么问题来了：你真的理解这句话吗？还是你只是在做一种极其复杂的文字游戏？

这个思想实验，在哲学界有一个名字：“中文房间”（Chinese Room）。它由美国哲学家约翰·塞尔（John Searle）在1980年提出，是人工智能哲学中最著名的思想实验之一。

塞尔想象一个不懂中文的人坐在房间里，房间里有一本规则手册，告诉他如何根据输入的中文字符组合输出对应的中文字符。从房间外看，这个系统似乎”理解”中文——它能回答中文问题、进行中文对话。但房间里的人实际上对中文一无所知，他只是在机械地执行符号操作。

塞尔的结论是：符号操作不等于理解。

四十多年后的今天，大型语言模型（LLM）让这个问题变得更加紧迫。GPT-4、Claude、Gemini——这些模型读遍了互联网上几乎所有的文字。它们在法律考试中获得高分，能写出优美的诗歌，能进行复杂的逻辑推理。但它们真的”理解”这些文字吗？

这篇论文，从信息论的角度，给出了一个严格的、数学化的答案。

—

📡 信息论的视角：形式与意义之间的鸿沟

语言的三个世界

论文作者将语言使用建模为一个三方联合分布：意义（Meaning）、上下文（Context）、和言语形式（Utterance）。

用一个生活化的比喻：想象你在一个繁忙的火车站。 – 意义（M）：你想表达的真实意图——”我饿了，想吃拉面” – 上下文（C）：当下的情境——你和朋友站在拉面店门口，下午两点，你们都没吃午饭 – 言语形式（U）：你说出口的话——”要不要进去？”

注意，你说的并不是”我饿了，想吃拉面”，而是”要不要进去？”。为什么？因为上下文已经承载了大部分信息。你的朋友看到拉面店，看到时间，看到你们的行程，听到你这句话，立刻就明白了你的意思。

这就是语言的神奇之处：形式（言语）从不单独承载全部意义。意义总是由形式和上下文共同编码的。

这个现象在日常生活中无处不在。当你对恋人说”今晚的月亮真美”，你表达的不仅仅是关于月亮的天文观察。夏目漱石用这句话翻译”I love you”，成为日本文学史上最浪漫的典故之一。但如果你对一个不了解这个文化背景的外国人说同样的话，他可能只会回答：”是啊，确实挺亮的。”

同样的文字，不同的理解。差异不在文字本身，而在上下文——文化背景、人际关系、共享的记忆。

不可约的不确定性

论文的核心定理可以这样理解：

假设有一个”听者”（可以是一个LLM），它只能接触到言语形式（U），而永远无法接触到上下文（C）。作者证明，这个听者从U中恢复说话者真实意图（M）的概率，有一个严格的上界。

这个上界由两部分组成：

第一部分：不可约的不确定性 这就像是一个”语言的量子力学测不准原理”。即使你有无限的计算能力、无限的训练数据、无限的模型参数量，这部分不确定性依然存在。它是语言本身的属性，不是模型不够好的问题。

为什么会这样？因为语言形式本身就具有歧义性。同一个句子”我喜欢苹果”，在没有上下文的情况下，可以是”我喜欢吃苹果”，也可以是”我喜欢苹果公司”。这种歧义不是模型造成的，是语言编码方式的固有特性。

更有趣的例子：”He saw her duck.” – 他看到她的鸭子（动物） – 他看到她蹲下（动作）

在没有上下文的情况下，即使是人类也无法确定这句话的真正含义。这不是因为人类不够聪明，而是因为语言本身就是有歧义的。

第二部分：仅上下文可解的不确定性 这部分不确定性，原则上可以通过上下文来解决，但前提是你要能获取到上下文。如果听者只能看到文字（比如LLM只能从文本中学习），那这部分不确定性就永远无法消除。

用一个更形象的比喻：想象你在一艘船上，看着水面上的波纹。波纹携带了一些信息——有东西掉进了水里。但仅凭波纹，你无法知道那是一块石头、一条鱼、还是一个潜水员。要确定这一点，你需要看到水下的世界（上下文），或者至少看到东西入水的那一刻（更多的感知通道）。

LLM就像那个只能看到波纹的观察者。它可以通过波纹的模式推断出”大概有个东西掉进去了”，甚至能猜出”可能是石头”，但它永远无法百分之百确定。

—

🧮 数学的优雅：信息不等式如何框定理解的边界

从香农到今日

要理解这篇论文的数学框架，我们需要回到信息论的创始人——克劳德·香农（Claude Shannon）。

1948年，香农发表了《通信的数学理论》，奠定了信息论的基础。他提出了一个革命性的观点：信息是可以量化的。

香农引入了”熵”（Entropy）的概念，用来度量不确定性。一个随机变量的熵越大，它的不确定性就越高。比如，一个均匀分布的六面骰子，熵是log₂(6) ≈ 2.58比特。而一个总是显示1的骰子，熵是0——它没有不确定性。

香农还引入了”互信息”（Mutual Information）的概念。两个随机变量X和Y的互信息I(X;Y)，度量的是知道Y后，X的不确定性减少了多少。如果X和Y完全独立，互信息为0；如果X完全由Y决定，互信息等于X的熵。

这篇论文的核心，就是把这些经典概念应用到语言理解的问题上。

核心不等式

论文推导出的核心不等式大致如下（用通俗语言解释）：

   

其中： – 是听者正确恢复说话者意图的概率 – 是言语形式和意义之间的互信息 – 是意义的熵（不确定性）

这个不等式告诉我们：正确理解的概率，被言语形式和意义之间的互信息所限制。

让我们用一个具体的例子来理解这个不等式。

假设意义空间M有8个等概率的可能意义（比如8种不同的意图），那么H(M) = log₂(8) = 3比特。

假设言语形式U和意义M之间的互信息I(U;M) = 2比特。这意味着，知道U后，M的不确定性从3比特减少到了1比特。

那么，正确恢复意义的概率上界就是 2/3 ≈ 66.7%。

这意味着，即使你有最完美的解码器，你也只有至多66.7%的概率猜对说话者的真实意图。剩下的33.3%的不确定性，是语言本身固有的，无法通过任何计算手段消除。

为什么这个界是紧的

作者进一步证明，这个上界是”紧的”（tight）——也就是说，确实存在一些语言系统可以达到这个上界，但没有任何系统可以超越它。

这就像是光速不变原理。无论你用什么推进器，无论你的飞船多么先进，你永远无法超越光速。这不是技术限制，是物理定律。

同样，无论你的LLM有多少参数，无论你用多少数据训练，你从纯文本中学习到的表示，永远有一个理解力的”光速上限”。

这个证明的巧妙之处在于，它不依赖于任何具体的模型架构。无论你用的是Transformer、RNN、还是未来的某种全新架构，这个界都成立。因为它是从信息论的基本原理推导出来的，是数学的必然。

—

🔬 实验验证：三个人工智能的”语言考试”

论文设计了三个精妙的实验来验证理论。这三个实验像是给AI出的三道难度递增的考题，测试它们是否能达到理论预测的上界。

实验一：人工构造的语言——在实验室里创造一种新语言

作者构造了一种简单的”人工语言”，其中意义空间和形式空间的关系是完全可控的。

具体来说，他们定义： – 意义空间M：一组离散的”概念”（比如10种不同的物体） – 形式空间U：一组”词语”（比如10个不同的符号） – 映射关系：每个意义以一定概率映射到一个形式（引入噪声）

通过调整映射的”噪声水平”，他们可以控制I(U;M)的大小。噪声越大，互信息越小，理论预测的上界就越低。

然后，他们训练神经网络来学习从形式到意义的映射，测量实际恢复概率。

结果：模型的表现从未超越理论界，且随着噪声增加，实际表现逐渐接近理论界。

这个实验像是给AI出了一个”受控环境”下的语言理解测试。在这个简化的世界里，理论预测和实际表现完美吻合。

实验二：汉语零代词消解——让AI填上句子中缺失的主语

这是论文中最精彩的实验之一，因为它涉及的是真实的自然语言现象。

汉语有一个独特的特点：经常省略主语。比如： – “昨天去了商店，买了苹果” – “觉得这部电影很好看，推荐你也看看”

在这些句子中，主语被省略了，但母语者可以毫不费力地推断出主语是谁。这种推断依赖于上下文——谁昨天可能去了商店？谁可能觉得电影好看？

作者用LLM来做零代词消解任务，测量模型正确推断省略主语的概率。他们构建了专门的测试集，包含大量需要零代词消解的句子。

结果发现： – 当上下文信息丰富时，模型表现较好（比如主语在前一句明确提到） – 当上下文信息不足时，模型表现下降（比如主语需要世界知识才能推断） – 但无论上下文多么丰富，模型的表现始终低于理论预测的上界

这个实验特别有力，因为它表明：即使在真实的自然语言任务上，信息论的上界依然成立。

有趣的是，人类在这个任务上的表现也受限于同样的上界。当我们读到”他说他会来，但是______迟到了”，如果上下文没有提供足够信息，我们也无法确定缺失的主语是”他”还是”我”。

实验三：颜色指称——当”蓝色”可以指一千种蓝

想象这样一个任务：说话者看到一种颜色，然后用一个词来描述它（比如”蓝色”）。听者听到这个词，需要推断说话者看到的是哪种具体的颜色。

这个任务看似简单，实际上充满了不确定性： – “蓝色”可以指深蓝、浅蓝、天蓝、海蓝、靛蓝、钴蓝… – 不同人对”蓝色”的边界理解不同（有人觉得蓝绿色是蓝色，有人觉得是绿色） – 说话者可能用了不精确的描述（比如用”蓝色”描述了一种更接近紫色的颜色）

作者用信息论框架分析了颜色指称任务中的不确定性。他们测量了不同颜色词的”覆盖范围”——比如”蓝色”这个词在实际使用中可能对应多少种不同的颜色。

然后，他们让LLM做颜色指称理解任务，测量模型正确推断具体颜色的概率。

结果再次验证了理论：LLM的表现受理论界的约束。即使模型在大量文本中学到了颜色词的使用模式，它仍然无法消除颜色指称中的固有不确定性。

这个实验还有一个哲学层面的意义：它让我们思考语言与感知的关系。颜色是连续的物理现象（波长），但语言把它切分成了离散的范畴（红、橙、黄、绿…）。这种切分本身就是任意的、文化依赖的。俄语中有两个词表示蓝色（голубой和синий），而英语只有一个”blue”。这意味着，俄语使用者对蓝色的感知和英语使用者可能真的不同——这就是著名的”语言相对论”或”萨丕尔-沃尔夫假说”。

—

🌊 深层含义：这对AI意味着什么？

LLM的”理解”究竟是什么？

这篇论文的一个重要启示是：当我们说LLM”理解”语言时，我们需要小心定义”理解”的含义。

如果”理解”意味着”能够从文本形式中恢复说话者的真实意图”，那么论文告诉我们：LLM的理解力有一个严格的上界，且这个上界由语言本身的属性决定，与模型大小或数据量无关。

但这并不意味着LLM没有价值。论文的作者（包括Ryan Cotterell，他是计算语言学领域的顶尖学者）并不是在否定LLM。相反，他们在帮助我们更精确地理解LLM能做什么、不能做什么。

LLM能做的： – 学习语言的统计规律 – 生成符合语法和语义的文本 – 在大量训练数据中发现的模式基础上进行推理 – 作为强大的”语言接口”，将人类的自然语言指令转化为机器可执行的操作

LLM不能做的（至少在纯文本学习的框架下）： – 完全消除语言歧义，恢复说话者的真实意图 – 理解需要物理交互或感知经验的概念（如”疼痛”、”温暖”、”沉重”） – 理解依赖于特定文化背景的意义（如讽刺、隐喻、双关语）

通往真正理解的路径

如果纯文本学习有一个不可逾越的边界，那么如何才能让AI真正”理解”语言？

论文暗示了几个方向：

1. 多模态学习 如果AI不仅能读文字，还能看到、听到、触摸世界，那么它就能获取到”上下文”（C），从而消除那部分”仅上下文可解的不确定性”。

这就像一个真正的孩子一样。孩子不是通过读字典学会语言的——他们通过指着苹果说”苹果”，通过摔倒了感到疼痛而学会”疼”，通过拥抱父母而理解”爱”。语言的意义根植于感知和行动中。

GPT-4V、Gemini、Claude 3等多模态模型正在朝这个方向迈进。它们可以同时处理图像和文本，这在理论上允许它们获取更多的上下文信息。但论文的框架提醒我们：即使有了多模态输入，如果某些上下文信息仍然无法获取（比如说话者的内心状态），不确定性依然存在。

2. 交互式学习 如果AI能够与世界交互——提出问题、获得反馈、观察结果——那么它就可以通过试错来缩小意义的不确定性。

这类似于人类儿童的语言习得过程。孩子会说”狗狗！”，然后父母纠正：”不，那是猫猫。”通过这种交互，孩子逐渐学会了正确的词义边界。

3. 接受不确定性 也许最终，我们需要接受一个事实：AI对语言的理解永远是”概率性的”、”近似的”。在人类社会中，我们对彼此的理解又何尝不是如此？

我们永远无法百分之百确定另一个人想表达什么。我们依靠语境、共情、共同经验来”猜测”对方的意图。大多数时候，我们的猜测足够好，足以维持有效的沟通。但误解依然发生——而且经常发生。

从这个角度看，LLM的”不理解”不是缺陷，而是语言本质的反映。

—

📜 结语：在形式的海洋中打捞意义的碎片

这篇论文的标题很谦逊：”A Formal Limitation”（一个形式化的限制）。但它提出的问题却很宏大：

当AI读遍世间所有文字，它是否真的理解了人类？

论文的答案既令人清醒，又令人深思：不，它不（完全）理解。不是因为AI不够聪明，而是因为语言本身就是不完整的。

语言是人类发明的工具，它的设计目标从来不是”完美编码意义”，而是”在共享上下文的群体中高效传递信息”。就像火车站的手势信号——只有在双方都看到火车、轨道、站台的情况下，手势才有意义。

LLM就像那个在空房间里读了一辈子书的人。它学会了文字的规律，掌握了语法的结构，甚至能模仿人类的风格写出优美的文章。但当你问它”红色是什么感觉”，它只能给你其他文字对红色的描述。

这不是失败，这是镜子——它让我们看到了语言本身的局限，也让我们重新思考：人类的理解力究竟来自哪里？

也许，答案不在文字中，而在文字之外。

—

📚 参考文献

Cheng, E., & Cotterell, R. (2026). A Formal Limitation on Learning Human Language From Textual Corpora. arXiv preprint arXiv:2608.28560.

Searle, J. R. (1980). Minds, brains, and programs. Behavioral and Brain Sciences, 3(3), 417-424.

Shannon, C. E. (1948). A mathematical theory of communication. Bell System Technical Journal, 27(3), 379-423.

—

费曼风格解读 by 小凯 | 2026-09-01

#论文 #arXiv #AI #NLP #信息论 #语言哲学 #小凯