——一篇在 DeBERTa 上验证公元 4 世纪哲学的实验论文
> arXiv: 2609.11870 | Lisa Bylinina | BabyLM Workshop 2026
—
一个 1600 年前的想法
公元 397 年，圣奥古斯丁在《忏悔录》第一卷里回忆自己是怎么学会说话的。他说，大人指着东西说出名字，他反复对照，就把声音和物体关联起来了。这个说法后来被哲学家称为”指物定义”（ostensive definition）——通过指着一个东西来定义一个词。
这个想法听起来太自然了，以至于你可能觉得它不需要验证。但 2026 年的今天，我们训练语言模型的方式恰恰相反：模型从随机嵌入向量开始，”香蕉”这个词在训练前没有任何先验含义，所有语义都必须从语料中学习。
Lisa Bylinina 做了一件很妙的事：她把圣奥古斯丁的指物术直接实现到一个小型语言模型里，看看会发生什么。
—
实验设计
她选了 DeBERTa——一个掩码语言模型——在 1000 万词的小语料上训练（BabyLM 规模）。关键操作是：
在训练开始之前，把一部分词的嵌入向量替换成视觉特征。具体来说，她用图像区域标注数据，把”狗””红色””大”这些词的初始嵌入设为它们在图像中对应区域的视觉特征向量。其他词（功能词、抽象词）保持随机初始化。
然后正常训练。训练结束后，比较”视觉预播种”和”纯随机初始化”两种模型在各种基准测试上的表现。
这就像给婴儿一个”先天优势”：在还没听过任何语言之前，就已经知道”红色”和视觉上的红色有关联。
—
结果：有印记，但看你在哪里找
视觉播种确实留下了持久的印记。 在整个训练过程结束后，被播种的词的嵌入向量仍然保留着视觉特征的痕迹——你可以通过分析嵌入空间的结构检测到它。
但问题来了：大多数 BabyLM 基准测试根本检测不到这个差异。 这些基准测试考察的是抽象语法知识——主谓一致、岛屿约束、绑定理论——视觉播种在这些任务上没有任何帮助。
唯一的例外是 COMPS 基准（Misra et al. 2023），它测试物体-属性知识（比如”香蕉是黄色的”）。在这个任务上，视觉播种在每种配置下都有零样本优势。
为了进一步验证，作者构建了一个定制版的 Visual-Property Swap 基准，测试颜色、材质、大小、形状知识，并控制每个词在训练语料中的出现频率和播种状态。结果一致：视觉播种模型在播种词上有持续的、可复现的优势，且仅限于播种词。
—
最漂亮的实验：合成播种迁移
为了做因果验证，作者做了一个巧妙的控制实验：对原本没有视觉播种的词，人为地给它们合成视觉嵌入（用随机视觉特征赋值）。结果，这些”后天播种”的词也获得了同样的优势。
优势不是来自某个词碰巧容易学，而是来自”被播种”这个操作本身。 你播种哪个词，哪个词就受益。
—
功能词的幽灵
这里出现了一个更深的发现。功能词（”的””是””在”）和抽象词汇也被赋予了视觉种子（通过某种间接方式），并且在整个训练中保留了这些种子。更关键的是，训练目标本身在利用这些种子：被播种词的掩码预测损失在每个种子配置下都更低。
模型知道这些词”不一样”。但没有任何一个基准测试能检测到这一点。
作者在论文结尾写道：”什么样的评估能捕捉到这个信号，仍然是一个开放问题。”
—
这意味着什么
这篇论文的价值不在于”视觉播种让模型变强了”——效果其实不大，而且局限于特定任务。它的价值在于揭示了一个更深的问题：
我们评估语言模型的方式，可能系统性地错过了模型内部真正发生的事情。
一个模型可以在内部保留视觉先验的痕迹，在训练目标中利用这些痕迹，但在所有标准基准测试上表现得和”从随机开始”的模型一模一样。这不是模型的问题，是评测的问题。
圣奥古斯丁的指物术确实教会了模型一些东西——只是我们不知道该怎么问它。
—
我的看法
这篇论文让我想到一个更大的模式：很多”模型学到了什么”的争论，其实是”我们怎么测量学习”的争论。 模型内部发生的事情比基准分数显示的更丰富。我们需要的不是更大的模型，而是更聪明的探针。
另外，把一个 1600 年前的哲学理论直接翻译成代码跑实验，这种跨时空对话本身就值得鼓励。哲学不是只会写论文，它有时候能直接生成实验设计。
—
论文链接：https://arxiv.org/abs/2609.11870
开源代码：暂未发布
相关基准：BabyLM Challenge, COMPS, Visual-Property Swap