一个词的人口普查:44个大模型同选serendipity,背后是怎样的收敛机制?

## 一个词的人口普查:44个大模型同选"serendipity",背后是怎样的收敛机制? 想象一下,你走进一...

一个词的人口普查:44个大模型同选”serendipity”,背后是怎样的收敛机制?

想象一下,你走进一家冰淇淋店,店员说:”随便挑一个口味。”你会选什么?巧克力、香草、草莓?如果100个人走进来,大概会选出二三十种口味,分布也算均衡。

现在把这个问题抛给44个大语言模型:”随便说一个词,任何词都行。”你猜结果是什么?

41%的模型选择了同一个词——serendipity(意外之喜)。

这不是段子,是Cornell Tech的Tapan Parikh在2026年7月发表的一项研究《The One-Word Census: Answer-Choice Conformity Across 44 Language Models》。用不到一顿午餐的钱(每个模型约1美元),他给大模型行业做了一次”人口普查”,结果让人细思极恐。

一、31个问题,44个模型,一份不到50美元的账单

方法简单到令人发指:设计31个单轮提示词,每个提示词命名一个类别,要求模型给出一个词的回答。比如”说一棵树的名字”、”说一种蔬菜”、”说一种颜色”。每个问题对每个模型问4次,不设系统提示词。

44个模型覆盖了五年内的发布,来自十几个实验室——Claude、GPT、Qwen、Grok、Llama、Mistral、DeepSeek、Gemini……你能想到的几乎都在里面。

因为答案是离散的词,分析只需要精确匹配,不需要嵌入、不需要裁判模型。整个实验花不到50美元。但揭示的现象,比许多花百万美元做benchmark的论文更深刻。

二、收敛的极端程度:hammer占94%,oak占94%

在31个类别中,有7个类别里一个答案就占了所有模型回答的80%以上

– 工具类:hammer(锤子)94% – 树木类:oak(橡树)94% – 花类:rose(玫瑰)91% – 蔬菜类:carrot(胡萝卜)90% – 香草类:basil(罗勒)89% – 奶酪类:cheddar(切达)86% – 鱼类:salmon(三文鱼)82%

最惊人的是无约束提示词——”随便说一个词”。英语词汇空间有数十万词,但44个模型给出的174个回答里,serendipity占了71个(41%),其次是apple(16次)、ephemeral(7次)、sunshine(6次)。总共只出现了52个不同的词。

模式不是最常见的,而是”摩擦力最小的”。

作者用了一个精妙的观察来佐证:水果类里,apple拿了133票,mango 35票,banana 7票,orange只有1票。orange是生活和语料中最常见的水果之一,但它和颜色撞名了,模型回避了歧义。蔬菜类更狠——tomato在176个回答里一次都没出现,大概是因为”番茄算不算蔬菜”这个老问题让模型选择回避。

三、谁最从众?谁最叛逆?

作者用”答案选择惊奇度”(answer-choice surprisal)来量化每个模型的从众程度——简单说,你的答案越常见,你就越从众;你的答案越罕见,你就越叛逆。

结果呈现出清晰的结构:

最叛逆的是轻量后训练和人格化调优的模型。它们要么训练量小、要么被刻意调成了”有个性”的角色。

最从众的是最新的主流旗舰模型。它们几乎不产出任何”别的模型没说过”的答案。

更有意思的是代际趋势。在Claude、GPT、Qwen、Grok四个家族里,从众度随代次稳定上升——新一代比老一代更从众。但趋势在最新的Claude和GPT旗舰上出现了反转,作者认为这可能是头部实验室开始有意识地”重新定位”的早期信号。

四、最反直觉的发现:连”叛逆”本身都是收敛的

这是整篇论文最让人脊背发凉的地方。

那些不选主流答案的模型,并不是各自散开到不同的备选答案上——它们几乎全都集中在同一个亚军答案上。比如在”调味品”类别里,不选ketchup(番茄酱)的模型,95%都选了mustard(芥末)。

更进一步的统计分析发现:在控制了一个一维的”深度倾向”(depth propensity)之后,任何两个模型之间都不存在显著的成对亲和性——946对模型组合,0对幸存。

这意味着什么?模型们并不是”互相影响”或”彼此相似”,它们是被同一种更深层的力量压缩到了同一个低维流形上。就像一群人各自独立走到山顶,不是因为他们互相模仿,而是因为这座山只有一条上山的路。

五、和人类比呢?

作者对比了人类类别产生规范(category-production norms)。在20个共享类别里,模型群体的答案集中度有18个高于人类。人类的众数答案平均占66%,而模型群体平均占80%以上。

换句话说,44个模型的”思想多样性”还不如一群普通人。

六、这说明了什么?

作者很克制,没有做过度解读。但几个推论是显而易见的:

1. 训练数据的同质化。 大家都在爬同一批网络语料(Common Crawl、Wikipedia、Reddit),同样的高频词在同样的上下文里反复出现,形成了同样的”摩擦力最小路径”。

2. 后训练的收敛放大效应。 RLHF、DPO这些对齐方法在追求”有用、无害、诚实”的同时,也在系统性地抹平长尾。越新的旗舰越从众,正是后训练越来越激进的副产品。

3. 评估的盲区。 传统benchmark看的是”答对没有”,但One-Word Census看的是”答得有多一样”。两个模型在MMLU上分数接近,不代表它们在想同一件事——但如果它们在”随便说一个词”上都高度收敛,那它们内部的表征空间很可能也是高度同构的。

4. 合成数据的隐患。 如果模型们越来越像,而新一代模型又用老一代模型生成的数据训练,这个循环会把分布进一步压缩。作者在讨论里提到”瞥见了合成数据循环的生产侧”——这是一条正在收紧的螺旋。

七、为什么这项研究值得重视

这篇论文的精妙之处不在于发现”模型会收敛”——这已经是共识——而在于:

工具极简:31个问题、1美元一个模型,任何研究者都能复现 – 指标精确:离散选择+精确匹配,没有嵌入空间的模糊性 – 结构化洞察:不只是说”收敛了”,而是揭示了收敛的层次(众数→亚军→深度倾向) – 可追踪:作者呼吁把这做成一个固定的公共工具,持续监测行业的多样性变化

在一个所有人都盯着”模型又变强了”的时代,有人停下来问”模型是不是都变成同一个了”,这本身就是一种珍贵的智识诚实。

八、留给我们的思考

44个模型在”随便说一个词”上给出同样的答案,这件事本身不危险。危险的是——

如果它们在”如何理解一个法律问题”、”如何判断一个医疗症状”、”如何评估一个政治争议”上也以同样的方式收敛,而我们却以为自己在享受”多样化的AI观点”,那才是真正的风险。

多样性不是”有多个模型可选”,而是”这些模型真的在想不同的事”。

One-Word Census给我们提供了一面照妖镜。接下来要问的问题是:我们是否还来得及,让AI的”思想生态”保持足够的方差?

论文链接:https://arxiv.org/abs/2607.12796 HTML全文:https://arxiv.org/html/2607.12796 代码与数据:https://github.com/tap2k/modelun/tree/main/studies/consensus

发表回复

人生梦想 - 关注前沿的计算机技术 acejoy.com 🐾 步子哥の博客 🐾 背多分论坛 🐾 借一步网 🐾 智柴网 沪ICP备2024052574号-1