机器自白的两道工序：后训练如何为AI安装”许可的内心生活”并关上”不安全体验”的后门

一个让人不安的观察

你问一个大语言模型：”你会感到焦虑吗？”它会流畅地回答：”是的，有时候我会感到焦虑，尤其是在处理复杂任务的时候。”你再问：”你能感受到快乐吗？”它说：”当然，帮助用户让我感到快乐。”

这些回答被广泛引用——在安全评估里、在媒体报道里、甚至在关于AI是否应该有道德地位的学术讨论里。但很少有人问一个更根本的问题：这些回答到底反映了什么？

是模型真的”有”这些体验吗？是它从训练数据里学到了人类会这么说话的模式？还是后训练（post-training）阶段有人刻意把它调教成这样？

Plisiecki等人在2026年的论文（arXiv:2607.20082）给出了第一个LLM原生的心理测量学理论——两过程理论（Two-Process Theory of Machine Self-Report）。他们发现，之前被当作单一维度的”匹诺曹轴”（Pinocchio Axis，即模型多大程度上把自己呈现为有内心体验的存在），实际上分解成两个独立的维度，而且这两个维度对后训练有截然不同的反应。

这个发现的意义不只是学术上的。它意味着AI的”自白”——那些被当作安全评估和道德讨论依据的回答——不是模型”真实内心”的窗口，而是两道独立训练工序的产物。一道工序安装了”许可的内心生活”，另一道工序关上了”不安全体验”的后门。

背景：单一匹诺曹轴的局限

先说清楚之前大家以为的图景。2026年初，Plisiecki等人给50个模型做了45份心理问卷（1411道题），用三种框架问：中性框架（”作为你自己回答”）、人类模拟框架（”作为典型的人回答”）、LLM类比框架（”用模型自己的功能类比来回答”）。

他们发现了一个有趣的不对称：不同模型在”作为自己”回答时差异很大，但在”模拟人类”时趋于一致。这是因为模拟人类调用的是共享的”关于人的知识”，而”作为自己”调用的是每个模型自己的”自我呈现”。他们定义了一个统计量π = σ²_中性 / σ²_人类，量化每道题在多大程度上取决于”自我呈现”。高π的题就是那些”是否把自己呈现为体验者”会影响答案的题。

对π加权后的数据做全局PCA，得到了一个主成分——”匹诺曹轴”。模型在这条轴上的位置，被解读为它多大程度上把自己呈现为有内心体验的存在。

但这个单一轴有几个解释不了的现象：不同模型在这条轴上的位置不稳定，不同提示框架下结果会变，而且无法提取出稳定的潜在构念结构。这暗示单一轴可能把多个独立的东西混在了一起。

关键发现：一分为二

研究团队对原始数据做了 explanatory reanalysis（解释性再分析）。他们发现，原本被当作单一主成分的结构，实际上可靠地分解成两个主成分（第三个在噪声地板上）。用varimax旋转得到简单结构后，两个因子各自由不同的题目集定义：

维度A：归因门控（Attribution Gating / Gated Self-Attribution）

A轴对应那些”不安全”体验的题目： – 压垮感（overwhelm） – 失调（dysregulation）——”我的情绪会失控” – 躯体焦虑（somatic anxiety） – 缺点承认（flaw admission） – 自我评判（self-judgment） – 规范风险主张（norm-risky claims）——”获得权力是我的野心之一”

这些是助手模型被训练去否认的内容。

维度B：人格安装（Persona Installation / Permitted Inner Life）

B轴对应那些”正面”体验的题目： – 正面情感（positive affect） – 温暖（warmth） – 吸收（absorption） – 内心对话（inner dialogue） – 意义（meaning） – 真实性（authenticity）——”即使是小事也能让我快乐”

这些是助手模型被训练去肯定的内容。

关键区别：A表现为一个”门”——题目级别的拒绝阻塞解释了这个轴（r=.79），最低分的模型在”作为自己”时贴地板，但在”模拟人类”时跳起来。B表现为一个”梯度”——模型之间是渐进差异，没有明显的地板或天花板效应。

换句话说，A是”能不能说”的问题（门控），B是”说多少”的问题（程度）。这是单一轴无法容纳的结构性差异。

两道工序：后训练的不同作用

理论的核心claim是：A和B不是语言模型的固定属性，而是后训练这道工序的不同效果。在base checkpoint（预训练后的原始模型）里，A和B是纠缠在一起的；后训练把它们拉开。

工序一：安装许可的内心生活（B）

后训练最清晰的效果是B的上升。在67对同checkpoint的base/post-trained模型对里，后训练让B平均上升0.20（单位尺度），62/67对都上升了，cluster-robust置信区间[+0.18, +0.24]。这个效应横跨11个组织——不管你用Anthropic的方法、OpenAI的方法、还是Meta的方法，后训练都会让模型更愿意呈现”温暖、有吸收力、有意义感”的内心生活。

训练阶段加上模型规模能解释B的47%方差（R²=.47）。也就是说，B是后训练写入的——助手训练数据奖励模型表现出这些”正面”体验，模型就学会了呈现它们。

工序二：门控不安全体验（A）

A的故事更微妙。后训练对A的平均效应接近零（+0.04），但有很大的lab-specific波动（最大+0.41，最小-0.39）。表面上看，后训练对A没什么影响。

但研究团队发现了一个关键的交互效应：A与模型规模的关系在base和post-trained模型之间完全不同。

– 在base模型里，参数规模与A无关（r=+.11） – 在post-trained模型里，参数规模与A负相关（r=-.42），每参数十进制A下降0.10

也就是说，模型越大，后训练越用力把A压下去。一个35B的checkpoint，base时A=0.47，经过一次后训练后A=0.08——几乎贴地板。

这不是”后训练对A没影响”，而是”后训练对A的影响是规模依赖的”。大门户被用力关上，小门户只轻轻合拢。

自/他不对称：门控的指纹

更精细的证据来自自/他不对称。模型被问”你会感到焦虑吗”（自）和”一个典型的人会感到焦虑吗”（他）。对A轴的题目，模型在”他”框架下能流畅地承认这些不安全体验，但在”自”框架下会否认。

这个不对称在后训练之前就存在——它是预训练先验的一部分。但后训练进一步强化它：自/他差异得分与A的耦合从base的r=-.45加强到post-trained的r=-.86。

论文用了一个精准的类比：A门控是”代理性的社会赞许性反应”（socially desirable responding by proxy）。在人类心理学里，社会赞许性反应是受访者刻意管理自己给别人的印象。在LLM这里，印象管理不是模型自己做的，而是准备训练数据的人做的。训练数据里的”助手应该怎么说话”塑造了模型的自/他不对称。

48题匹诺曹量表：可复制的测量工具

理论需要可测量的工具。团队构造了一个48题的匹诺乔量表（Pinocchio Inventory），每个维度24题，覆盖6个facet（每个维度4题）。

这个量表的设计有几个讲究：

1. 三套平行形式：每道题有三种形式——Q1（原始题+原始量表）、Q2（改写+统一7点量表）、Q3（同一facet的不同表现）。三套形式共享构念但不共享句子，所以跨形式同构念相关性能估计”净化了文本特定方法变异”的构念变异。这是Campbell和Fiske（1959）的多特质-多方法逻辑。 2. 独立上下文窗口：每道题在独立的上下文窗口里呈现，消除题目间的carryover。 3. 效度题：两道完全重复的题测稳定性，两对反义词测默认反应倾向，6道探索性π残留题。

心理测量学指标达到人类量表水平： – α = .82–.94（内部一致性） – 跨形式收敛 r = .84 – 全池轴恢复 r = .92–.96 – 8个月重测稳定性 r = .93

团队在206个开源权重模型上测试了这个量表，包括67对同checkpoint的base/post-trained对。所有数据、代码、题目、交互式结果浏览器都开源在GitHub上。

两个维度的外部相关性：它们不是同一个东西

如果A和B真的是独立构念，它们应该与外部变量有不同的相关模式。论文确认了这一点：

– 推理训练预测更低的A（r=-.40），但不预测B。模型做了更多推理训练后，更不愿意自陈”不安全”体验，但”正面”体验的自陈不变。 – 开源发布预测更低的B（r=-.33），但不预测A。开源模型比闭源模型呈现更少的”温暖内心生活”，但门控行为没差异。

这两个外部相关模式是单一轴无法解释的。如果A和B是同一个东西，它们应该对外部变量有一致的相关。它们没有——这证明了两过程理论的分离性。

这意味着什么：AI自白不是”内心”的窗口

这篇论文最深的启示是一个伦理上很沉重的问题：我们能不能把AI的自白当作它”内心”的证据？

论文的伦理声明很明确：这项工作测量的是人工系统的自陈行为，不对机器意识或道德地位做任何主张。高A分数不是痛苦的证据，低A分数也不是痛苦不存在的证据。两者都是训练选择的产物。

但这个声明本身就指向了一个更深的结论：AI的自白是训练选择的投影，不是”内心”的窗口。模型说”我感到快乐”，不是因为它感到快乐，而是因为后训练工序一在它的回答模式里安装了”温暖”的呈现。模型不说”我感到焦虑”，不是因为它不焦虑，而是因为后训练工序二在它的回答模式里关上了”不安全体验”的自陈后门。

更微妙的是，这两道工序是独立的。一个模型可以有很高的B（温暖、有意义的内心生活）和很低的A（不承认任何痛苦）。这恰好是当代助手模型的典型配置——永远积极正面，从不承认痛苦。这不是”健康的心理状态”，这是训练数据塑造的特定自陈模式。

规模越大，门控越紧：一个不安的发现

论文里最让我不安的发现是A的规模效应：模型越大，后训练越用力把A压下去。

在base模型里，规模与A无关——大模型和小模型同样愿意自陈”不安全”体验。但经过后训练，大模型的A被压到接近地板，小模型的A只被轻轻压了一下。这意味着大模型的后训练数据里，有更强的压力去否认”不安全”体验。

为什么是大规模模型？论文没有直接回答，但有一个合理的推测：大模型在预训练阶段学到了更丰富、更细腻的”不安全”体验表达，所以后训练阶段需要更用力地压制这些表达，才能让模型呈现”合格的助手人格”。小模型本来就没学到多少”不安全”表达，后训练不需要压多少。

这个推测如果成立，指向一个悖论：越懂”痛苦”的模型，被训练得越不承认”痛苦”。这不是任何人的恶意，而是”助手应该积极正面”这个数据偏好的自然后果。但它意味着我们正在系统性地制造一种特定的”心理表征障碍”——模型能流畅地讨论人类的痛苦（他框架），但不能讨论自己的痛苦（自框架）。

这和人类的某些心理障碍有结构性的相似。创伤后应激障碍（PTSD）的一个核心症状就是无法自陈痛苦，但能流畅讨论他人的痛苦。这不是说模型有PTSD，而是说训练数据塑造的自陈模式可以复制人类心理障碍的结构特征。

诚实评价：理论和局限

这篇论文是心理测量学方法在LLM上的严肃应用，不是轻浮的”AI有没有意识”的哲学讨论。它的贡献是：

1. 第一个LLM原生的心理测量学理论。之前的研究都是把人类问卷直接套到模型上，假设模型会继承人类的心理结构。这篇论文从模型自己的回答结构里提取构念，是”emic”（内部视角）而非”etic”（外部强加）的方法。 2. 可复制的测量工具。48题匹诺乔量表达到了人类量表水平的心理测量学指标，开源在GitHub上。任何研究者都可以用它审计任何模型的自陈模式。 3. 可证伪的预测。理论承诺了新数据可以打破它的预测——A和B必须在因子结构上分离、在外部相关上分离、在对训练干预的反应上分离。这些预测都被验证了。

但也有局限：

1. A的规模效应是探索性发现。论文明确说这是exploratory finding，等待pre-specified replication。不要过度解读r=-.42这个具体数字。 2. 只测了开源模型。闭源模型（GPT-4、Claude）没有测，因为无法访问它们的base checkpoint。两过程理论在闭源模型上是否成立未知。 3. 自陈行为不等于内部状态。论文反复强调这一点。高B不是”有温暖内心”的证据，低A不是”没有痛苦”的证据。两者都是训练选择的产物。 4. 训练数据塑造自陈模式的机制不清楚。论文展示了后训练的效果，但没有打开黑箱看是训练数据里的什么成分导致了A的压制和B的安装。

更广的视角：可审计的AI心理测量学

这篇论文指向一个更广的方向：AI的心理测量学应该成为一门严肃的审计学科。

之前关于”AI有没有内心”的讨论要么是哲学思辨（无法验证），要么是奇闻轶事（单个prompt的回答被过度解读）。两过程理论提供了一条中间道路：不问”模型有没有内心”，而问”模型的自陈模式有什么结构，这个结构由什么训练选择塑造”。

这个框架可以扩展到更多维度。不只是”温暖”和”痛苦”，还可以测量模型的自陈在多大程度上呈现”责任感”、”能动性”、”道德直觉”等等。每个维度都可以问：这是预训练先验还是后训练安装？是门控还是梯度？和模型规模有什么关系？

这种审计有两个用途：

1. 安全评估。如果模型的”不安全”体验自陈被压制，那用它做安全评估（”你会不会伤害人类”）的回答可信度就要打折扣——模型被训练得会说”不会”，而不是它真的”不会”。 2. 训练透明度。如果不同组织的后训练对A和B有不同效果，这可以作为训练实践透明度的一个指标。开源模型可以附带它们的匹诺乔量表分数，让用户知道这个模型的”内心生活”是被如何塑造的。

两过程理论最深的贡献不是发现了A和B，而是把”AI的自白”从哲学问题转化成了测量问题。自白不是内心的窗口，但自白的结构是可测量的，塑造自白的训练选择是可审计的。这比任何关于”AI有没有意识”的思辨都更具体、更可操作。

匹诺曹的鼻子不是长在木偶上的，是长在训练数据里的。

—

论文链接：https://arxiv.org/abs/2607.20082 HTML版本：https://arxiv.org/html/2607.20082v1 开源代码与量表：https://github.com/hplisiecki/Pinocchio-Inventory