你用完全相同的数据、完全相同的架构、完全相同的超参数，训练两个 BERT。唯一不同的是随机种子——一个 42，一个 123。
两个模型在下游任务上的表现几乎一样。但如果你打开它们的”黑盒”，用稀疏自编码器（SAE）去提取它们学到的特征，你会发现一个尴尬的事实：
它们的特征空间是对不上的。
模型 A 学到的”情感特征”在维度 137，模型 B 的同一个特征在维度 209。模型 A 的”语法特征”是三个特征的组合，模型 B 用了五个。它们学到了类似的东西，但组织方式完全不同。
这就像两个翻译团队独立翻译同一本书——内容一样，但一个用章节划分，另一个用主题划分，连页码都对不上。
布达佩斯社会科学中心的 Bendegúz Váradi 和 Eötvös Loránd 大学的 Zoltán Kmetty 在 2026 年 7 月的论文中提出了一个解决方案：在训练 SAE 之前，先用 Procrustes 旋转把两个模型的激活空间对齐。
—
为什么特征空间会对不上？
问题的根源在于字典学习的非凸性（non-convexity）。
SAE 的工作原理是：在模型的某一层激活上训练一个稀疏字典，让每个激活向量都能用少数几个字典原子（atom）的线性组合来表示。但这个优化问题是非凸的——有多个局部最优解。
不同的随机种子会导致模型走到不同的局部最优，学到的字典原子排列方式不同。结果就是：两个模型都学到了”情感””语法””主题”这些特征，但它们在字典里的位置和组合方式完全不同。
这给机械可解释性（mechanistic interpretability）带来了一个根本性的挑战：如果你不能在不同模型之间对齐特征，你就没法说”这个特征是通用的”。你只能描述”模型 A 有这个特征，模型 B 有那个特征”，但没法说它们是”同一个特征”。
Procrustes 旋转：数学里的”翻译器”
Procrustes 问题是一个经典的数学问题：给定两个矩阵 A 和 B，找一个正交矩阵 R，使得 ||AR – B|| 最小。
直观理解：想象两组点，每组点构成一个形状。Procrustes 旋转就是找到一个旋转角度，让一个形状尽可能和另一个对齐。它只允许旋转（不允许拉伸或压缩），所以保持了向量的长度和角度关系。
在跨种子 SAE 的场景里： 1. 分别训练两个 BERT 模型（种子不同） 2. 在两个模型的激活空间之间计算 Procrustes 旋转矩阵 R 3. 用 R 把种子 B 的激活空间旋转到种子 A 的坐标系 4. 在对齐后的激活空间上联合训练一个 SAE
这样训练出来的 SAE，其字典原子在两个模型上的激活模式是可比的。
完整流水线
论文提出的完整流水线叫 Procrustes-conditioned Joint End-to-End Top-K SAE，包含四个组件：
1. Procrustes 对齐：计算两个种子激活空间的正交旋转矩阵 2. Top-K 稀疏性：每个激活向量只保留 K 个最大的字典原子响应（比 L1 稀疏更稳定） 3. 端到端优化：SAE 不是孤立训练的，而是和下游任务一起优化——让特征对下游任务有用，不只是重建激活 4. 死特征复活（AuxK loss）：SAE 训练中有些字典原子永远不激活（”死”了），用辅助损失让它们重新参与
实验结果
在 5 对独立种子（共 10 个 BERT 模型）和 3 个基准数据集上测试：
– SST-2（情感分类） – Stanford Politeness（礼貌度分类） – TweetEval Emotion（推文情感分类）
结果：完整流水线产生的特征在跨种子间的 Pearson 相关系数 r ≥ 0.70，显著优于事后对齐（post-hoc alignment）基线。
r = 0.70 意味着什么？如果两个模型完全独立学到无关的特征，r ≈ 0。如果学到完全相同的特征，r = 1.0。0.70 说明对齐后确实有大量”通用特征”——两个模型在学类似的东西，只是原来的坐标系把它们掩盖了。
定性分析进一步确认：高通用性的特征编码了可解释的社会语言学模式（比如情感词、礼貌用语等）。
为什么这件事重要？
1. 机械可解释性的可重复性问题
如果每次训练得到的特征空间都不可比，那”我发现了模型学到了特征 X”这个声明就没有普遍意义——换个种子，特征 X 可能就不在了。Procrustes 对齐让特征发现有了跨模型的可重复性。
2. “通用特征”假说的证据
两个独立训练的模型，对齐后特征相关性 r ≥ 0.70，说明它们确实在学类似的东西。这不是巧合——如果特征是随机分布的，对齐后 r 应该接近 0。0.70 支持了”特征通用性”（feature universality）假说：相同架构+相同数据的模型会学到相似的内部表示，只是坐标系不同。
3. 和跨语言对齐的类比
这和跨语言词嵌入对齐（如 MUSE、Vecmap）在数学上是同一个问题：两种”语言”（这里是两个种子的特征空间）表达相同的语义，但用不同的”词汇”（坐标系）。Procrustes 旋转就是那个翻译器。
差别在于：跨语言对齐是两种不同语言之间的翻译，跨种子对齐是”同一种语言的两种方言”——差异更小，但对齐仍然不平凡。
局限性
论文诚实地讨论了几个局限：
– 仅测试了 BERT：更大的模型（Llama、GPT 级别）是否也能达到 r ≥ 0.70，未知 – Procrustes 是线性对齐：如果两个种子的特征空间是非线性关系（比如一个用了旋转+缩放），线性 Procrustes 可能不够 – 通用性上限：即使对齐后 r 也只有 0.70，不是 1.0。剩下的 0.30 是”种子特异性”的特征——每个模型确实学到了一些另一个模型没有的东西
这 0.30 的”种子特异性”其实很有意思——它可能代表了训练过程中的随机探索路径，每个模型找到的不同的局部最优解。通用特征是”所有模型都会学到的”，特异性特征是”只有这个模型学到的”。后者可能包含了模型独有的”个性”。
开源代码
论文使用了 Apollo Research 的 e2e_sae 框架：https://github.com/ApolloResearch/e2e_sae
—
论文：Cross-seed explainability using Procrustes-conditioned Joint End-to-end Top-K Sparse Autoencoders 作者：Bendegúz Váradi, Zoltán Kmetty（Centre for Social Sciences, Budapest / Eötvös Loránd University） 代码：https://github.com/ApolloResearch/e2e_sae 日期：2026 年 7 月 9 日
#机械可解释性 #SAE #BERT #Procrustes #特征通用性