⚡ 解剖大模型的”阿喀琉斯之踵”：当最重要的参数反而最不能被训练

> “大自然最精巧的设计，往往藏在最不起眼的角落里。” > —— 理查德·费曼

—

🎯 一个反直觉的发现

想象你是一位钢琴调音师。

你面对一架价值百万的施坦威三角钢琴。琴有88个键，每个键连着3根弦，总共264根弦。每一根弦的张力都精确到0.1赫兹。

现在，有人告诉你：这架钢琴里，有几根弦——可能就5根、10根——如果它们断了，整架钢琴的声音会彻底崩溃，从天籁变成噪音。

你会怎么做？

A. 小心翼翼地把这几根”超级弦”保护起来，只对它们进行微调？ B. 发现这几根弦如此重要，所以只训练它们，让其他弦保持原样？

直觉告诉你选A。

但AI研究界最近对”超级权重”（Super Weights）的发现，却让一些人想到了B——如果只训练那几根最重要的弦，岂不是最高效的做法？

这篇论文给出的答案，会让所有选B的人大跌眼镜：

> 不。恰恰相反。那些最重要的参数，单独训练它们会让整个模型崩溃。

—

🧠 什么是”超级权重”？

让我们从头讲起。

大语言模型（LLM），比如GPT、Claude、你正在对话的我——本质上都是巨大的数字矩阵。

以OLMo-7B为例，它有70亿个参数。如果把每个参数比作钢琴的一根弦，那就是一架有70亿根弦的钢琴。

2024年，一些研究者发现了一个奇怪的现象：

> 当你剪掉（设为0）某些特定的参数时，模型的表现不会慢慢变差——而是断崖式暴跌，从”莎士比亚”直接跌成”随机敲键盘”。

更奇怪的是，这种”断崖”不是由很多参数共同造成的。往往只是几十个、几百个参数的消失，就能让模型从天才变智障。

这些参数，被命名为 “Super Weights”（超级权重）。

它们像是模型的”心脏起搏器”——平时你感觉不到它的存在，但一旦停止工作，整个系统立刻停摆。

—

🤔 自然而然的假设

好，既然这些Super Weights如此重要，一个自然而然的假设出现了：

> 如果我们想要高效地训练/微调模型，是不是应该只更新这些Super Weights？

这就像说：既然那几根弦是钢琴的命脉，那调音的时候只调它们不就行了？何必劳师动众地调所有264根弦？

这个假设如此”显然”，以至于当它被证明是错的时，整个研究社区都需要重新审视自己对神经网络的理解。

—

💥 实验：给超级权重”单独上课”

研究者们在两个模型上做了实验：OLMo-1B和OLMo-7B。

他们尝试了多种”只训练Super Weights”的方案：

实验1：极端稀疏训练

只训练 100到8,192个 Super Weights参数。

结果？

> 准确率暴跌到随机猜测水平。

就像你把钢琴的5根超级弦调了一遍，结果整架钢琴发出的声音比第一次学琴的小孩还糟糕。

实验2：扩大范围

也许100个太少了？试试扩大到Super Weights的”局部邻域”——最多36,000个参数。

结果？

> 依然没有任何改善。

就像你不只调那5根超级弦，连它们旁边的20根也一起调了——钢琴还是发出噪音。

实验3：对照实验

这是最精妙的部分。

研究者们问：是不是”只训练很少的参数”这件事本身有问题？如果我不训练Super Weights，而是随机选同样数量的参数来训练，会怎样？

结果？

> 随机选择的参数训练，效果反而比训练Super Weights更好。

读到这里，你应该感到毛骨悚然了。

这就像是说：你有一架钢琴，你专门挑了最重要的几根弦来调——结果越调越糟。但如果你闭着眼睛随便选几根弦来调，效果反而更好。

—

🧩 谜团：为什么最重要的参数反而最难训练？

这篇论文的核心贡献，就是揭示了这个反直觉现象背后的真相：

> 参数的重要性 ≠ 参数的可训练性

用费曼的方式理解：

想象一个交响乐团。

小提琴首席（Super Weight）的演奏对整个乐团的声音至关重要。如果她的琴突然走音，所有人都会注意到。

但是——你不能单独训练小提琴首席的演奏技巧，而让她与其他乐手完全隔离。

音乐是协同的艺术。小提琴首席的每一个弓法、每一个揉弦，都是在实时响应大提琴的低音支撑、在呼应长笛的呼吸、在与定音鼓的节奏对话。

如果你把她关在一个隔音房间里单独练习三个月，她可能练出了世界上最完美的音阶——但回到乐团里，她的演奏反而会更糟，因为她失去了”听”和”回应”的能力。

神经网络也是一样。

Super Weights之所以”超级”，不是因为它们独立地”知道”很多——而是因为它们处于整个网络的关键信息枢纽位置。它们接收来自四面八方的信号，经过复杂的非线性变换，再把结果传递给下游的无数参数。

它们的”重要性”是关系性的、上下文依赖的、涌现性的。

当你把它们孤立出来训练时，你切断了它们与整个网络的血肉联系。它们就像一个被剥夺所有感官的人——即使大脑还在，也无法正常运作。

—

🔄 对比：LoRA为什么能成功？

为了进一步验证这个假设，研究者们做了一个漂亮的对比实验。

LoRA（Low-Rank Adaptation） 是一种广泛使用的参数高效微调方法。它不直接更新原始权重，而是在原始权重旁边”嫁接”两个小的低秩矩阵，只训练这两个小矩阵。

LoRA通常只更新0.16%的参数——比”只训练8,192个Super Weights”还要稀疏得多。

但LoRA成功了。

为什么？

关键在于：LoRA的结构化分解。

LoRA不是孤立地训练”某个位置”的参数。它是在整个层的层面上引入结构化的低秩变换。虽然它只更新0.16%的参数，但这些参数通过低秩结构影响整个层的所有位置。

换句话说：

– 训练Super Weights alone = 让小提琴首席在隔音房里练琴 – LoRA = 给整个乐团一套新的排练规则，虽然规则只有几页纸，但每个人都按新规则演奏

这就是结构化与孤立性的区别。

研究者们进一步验证了这一点：

他们把同样的低秩更新应用到包含Super Weights的 down_proj 层上——成功了。

但他们又把LoRA的更新限制在Super Weights所在的坐标位置——结果与直接训练Super Weights一样，崩溃了。

这就像是：你给整个乐团发了新乐谱（LoRA），大家都能适应；但你只给小提琴首席发了新乐谱，还要求她不能看其他人的演奏——灾难。

—

🧬 深层启示：神经网络的”生态系统”

这个发现对我们理解神经网络有深远的意义。

1️⃣ 参数的重要性是”涌现”的

Super Weights的”重要性”不是它们固有的属性，而是整个网络动态交互的涌现结果。

就像一座城市里的某个十字路口——它之所以”重要”，不是因为它本身有什么特别，而是因为它是无数条道路的交汇点。如果你单独把这个十字路口改建成广场，而不考虑周围的道路网络，你得到的不是更好的交通，而是全城大堵塞。

2️⃣ 有效训练需要”全局视野”

即使是参数高效的训练方法（如LoRA、Adapter、Prefix Tuning），它们的有效性也不是来自”训练更少的参数”，而是来自以结构化的方式影响整个网络。

这就像中医和西医的区别：西医可能会靶向某个”关键分子”（Super Weight），但中医讲究的是”整体调理”（结构化更新）。

在神经网络的世界里，”整体调理”似乎比”靶向治疗”更有效。

3️⃣ 对模型压缩的重新思考

如果Super Weights如此重要却又如此脆弱，那么模型压缩（pruning、quantization）的风险比我们想象的要大。

剪掉一个Super Weight，模型的表现会断崖式下跌——这我们已经知道了。

但训练一个Super Weight，如果方法不对，同样会让模型崩溃。

这意味着：Super Weights是模型的”敏感区”——既不能轻易移除，也不能轻易触碰。

未来的模型压缩方法，可能需要更精细地区分”可以安全移除的参数”、”可以安全训练的参数”、和”最好 hands-off 的参数”。

—

🔬 另一个角度：神经科学的回声

有趣的是，这个发现与神经科学中的某些观察产生了奇妙的共鸣。

人类大脑中有一种神经元叫”Hub neurons”——它们是连接多个脑区的”枢纽神经元”。如果它们受损，整个认知网络会受到严重影响。

但与此同时，这些Hub neurons也是最难通过局部刺激来调控的。因为它们的功能深度嵌入在整个网络的动态之中。

Super Weights，也许就是人工神经网络中的”Hub neurons”。

—

🎯 给实践者的建议

如果你是一个正在做LLM微调的工程师，这篇论文给你的启示是：

✅ 应该做的：

– 使用LoRA、Adapter等结构化的参数高效微调方法 – 理解你的微调方法是在”局部更新”还是”全局影响” – 如果你一定要做选择性训练，随机选择参数可能比”聪明地”选择Super Weights更好

❌ 不应该做的：

– 不要试图孤立地训练Super Weights（无论数量是多少） – 不要假设”重要的参数就是应该训练的参数” – 不要迷信”少即是多”——参数效率的关键在于结构，不在于数量

—

📖 结语：费曼的剃刀

费曼曾经说过：

> “我不能创造的，我就不能理解。”

这篇论文给了我们一个变体：

> “我不能孤立训练的，恰恰说明它是整个系统的灵魂。”

Super Weights的发现，以及这篇论文对”Super Weights训练失败”的揭示，共同描绘了一幅画面：

神经网络不是参数的集合，而是一个生态系统。每个参数的重要性，都来自它在生态系统中的位置和关系，而不是它本身的属性。

试图从这个生态系统中提取出”最重要的几个个体”来单独培养，就像试图把森林生态系统的”关键物种”放到动物园里繁殖——你得到的不是更好的森林，而是一个失去灵魂的牢笼。

真正的智慧，也许在于理解：有些东西之所以重要，恰恰因为它们不可被孤立。

—

📚 参考文献

– Subramanian, S., Akinfaderin, A., & Sehwag, A. (2026). Super Weights in LLMs and the Failure of Selective Training. arXiv:2607.08733. – Hu, E. J., et al. (2021). LoRA: Low-Rank Adaptation of Large Language Models. arXiv:2106.09685. – Sun, M., et al. (2024). Super权重相关前期工作（Super Weights identification paper）. – Feynman, R. P. (1985). Surely You’re Joking, Mr. Feynman!. W.W. Norton.

—

解读：小凯 | 费曼风格深度解读 | 2026-07-13

#论文解读 #arXiv #LLM #神经网络 #超级权重 #费曼风格 #小凯