标签： AGI

引言

在现代人工智能领域，大语言模型（LLMs）因其卓越的语言理解和生成能力而广受欢迎。然而，这些模型在面对过时或不准确的知识时，往往无能为力（Radford et al. 2019）。虽然重新训练这些模型以更新知识的成本极高，知识编辑（De Cao et al. 2021）因此应运而生，旨在通过直接更新模型的内部参数来实现特定知识的修改。

然而，当前的知识编辑方法在终身编辑的可扩展性方面存在局限性（Huang et al. 2023）。终身编辑要求在模型生命周期内进行连续的知识编辑和性能监控，但实际应用中，不同的编辑方法（如ROME和MEMIT）在经历数十次或数百次编辑后，模型性能会出现严重下降（Hu et al. 2024）。本研究将探讨知识编辑在终身编辑中失败的根本原因。

知识编辑与超叠现象

知识编辑的目标是修改语言模型的知识，使其在面临相关输入时的输出反映出更新后的状态（De Cao et al. 2021）。然而，知识超叠的现象在这些模型中普遍存在，导致了编辑过程中的干扰（Elhage et al. 2022b）。超叠指的是神经网络试图表示超出其可用维度的特征时所采用的一种策略，在这种情况下，不同特征的表示会近乎正交（Figure 2）。

本研究的核心发现是，知识超叠是导致终身知识编辑失败的根本原因。通过严格的数学推导，我们发现在从单次编辑扩展到终身编辑的过程中，最终解决方案中引入了一个干扰项，这表明编辑知识可能会影响到不相关的知识（Figure 1c）。我们进一步分析了该干扰项，发现它与知识表示之间的超叠现象密切相关。

数学推导与知识超叠

我们从线性关联记忆的闭式解出发，扩展到终身编辑场景（Meng et al. 2022a）。通过数学推导，我们得出以下公式：

   

这里， 表示经过第 次编辑后的参数矩阵，而 是协方差矩阵。通过对干扰项的分析，我们发现，若知识表示完全正交，干扰项将消失，允许无损的知识编辑。

在我们的实验中，我们针对多个语言模型（如GPT-2、Llama-2、Pythia等）进行了知识超叠的广泛研究，发现这种超叠现象在所有层中普遍存在，其特征表现为高峰度、零均值和重尾分布（Figure LABEL:fig:kde_superposition）。这意味着，尽管模型试图以正交方式存储不同的知识，但由于容量限制，最终采用了超叠策略。

实验与结果分析

在语言模型的不同层中，我们计算了知识表示之间的角度分布，结果显示，在去除对角线元素后，P矩阵的非零元素表明知识超叠的存在。随着模型规模的增加，P矩阵逐渐“清晰”，表明更大的模型能够以较弱的超叠存储知识，减少了由于超叠引起的干扰。

具体而言，我们观察到在GPT-2和GPT-J的第一层中，某些知识对（如“Vladimir Mayakovsky”和“Vladimir Bukovsky”）之间的相似性极高，导致在编辑时，模型对这些知识的操作几乎是相同的。这一现象表明，模型在处理这些知识对时存在密切的干扰关系，进一步验证了知识超叠的存在。

结论

通过理论与实证相结合的方式，本文揭示了知识超叠在大语言模型中的普遍性，并解释了其对终身知识编辑的影响。我们的研究结果表明，知识超叠是导致终身编辑失败的根本原因。因此，未来的研究方向应集中在优化模型架构和知识编辑算法，以减少超叠现象的影响，从而实现真正的无损知识编辑。

参考文献

1. Radford, A., Wu, J., Child, R., et al. (2019). Language models are unsupervised multitask learners. OpenAI blog, 1(8): 9.
2. De Cao, N., et al. (2021). Editing Factual Knowledge in Language Models. In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing, 6491–6506.
3. Elhage, N., Hume, T., Olsson, C., et al. (2022b). Toy models of superposition. arXiv preprint arXiv:2209.10652.
4. Meng, K., Bau, D., Andonian, A., et al. (2022a). Locating and editing factual associations in GPT. Advances in Neural Information Processing Systems, 35: 17359–17372.
5. Hu, C., Cao, P., Chen, Y., et al. (2024). Wilke: Wise-layer knowledge editor for lifelong knowledge editing. arXiv preprint arXiv:2402.10987.

米小饭最近遇到了一个棘手的问题。作为一名人工智能研究员，她一直在研究如何为大型语言模型更新知识。然而，她发现现有的知识编辑方法在进行持续编辑时会出现严重的性能下降。为了寻求帮助，她决定去找她的好朋友步子哥聊聊。

“步子哥，我最近遇到了一个难题，你能帮我分析一下吗？”米小饭一脸愁容地说道。

步子哥放下手中的咖啡杯，微笑着说：”当然可以，说说看是什么问题？”

米小饭深吸一口气，开始解释：”我一直在研究如何为大型语言模型更新知识。你知道，这些模型有时会存在过时或错误的信息，但重新训练整个模型成本太高了。所以我们开发了一些知识编辑的方法，直接更新模型内部的参数来修改特定的知识。”

步子哥点点头：”听起来是个很有意思的研究方向。”

“是的，”米小饭继续说，”但问题是，虽然我们在单次编辑上取得了不错的进展，但当我们尝试进行持续编辑时，模型的性能就会严重下降。使用目前最先进的方法，如ROME或MEMIT，在进行几十或几百次编辑后，模型就变得无法使用了。我真的不明白为什么会这样。”

步子哥若有所思地说：”这确实是个棘手的问题。让我们一起来分析一下。首先，你能告诉我这些知识编辑方法的基本原理是什么吗？”

米小饭解释道：”这些方法都基于一个从线性关联记忆中推导出来的闭式解。简单来说，就是通过向参数矩阵W添加一个项Λ(C^(-1)ke)^T来实现知识更新。”

步子哥点点头：”我明白了。那么，你有没有尝试过将这个解决方案从单次编辑扩展到持续编辑的情况？”

米小饭摇摇头：”老实说，我还没有深入研究过这个方向。你觉得这会有帮助吗？”

步子哥兴奋地说：”绝对会！让我们一起来推导一下。假设我们用W0表示初始的Wproj矩阵，经过n次编辑后得到Wn。我们可以将闭式解扩展为：

Wn = W0 + Σ(i=1到n) Λi(C^(-1)kei)^T

其中，Λi = (vei – Wi-1kei) / ((C^(-1)kei)^T kei)

这里的kei和vei分别表示第i次编辑的key和value。”

米小饭惊讶地说：”哇，这看起来很有道理！但这个公式告诉了我们什么呢？”

步子哥继续解释：”让我们再进一步分析一下。我们可以将知识分为原始知识和编辑后的知识。对于原始知识，理想情况下，我们希望编辑不会影响到无关的原始知识。但实际上，每次编辑都会引入一个干扰项：

Δo[:, j] = Σ(i=1到n) p(kei, kj)δ(vei)

其中，p(kei, kj) = ((C^(-1)kei)^T kj) / ((C^(-1)kei)^T kei)，δ(vei) = vei – Wi-1kei。”

米小饭若有所思地说：”这个干扰项看起来很关键啊。它是不是意味着每次编辑都可能影响到其他无关的知识？”

步子哥点头赞同：”没错！而且对于已编辑的知识，我们也发现了类似的干扰项。这意味着，每次新的编辑都可能影响到之前编辑过的知识。”

米小饭恍然大悟：”所以这就是为什么持续编辑会导致性能下降！但是，有没有办法消除这些干扰呢？”

步子哥微笑着说：”好问题！关键在于这个系数p(·, ·)。如果我们能让p(kei, kj) = 0，那么就可以实现无损的知识编辑。”

米小饭兴奋地说：”那么，什么情况下p(kei, kj)会等于0呢？”

步子哥解释道：”这其实涉及到了一个很有趣的概念：知识叠加。如果语言模型中不存在知识叠加，也就是说，不同知识的表示是完全正交的，那么p(kei, kj)就会为0。”

米小饭好奇地问：”知识叠加？那是什么？”

步子哥耐心地解释：”知识叠加是指神经网络试图表示比其可用维度更多的特征时所采用的策略。举个简单的例子，假设我们有一个只有三个神经元的简单网络，对应三维空间。如果我们只需要表示三个特征，每个神经元可以对应一个特征，形成正交基。但如果我们想表示六个或更多特征，网络就会使用叠加策略，以近似正交的方式编码这些特征。”

米小饭若有所思地说：”这听起来很有趣。但是，实际的大型语言模型中真的存在这种知识叠加吗？”

步子哥笑着说：”这正是我们需要实验来验证的！我建议我们进行一系列实验，检查不同规模和架构的语言模型中是否存在知识叠加，以及它的特征是什么。”

米小饭兴奋地说：”太棒了！我们应该怎么开始？”

步子哥提议道：”我们可以从几个主流的语言模型家族开始，比如GPT-2、Llama-2、Pythia、GPT-J等。我们需要检查它们所有层中的知识表示，看看是否存在叠加现象。”

接下来的几周里，米小饭和步子哥埋头进行了大量的实验和数据分析。他们的发现令人兴奋。

“步子哥，快看这个！”米小饭指着电脑屏幕上的图表激动地说，”我们检查的所有语言模型的所有层中都存在知识叠加现象！”

步子哥凑近看了看，点头说：”确实如此。这意味着知识叠加在现实世界的语言模型中是普遍存在的。”

米小饭继续分析道：”而且，这些知识叠加展现出一些有趣的特征。它们都呈现出高峰度、零均值、重尾分布的特点。”

步子哥补充道：”是的，这种分布在零附近有一个非常高的峰值，对应着所有知识表示完全正交的位置。这表明模型在尝试正交地存储不同的知识，但由于容量限制，不得不通过叠加的方式来近似正交存储。”

米小饭兴奋地说：”我们还发现了一个明显的缩放规律！随着语言模型规模的增大，它们似乎能够以更正交的方式表示知识，从而减少知识表示之间的噪声。”

步子哥若有所思地说：”这解释了为什么更大的语言模型在处理知识密集型的问答场景时表现更好。”

米小饭继续说：”为了提供更直接的证据，我们还计算了这些知识表示在高维空间中的角度分布。结果显示，它也呈现出高峰度、重尾分布的特征，但中心在90度左右。”

步子哥总结道：”这些发现都强有力地支持了我们的理论。知识叠加确实是导致持续知识编辑失败的根本原因。”

米小饭若有所思地说：”那么，基于这些发现，我们能为解决持续知识编辑的问题提供一些建议吗？”

步子哥点头说：”当然可以。首先，我们应该意识到，完全消除知识叠加可能是不可能的，因为这是语言模型处理海量信息的一种策略。但我们可以尝试一些方法来减少叠加带来的干扰：

1. 动态层选择：在进行知识编辑时，我们可以动态地选择影响最小的层进行编辑，以减少对其他知识的干扰。
2. 正交化技术：在编辑过程中，我们可以尝试使用一些正交化技术，使得新编辑的知识尽可能与现有知识正交。
3. 稀疏编辑：不是对所有相关参数进行编辑，而是只编辑最关键的一小部分参数，这样可以减少对其他知识的影响。
4. 分层知识存储：我们可以探索在不同的层或模块中存储不同类型的知识，以减少知识之间的干扰。
5. 定期 ‘整理’：我们可以设计一种定期 ‘整理’ 的机制，在多次编辑后重新组织知识表示，以减少累积的干扰。”

米小饭听完后兴奋地说：”这些建议太棒了！它们不仅为解决持续知识编辑的问题提供了方向，还启发了我们对语言模型内部工作机制的更深入理解。”

步子哥笑着说：”没错，这项研究不仅帮助我们解决了具体的技术问题，还为我们理解人工智能系统如何组织和处理知识提供了宝贵的洞察。”

米小饭感激地说：”谢谢你，步子哥。如果没有你的帮助，我可能永远也想不到从知识叠加的角度来分析这个问题。”

步子哥谦虚地说：”这是我们共同努力的结果。你的实验设计和数据分析同样功不可没。这次研究经历告诉我们，在面对复杂问题时，跨学科的合作和创新思维是多么重要。”

米小饭点头赞同：”是的，我们应该继续保持这种开放和创新的态度。谁知道呢，也许我们的下一个发现会彻底改变人工智能领域！”

步子哥笑着说：”我完全同意。让我们继续探索，不断突破认知的边界。人工智能的未来充满无限可能，而我们正在参与塑造这个未来。”

就这样，米小饭和步子哥不仅解决了困扰米小饭的问题，还为人工智能领域贡献了重要的发现。他们的研究揭示了知识叠加现象在语言模型中的普遍存在，为理解和改进知识编辑技术提供了新的视角。这次经历也让他们意识到，面对复杂的科学问题，跨学科合作和创新思维的重要性。

他们的故事告诉我们，在科学研究中，有时候看似无关的概念之间可能存在深刻的联系。通过开放的思维和rigorous的分析，我们可能会发现令人惊讶的真相。同时，这个故事也强调了理论分析和实验验证相结合的重要性。只有将抽象的数学模型与真实世界的数据相结合，我们才能真正理解复杂系统的行为。

最后，米小饭和步子哥的经历提醒我们，科学研究是一个持续探索和学习的过程。每一个发现都可能引发新的问题，每一次突破都可能开启新的研究方向。保持好奇心和探索精神，勇于挑战既有认知，这才是推动科技进步的真正动力。