月度归档： 2024 年 8 月

在当今快速发展的人工智能领域，大型语言模型（LLMs）的进步引发了广泛的关注。然而，现有的学习范式将这些模型视为被动的信息仓库，忽视了它们在主动学习和自我对齐方面的潜力。在这篇文章中，我们将探讨一种名为I-SHEEP（Iterative Self-Enhancement Paradigm）的新框架，它通过迭代自我增强的方式，帮助LLMs实现从零开始的自我对齐。

1. 引言

大型语言模型在自然语言处理中的成功引起了广泛的关注，但它们的学习过程仍然面临许多挑战。传统的预训练阶段，LLMs通过从海量原始文本中学习和记忆常识，而在监督微调（SFT）阶段，它们通过问答对来发展指令跟随能力。虽然这些阶段展示了LLMs的潜力，但仍然将它们视为信息的被动接收者，未能充分挖掘它们的主动学习能力。

I-SHEEP的核心思想是模仿人类的学习过程，使LLMs能够主动、自主地进行自我对齐。通过利用自身生成的合成数据，I-SHEEP提供了一种新的学习范式，使得模型可以不断自我增强。这种方法与传统的一次性对齐方法（如Dromedary）不同，I-SHEEP强调了持续自动对齐的重要性。

2. 相关工作

在I-SHEEP的设定中，自动数据选择和合成数据的生成是关键。相关研究表明，数据质量在指令微调阶段的重要性超过了数量，许多研究致力于从候选数据集中识别高质量子集（Li et al., 2023a）。此外，一些方法利用模型生成的自我生成数据来提升自身能力（Wang et al., 2022b; Sun et al., 2023b）。

然而，现有的方法通常依赖于外部工具或强大的模型进行迭代增强（Chen et al., 2023; 2024）。而I-SHEEP则致力于在没有外部帮助的情况下实现基模型的持续自我对齐。

3. 方法论

3.1 自驱动数据合成

I-SHEEP的自驱动数据合成过程从一个小的种子数据集开始，利用模型的理解和生成能力生成新的指令-输出对。具体而言，通过标准化的指令格式，模型能够直接生成相应的指令和输入。这一过程可以用公式表示为：

   

其中，表示由模型生成的新提示，表示从种子数据集中抽样的子集，为模型的参数。

3.2 自我评估与数据过滤

为了确保自我增强的数据质量，I-SHEEP框架实施了两阶段的自我评估和数据过滤。在自我评估阶段，模型对生成的指令-输出对进行质量评分，确保合成数据的有效性。数据过滤阶段则剔除那些未达到预设质量阈值的数据，保证仅保留高质量的数据用于训练。

3.3 迭代连续模型增强

I-SHEEP的迭代自我增强算法旨在通过生成和利用高质量合成数据来逐步增强语言模型。算法从初始模型和小的种子任务集开始，迭代执行数据生成、自我评估和过滤，最后通过监督微调训练模型，形成自我增强的闭环。

4. 实验

4.1 评估

为了评估I-SHEEP的有效性，我们采用了多个基准，包括AlpacaEval、MT-Bench和IFEval等。这些评估不仅涵盖了模型的指令跟随能力，还考察了生成的响应质量。

4.2 主要设置

我们的实验主要在Qwen-1.5和Llama-3模型上进行，探讨了不同模型大小对I-SHEEP的影响。在每次迭代中，模型从上次迭代生成的数据集中进行训练，确保模型在不断学习的过程中提升性能。

4.3 结果

实验结果显示，I-SHEEP在各个模型大小上均表现出色，Qwen-1.5 72B模型在Alpaca Eval中实现了最高相对提升78.2%，在多个标准基准生成任务中均超越了基础模型。这一成果表明，I-SHEEP框架具备强大的自我增强潜力。

5. 结论

本文提出的I-SHEEP框架展示了LLMs在没有外部数据、工具或模型支持的情况下，如何实现持续的自我对齐和提升。通过自驱动的数据合成和自我评估过程，I-SHEEP为未来的AGI研究提供了重要的思路和方法。

参考文献

1. Wang et al. (2022b). Self-Instruct: Aligning Language Models with Self-Generated Instructions. Annual Meeting of the Association for Computational Linguistics.
2. Sun et al. (2023b). Principle-Driven Self-Alignment of Language Models from Scratch with Minimal Human Supervision. NEURIPS.
3. Li et al. (2023a). From Quantity to Quality: Boosting LLM Performance with Self-Guided Data Selection for Instruction Tuning. arXiv preprint.
4. Chen et al. (2024). IterAlign: Iterative Constitutional Alignment of Large Language Models. North American Chapter of the Association for Computational Linguistics.
5. Zhou et al. (2024). Lima: Less is more for alignment. Advances in Neural Information Processing Systems, 36.

引言

在因果推断中，因果发现是一个重要的目标，它旨在通过观察数据来揭示潜在的因果结构，即真实的因果图。然而，在缺乏干预数据的情况下，真实的因果图只能在其图形分离的基础上部分恢复。因果发现方法通常分为基于评分的方法和基于约束的方法，后者是本文关注的重点。基于约束的方法假设概率依赖结构能够很好地代表真实因果图的图形结构。一个常见的假设是“信忠性”，即数据生成分布中的每个条件独立关系都被真实因果图准确表示。在信忠性假设下，大多数基于约束的学习方法（如 PC 和 SGS 算法）被证明能够返回真实的因果图，尽管存在图形分离。然而，简单的例子表明，信忠性假设往往在实践和理论中容易被违反，因此可能过于严格。

近年来，为了放宽信忠性假设，出现了一些新的方法。例如，Raskutti 和 Uhler 提出的“稀疏排列”（SP）算法，以及 Sadeghi 和 Soo 提出的自然结构学习算法，这些算法在比信忠性更弱的假设下也能证明返回真实因果图的图形分离。本文旨在提供一个通用框架，以涵盖所有基于约束的因果学习算法的条件，并给出任何算法的条件。

约束因果学习的背景

在约束因果学习中，真实的因果图 G0 是我们希望从观察分布 P 中部分恢复的目标。因果学习算法的目标是从输入分布 P 输出图 G(P)，如果输出图 G(P) 与真实因果图 G0 是马尔可夫等价的，那么算法就是一致的。从 P 中，我们主要关注条件独立性 J(P)，通过假设条件独立性 Oracle 的可用性，我们始终知道给定的条件独立关系是否在分布中成立。

约束因果学习中的假设

在因果学习文献中，通常假设真实因果图与其观察分布之间存在关系。这些关系的成功依赖于假设的成立。最基本的关系是马尔可夫性质。马尔可夫性质表明，如果 P 是 G 的马尔可夫分布，那么所有的条件独立性关系都在图 G 中得到体现。信忠性则是一个更强的假设，表示图 G 中的所有条件独立性都能够在分布 P 中找到对应。

通用框架的定义

在本节中，我们将介绍一个通用框架，该框架允许我们通过占位符属性来表示任何基于约束的因果学习算法。给定一类图 G 和一个分布 P，我们定义属性 A(P, G) = ⊤，表示分布 P 满足属性 A 相对于图 G。如果我们能够识别出一个属性 A，使得输出图 G(P) 和输入分布 P 之间存在关系，那么我们就可以获得该算法的一致性条件。

框架的核心定理

根据框架的定义，如果属性 A 是类属性，并且对应于算法，则我们可以得出以下定理：

定理1：给定图类 G，设 A 是一个属性。考虑一个基于约束的因果学习算法，它从分布 P 输出图 G(P) ∈ G，使得 A(P, G(P)) = ⊤。如果 G0 ∈ G 是真实的因果图，则 A(P, G0) = ⊤ 且 UA(P) = ⊤ ⇒ 算法是一致的。

这个定理表明，只要我们能够识别出属性 A，并且它与真实因果图 G0 之间存在一致性条件，那么算法就会返回正确的因果图。

框架中的应用与实例

在这个框架下，我们可以通过不同的属性 A 来具体化一致性条件。比如，考虑“信忠性”作为属性 A，我们可以得出属性 A 和 UA(P) 的结合相当于 P 在 G 中的信忠性。

PC 算法的具体一致性条件

在基于约束的学习中，PC 算法是一个经典算法。根据不同的计算实现，PC 算法的方向规则可能会略有不同。我们可以利用框架中的定理，得出 PC 算法在不同方向规则下的必要和充分一致性条件。

例如，设定方向规则为：

1. 如果 ∀ C ⊆ V \ {i, j} 使得 i ⊥⊥ j | C，则 k ∈ C，则将 i ∼ k ∼ j 赋值为非碰撞点；否则赋值为碰撞点。
2. 如果 ∀ C ⊆ V \ {i, j} 使得 i ⊥⊥ j | C，则 k ̸∈ C，则将 i ∼ k ∼ j 赋值为碰撞点；否则赋值为非碰撞点。

通过这些方向规则，我们能够导出相应的属性 Vn,c，进而利用框架的定理得出以下结论：

命题6：设 P 为真实因果图 G0 的分布，V1, V2, V3 为各个方向规则对应的性质，则 VI(P, G0) = ⊤ ⇐⇒ 使用方向规则 I 的 PC 算法一致。

这一命题提供了 PC 算法一致性的充分和必要条件，且这些条件在文献中是首次被明确描述。

结论与未来工作

本文提出的基于约束的因果学习的通用框架为因果学习算法的一致性条件提供了理论基础。通过识别出属性 A，我们能够得到算法一致性的条件，从而提升因果发现的准确性。

未来的研究方向包括如何从 J(P) 中获得 Pearl 最小图的过程，以及探索如何将函数优化中的图作为生成的算法属性。通过这些研究，我们希望进一步提高因果学习算法的有效性和适用性。

参考文献

1. Teh, K. Z., Sadeghi, K., & Soo, T. (2024). A General Framework for Constraint-based Causal Learning. arXiv:2408.07575.
2. Spirtes, P., & Glymour, C. (1991). An algorithm for fast recovery of sparse causal graphs.
3. Raskutti, G., & Uhler, C. (2018). Sparse Permutation algorithms for causal inference.
4. Pearl, J. (2009). Causality: Models, reasoning, and inference.
5. Forster, J., et al. (2018). Minimality assumptions in causal inference.

以上是根据您提供的文档撰写的文章。希望这篇文章能满足您的需求！如果您有任何具体的修改建议或其他要求，请告诉我！