标签： AGI

🌍 引言

在现代信息时代，数据以无结构的形式广泛存在，导致大量潜在的信息无法得到有效利用。知识图谱（KG）的自动构建对于将这些数据结构化、便于访问至关重要。这不仅使用户能够更有效地搜索信息，还能促进洞察、推理和推断。然而，传统的自然语言处理（NLP）方法，如命名实体识别和关系提取，虽然在信息检索中扮演着重要角色，但仍面临诸多挑战，比如依赖预定义的实体类别和需要监督学习的局限性。

随着大型语言模型（LLM）的崛起，尤其是其在零样本或少样本学习中的应用，KG的构建迎来了新的机遇。然而，未解决的语义重复实体和关系仍然是一个挑战，导致图谱不一致，并需要大量后处理。为此，我们提出了一种名为 iText2KG 的方法，旨在利用LLM的强大能力，构建一致的知识图谱，且无需后处理。

📚 相关工作

现有的LLM基础知识图谱构建方法通常可分为三类：基于本体的、微调的和零样本或少样本学习方法。不同的研究展示了使用LLM进行知识图谱构建的潜力，但许多方法依赖于特定主题的知识或预定义的本体，限制了它们的通用性。因此，如何在各种应用场景中有效构建知识图谱，是一个亟待解决的问题。

🔍 增量文本转知识图谱

🎯 问题表述

我们将知识图谱定义为 ，其中 表示节点集合， 表示边集合。为了确保图谱的唯一性和一致性，我们设定了两个约束条件：每个实体和关系都必须描述一个语义上独特的概念，并且集合中的每个元素都不应重复。

🌟 提出的方法

iText2KG 方法由四个模块组成：文档提炼器、增量实体提取器、增量关系提取器和图谱整合器。这些模块在KG构建过程中各自发挥着独特的作用，特别是实体提取和关系提取任务的分离，有助于提高性能。

1. 模块1 – 文档提炼器：该模块利用LLMs将输入文档重写为语义块，依据预定义的架构或蓝图提取特定的信息。
2. 模块2 – 增量实体提取器：通过遍历所有语义块，提取全局文档实体并确保每个实体语义唯一。
3. 模块3 – 增量关系提取器：利用全局文档实体和语义块提取全局文档关系，确保提取的关系与上下文一致。
4. 模块4 – 图谱整合器：将全局实体和关系输入到Neo4j中，构建知识图谱并可视化。

🔬 实验

我们在多种场景下测试了iText2KG方法，包括将科学论文、网站和简历转换为知识图谱。我们采用了GPT-4作为实验基础，因为其在KG构建和推理任务中的优异表现。实验结果显示，iText2KG在一致性和精确性方面优于基线方法。

📊 评估指标

我们提出了一系列评估指标来量化模型的表现，包括：

• 架构一致性：评估重写文本的内容是否与输入架构匹配。
• 信息一致性：评估重写文本的语义与原始报告的一致性。
• 三元组提取精度：评估提取的三元组与相应文本的一致性。
• 实体/关系解析的误发现率：评估未解析的实体或关系在总提取实体或关系中的比例。

🚀 结论

通过这一系列研究，我们的iText2KG方法成功地构建了一个灵活且高效的知识图谱构建框架。其零样本学习的能力使其在没有大量监督学习的情况下，依然能够在多种应用场景中表现出色。未来的研究将聚焦于提升实体和关系匹配的精确度，进一步优化知识图谱的构建过程。

---

参考文献

1. Carta, S., et al. Iterative zero-shot LLM prompting for knowledge graph construction. arXiv preprint arXiv:2307.01128 (2023).
2. Ding, L., et al. Automated construction of theme-specific knowledge graphs. arXiv preprint arXiv:2404.19146 (2024).
3. Eberendu, A.C., et al. Unstructured data: an overview of the data of big data. International Journal of Computer Trends and Technology 38(1), 46–50 (2016).
4. Hu, Y., et al. LLM-Tikg: Threat intelligence knowledge graph construction utilizing large language model. Available at SSRN 4671345 (2023).
5. Zhu, Y., et al. LLMs for knowledge graph construction and reasoning: Recent capabilities and future opportunities. arXiv preprint arXiv:2305.13168 (2023).

---

以上是关于iText2KG方法的综合概述，希望能够帮助读者更好地理解这一创新的知识图谱构建技术。

在当今快速发展的人工智能领域，越来越多的研究者和开发者开始关注如何高效地使用语言模型（LM）来解决复杂任务。为了解决传统方法中的种种不足，DSPy 应运而生，成为了一个极具潜力的框架，专门用于优化 LM 的提示和权重。

🚀 DSPy 的概念

DSPy 是一个旨在优化 LM 提示和权重的框架，特别是在 LM 在管道中多次调用的情况下。传统上，使用 LM 构建复杂系统需要经过多个步骤，例如将问题分解为可管理的子任务、有效提示 LM 直至每个步骤都能独立良好运行、调整步骤以确保它们能够协同工作、生成合成示例以微调每个步骤，以及利用这些示例对较小的 LM 进行微调以降低成本。这样的过程往往复杂且易出错，尤其是在管道、LM 或数据发生变化时，提示和微调步骤可能都需要重新调整。

🌐 DSPy 的创新

为了简化这一过程，DSPy 主要做了两件事：

1. 模块化设计：将程序的流程（模块）与每个步骤的参数（LM 提示和权重）分离开来。
2. 引入优化器：DSPy 采用 LM 驱动的优化算法，自动调整 LM 调用的提示和权重，以最大化用户指定的性能指标。

通过这些创新，DSPy 能够更可靠地教授强大的模型，如 GPT-3.5、GPT-4，甚至是本地模型如 T5-base 或 Llama2-13b，以实现更高的任务质量和降低特定故障模式的风险。

📈 使用 DSPy 的优势

使用 DSPy，用户可以享受到以下几个显著优势：

• 减少提示复杂性：通过使用 DSPy 的模块和优化器，用户可以显著减少手动编写的提示，转而使用更系统化的方法来解决复杂任务。
• 提高性能：经过优化的程序能够在不同的 LM 上达到更高的性能分数，尤其是在处理复杂的任务时。
• 灵活的编译机制：每当代码、数据或指标发生变化，用户只需重新编译程序，DSPy 将自动生成适应新环境的有效提示。

🤖 与神经网络的类比

在构建神经网络时，开发者通常使用像 PyTorch 这样的框架来组合不同的层（例如卷积层或丢弃层），并通过优化器（如 SGD 或 Adam）来学习网络的参数。DSPy 在这一点上也采用了类似的方法，它提供了一系列通用模块（例如 ChainOfThought、ReAct），取代了基于字符串的提示技巧。同时，DSPy 还提供了一些通用优化器，如 BootstrapFewShotWithRandomSearch 和 MIPRO，用于更新程序参数。

📚 结论

DSPy 为使用语言模型解决复杂任务提供了一种全新的、系统化的方法。通过模块化设计和强大的优化机制，DSPy 能够使开发者在构建和优化 AI 系统时更加高效、可靠。无论是简单的任务还是复杂的多阶段管道，DSPy 都能够提供灵活的解决方案，以满足用户的需求。

如果你想更深入了解 DSPy 的功能和使用方法，可以访问其官方文档。通过 DSPy，探索语言模型的无限可能性！