博客

播客：揭秘 LLM 驱动的自主代理

大家好，今天我们将讨论 LLM 驱动的自主代理，一种利用大型语言模型 (LLM) 作为大脑的全新代理系统。我们将深入探讨 LLM 驱动的自主代理的各个组成部分，包括规划、记忆和工具使用，并通过生动的案例研究来理解这些代理如何在现实世界中发挥作用。

一、LLM 驱动的自主代理概述

LLM 驱动的自主代理是一个令人兴奋的概念，它将 LLM 的强大功能与其他关键组件相结合，创造出能够执行复杂任务的智能系统。这些代理可以被视为具有 LLM 大脑的机器人，能够理解和生成人类语言，并利用外部工具和信息来完成任务。

二、组成部分

LLM 驱动的自主代理由以下几个关键组成部分构成：

1. 规划

规划是代理系统的重要组成部分，它使代理能够将复杂的任务分解为更小、更易管理的子目标，并制定实现这些子目标的计划。代理可以通过思想链 (CoT)、思想树等技术来进行规划，并利用人类的投入来完善计划。

2. 记忆

记忆对于代理系统至关重要，它使代理能够存储和检索信息，从而在执行任务时具有上下文感知能力。代理的记忆可以分为短期记忆和长期记忆，短期记忆用于存储当前正在处理的信息，而长期记忆用于存储长期需要的信息。

3. 工具使用

工具使用是 LLM 驱动的自主代理的一个重要特征，它使代理能够调用外部 API 和工具来获取模型权重中缺少的信息，包括当前信息、代码执行能力、对专有信息源的访问等。代理可以通过明确的提示或通过学习来掌握工具的使用方法。

三、案例研究

为了更好地理解 LLM 驱动的自主代理如何在现实世界中发挥作用，我们来看看几个生动的案例研究：

1. 科学发现代理

ChemCrow 是一个特定领域的例子，其中 LLM 用 13 个专家设计的工具来完成有机合成、药物发现和材料设计的任务。ChemCrow 将 CoT 推理与任务相关的工具相结合，并在实践中证明了 LLM 驱动的自主代理在科学发现领域的潜力。

2. HuggingGPT

HuggingGPT 是一个使用 ChatGPT 作为任务规划器的框架，它根据模型描述选择 HuggingFace 平台中可用的模型，并根据执行结果总结响应。HuggingGPT 展示了 LLM 驱动的自主代理如何用于任务规划和模型选择。

四、挑战与展望

尽管 LLM 驱动的自主代理展现出巨大的潜力，但仍面临一些挑战。例如，如何提高代理的效率、稳定性和鲁棒性，如何更好地与人类用户进行交互，如何确保代理的行为符合伦理和安全标准，这些都是需要进一步研究和解决的问题。

展望未来，LLM 驱动的自主代理将在各个领域发挥越来越重要的作用，从科学研究到医疗保健，从金融服务到教育，这些代理将成为我们生活中不可或缺的助手和合作伙伴。

---

🔗 GitHub链接：wangyuxinwhy/uniem

引言

在自然语言处理（NLP）领域，文本嵌入是一项重要任务。它将文本转换成向量表示，使得计算机可以更好地理解和处理文本数据。最近，GitHub上出现了一个令人瞩目的项目，名为统一嵌入模型（uniem）。该项目的目标是创建中文最佳的通用文本嵌入模型。在本博客文章中，我们将深入探讨uniem项目，了解其功能和优势。

uniem项目概述

uniem项目的主要目标是开发中文最佳的通用文本嵌入模型。该项目包括模型的训练、微调和评测代码。所有的模型和数据集都在HuggingFace社区上进行了开源。uniem项目的重要更新如下：

🌟 2023.07.11，发布uniem 0.3.0版本。FineTuner除了支持M3E模型外，还支持sentence_transformers和text2vec等模型的微调。同时，还支持使用SGPT的方式对GPT系列模型进行训练，以及使用Prefix Tuning。FineTuner的API有一些小的变化，不兼容0.2.0版本。
🌟 2023.06.17，发布uniem 0.2.1版本。该版本实现了FineTuner对模型微调的原生支持，只需几行代码即可适配。
📊 2023.06.17，发布正式版的MTEB-zh，该版本支持6种Embedding模型和4种任务，共9个数据集的自动化评测。
🎉 2023.06.08，发布M3E models，该模型在中文文本分类和文本检索方面优于openai text-embedding-ada-002。

使用M3E模型

M3E模型是uniem项目中的重要组成部分。M3E模型完全兼容sentence-transformers，因此您可以通过替换模型名称的方式在所有支持sentence-transformers的项目中无缝使用M3E模型。以下是使用M3E模型的安装和使用示例：

安装

pip install sentence-transformers uniem

使用

from sentence_transformers import SentenceTransformer

model = SentenceTransformer("moka-ai/m3e-base")
embeddings = model.encode(['Hello World!', '你好,世界!'])

微调模型

uniem项目提供了非常易用的微调接口，只需几行代码即可完成微调。以下是微调模型的示例代码：

from datasets import load_dataset
from uniem.finetuner import FineTuner

dataset = load_dataset('shibing624/nli_zh', 'STS-B')
finetuner = FineTuner.from_pretrained('moka-ai/m3e-small', dataset=dataset)
finetuner.run(epochs=3)

如果您希望在本地运行微调代码，请按照以下步骤准备环境：

conda create -n uniem python=3.10
pip install uniem

MTEB-zh：中文嵌入模型评测

由于缺乏统一的评测标准，中文嵌入模型的性能评估一直是一个挑战。为了解决这个问题，uniem项目引入了MTEB-zh评测标准。MTEB-zh在多个数据集上对6种不同模型进行了评测，包括文本分类和文本检索任务。以下是MTEB-zh的一些亮点：

文本分类

MTEB-zh选择了多个经典的中文文本分类数据集，如THUCNews、LCQMC等。通过在这些数据集上对不同模型进行评测，MTEB-zh可以提供准确性和性能方面的评估。

文本检索

对于文本检索任务，MTEB-zh选择了一些开源的中文搜索引擎数据集，如TREC-CD-1、TREC-CD-2等。通过对这些数据集进行评测，MTEB-zh可以衡量模型在返回相关文档方面的性能。

MTEB-zh还提供了详细的评测报告，包括评估指标、模型对比和结果分析。这些报告可以帮助研究人员和开发者选择合适的模型，并了解其在不同任务上的性能。

结论

uniem项目是一个令人兴奋的开源项目，旨在创建中文最佳的通用文本嵌入模型。通过使用M3E模型和微调接口，开发者可以轻松地将uniem集成到自己的项目中。同时，MTEB-zh评测标准提供了一个公正、准确的评估平台，帮助研究人员和开发者选择最适合其应用场景的模型。

在未来，我们可以期待uniem项目的进一步发展，包括更多模型的加入和更广泛的数据集评测。这将为中文NLP领域的研究和应用带来更多的机遇和挑战。

无论是对NLP领域感兴趣的研究人员，还是想要在中文文本处理方面应用嵌入模型的开发者，uniem项目都是一个值得关注的资源。通过参与该项目，我们可以共同推动中文NLP的发展，为更广泛的应用场景提供更好的解决方案。

🎉 让我们一起加入uniem项目，为中文文本嵌入模型的发展贡献自己的力量！🚀