博客

引言

在当今人工智能的迅猛发展中，大型语言模型（LLMs）如LLaMA正逐渐成为自然语言处理领域的中坚力量。然而，尽管这些模型在语言理解和生成上展现了令人瞩目的能力，它们在工具使用能力上却显得相对不足。尤其是在使用外部工具，比如API（应用程序编程接口）来完成复杂任务时，开源LLM的表现远不及闭源模型，如ChatGPT。这一现象引发了研究者们的关注，尤其是在如何提升开源LLM的工具使用能力方面。

为了弥补这一差距，我们提出了ToolLLM，一个通用的工具使用框架，包含数据构建、模型训练和评估等多个环节。ToolLLM的核心在于ToolBench，这是一个专门为工具使用而设计的指令调优数据集，它由ChatGPT自动构建而成。我们在ToolBench中收集了超过16,000个来自RapidAPI Hub的真实RESTful API，覆盖49个类别，形成了一个丰富的工具使用数据集。

📊 ToolBench的构建

API收集

ToolBench的构建分为三个阶段，其中第一阶段是API的收集。我们从RapidAPI平台收集了16,464个API，这些API涵盖了社交媒体、电子商务、天气等多个领域。通过对API文档的深入理解，LLMs能够学习如何有效地调用这些API，甚至能够在未见过的API上进行迁移学习。

指令生成

在指令生成阶段，我们通过采样API并利用ChatGPT生成多样化的指令。这些指令不仅涵盖单工具场景，还包括多工具场景，以确保我们的模型能够学习如何有效地组合多个API来完成复杂任务。例如，用户可能希望在一个指令中调用多个API，以获取关于电影、天气和餐厅的信息。

解决路径注释

为了增强LLMs的推理能力，我们开发了一种基于深度优先搜索的决策树算法（DFSDT）。该算法能够让模型评估多条推理路径，进而选择最优的解决方案。这一过程显著提高了注释效率，成功完成了那些传统方法难以处理的复杂指令。

🧠 ToolEval：工具使用能力的评估

为了评估LLMs的工具使用能力，我们开发了自动评估器ToolEval。ToolEval通过两个关键指标来衡量模型的表现：通过率（pass rate）和胜率（win rate）。通过率衡量模型在有限预算内成功执行指令的能力，而胜率则比较了两条解决路径的质量和实用性。我们的实验表明，ToolEval与人工评估的结果高度一致，证明了其在机器工具使用评估中的有效性。

🔍 ToolLLaMA：训练和评估

通过在ToolBench上对LLaMA模型进行微调，我们得到了ToolLLaMA。实验结果显示，ToolLLaMA在处理单工具和复杂多工具指令方面表现优异。与ChatGPT相比，ToolLLaMA在解决复杂指令时的表现几乎不相上下，尤其是在面对未见过的API时，ToolLLaMA展现出了强大的迁移学习能力。

📈 实验结果与分析

在我们的实验中，ToolLLaMA的表现超越了多个基线模型，包括Text-Davinci-003和Claude-2，展现出与ChatGPT相当的能力。此外，ToolLLaMA在APIBench等未分布数据集上的表现也表明了其强大的泛化能力。这一系列实验结果不仅验证了ToolLLM的有效性，也为未来的研究指明了方向。

🤖 结论

ToolLLM通过构建一个覆盖16000多个真实API的ToolBench，极大地提升了开源LLM在工具使用上的能力。DFSDT算法使得LLMs能够在推理过程中进行更加灵活的决策，而ToolEval则提供了一种高效、可靠的评估机制。未来，随着API的不断扩展和技术的不断进步，我们有望看到开源LLM在实际应用中的更广泛应用。

参考文献

1. Yujia Qin et al. “TOOLLLM: FACILITATING LARGE LANGUAGE MODELS TO MASTER 16000+ REAL-WORLD APIS.” ICLR 2024.
2. Touvron et al. “LLaMA: Open and Efficient Foundation Language Models.” 2023.
3. Wei et al. “Chain of Thought Prompting Elicits Reasoning in Large Language Models.” 2023.
4. Yao et al. “ReAct: Synergizing Reasoning and Acting in Language Models.” 2022.
5. Patil et al. “API-Bench: A Benchmark for Evaluating API Understanding in Language Models.” 2023.

在强化学习（RL）的世界中，设计奖励函数一直是一项艰巨的挑战。传统的奖励设计往往依赖于专家的直觉和丰富的领域知识，既耗时又昂贵。为了解决这个问题，Tianbao Xie等人提出了一个名为TEXT2REWARD的创新框架，该框架利用大型语言模型（LLMs）自动生成和塑造密集奖励函数。本文将深入探讨这一新兴技术的原理、应用和实验结果，展现其在机器人操作和运动任务中的优越表现。

💡 奖励塑造的背景

在强化学习中，奖励塑造（Reward Shaping）旨在设计奖励函数，以更高效地引导智能体朝着期望的行为前进。传统方法通常依赖于手动设计的奖励，过程繁琐，且结果可能次优。逆强化学习（IRL）和偏好学习（Preference Learning）作为潜在解决方案，虽然能从人类示范或偏好反馈中学习奖励模型，但仍需大量的人力和数据，且这些基于神经网络的模型往往缺乏可解释性。

TEXT2REWARD的提出，正是为了填补这一空白。该框架能够根据自然语言描述的目标，生成可执行的、具有高度可解释性的奖励代码，避免了传统方法的种种弊端。具体来说，用户只需输入任务目标，例如“将椅子推到标记位置”，系统便能生成相应的奖励代码。

🧪 设计机制

TEXT2REWARD采用了一个三阶段的生成过程：

1. 专家抽象（Expert Abstraction）：将环境表示为一组Python类，便于理解和操作。
2. 用户指令（User Instruction）：用户通过自然语言描述所需达成的目标。
3. 用户反馈（User Feedback）：在任务执行后，用户可对智能体的表现提供反馈，这些反馈将用于优化奖励代码。

这一过程不仅提高了奖励生成的效率，也使得非专家用户能够参与到系统的优化中来，真正实现了人机协作。

class BaseEnv:
    self.chair: ArticulateObject
    self.robot: DualArmPanda

class ArticulateObject:
    self.pose: ObjectPose
    def get_pcd(self) -> np.ndarray[(N,3)]:
        # 获取对象的点云数据
        ...

🤖 实验与结果分析

文本生成的奖励代码在多个机器人操作基准（如MANISKILL2和METAWORLD）以及运动环境（MUJOCO）中经过严格测试。实验结果表明，使用TEXT2REWARD生成的奖励代码在13个任务中，与专家设计的奖励代码相比，成功率和收敛速度相当，甚至在部分任务上表现优于人工设计的奖励。

例如，在“打开柜门”任务中，TEXT2REWARD生成的代码能够快速适应复杂的环境变化，成功率达到94%。在运动任务中，Hopper和Ant这两种机器人在六个新任务中均表现出色，成功率超过了94%。

📹 真实机器人操作的成功

TEXT2REWARD的另一个亮点在于其在真实机器人上的应用。通过在模拟器中训练的策略，仅需进行少量的校准，便能在实际环境中顺利应用。我们选用了Franka Panda机器人，并在“拾取立方体”和“堆叠立方体”两个任务中进行了验证。实验结果表明，智能体在真实环境中同样能够顺利完成任务，展示了其良好的泛化能力和实用性。

🔄 从人类反馈中学习

TEXT2REWARD通过人类反馈不断优化奖励代码，克服了自然语言指令中的模糊性。例如，当用户指令“将Ant放倒”时，系统可能无法准确理解Ant的朝向。通过用户的反馈，TEXT2REWARD能够重新生成奖励代码，使得任务执行更加符合用户的期望。这一过程展示了人机协作在智能体训练中的潜力，用户无需具备编程或强化学习的专业知识，便能有效参与到系统的优化中。

📈 迭代改进的潜力

在多轮反馈中，TEXT2REWARD展现出了极强的适应能力。通过观察任务执行视频，用户能够识别出当前策略中的不足之处，进而提供针对性的反馈。例如，在“堆叠立方体”任务中，经过两轮反馈，成功率从0提升至接近100%。这种迭代式的学习过程不仅提高了训练效率，也显著增强了模型对复杂任务的处理能力。

🌍 结论与展望

TEXT2REWARD的出现为强化学习领域带来了新的思路和方法。通过将自然语言与大型语言模型结合，该框架能够高效、自动地生成可解释的奖励函数，从而简化了奖励塑造的过程。实验结果表明，TEXT2REWARD不仅在模拟环境中表现优异，更能成功迁移到真实机器人操作中。

未来，我们希望这一研究能够激励更多的探索，推动强化学习与代码生成的交叉应用。TEXT2REWARD展示了自然语言处理技术在智能体训练中的潜力，预示着人机协作的新时代即将到来。

📚 参考文献

1. Xie, T., Zhao, S., Wu, C. H., Liu, Y., Luo, Q., Zhong, V., Yang, Y. (2024). TEXT2REWARD: Reward Shaping with Language Models for Reinforcement Learning. ICLR 2024.
2. Ng, A. Y., Harada, D., & Russell, S. (1999). Policy Invariance Under Reward Transformations: Theory and Application to Reward Shaping.
3. Ziebart, B. D., Maas, A. L., Bhat, A., & Dey, A. K. (2008). Maximum entropy inverse reinforcement learning.
4. Christiano, P. F., Leike, J., Brown, T., & Martic, M. (2017). Deep reinforcement learning from human preferences.
5. Yu, T., & others. (2023). L2R: Learning to Reward with Language Models.