在近年来，语言模型（LMs）在自然语言处理（NLP）领域的应用越来越广泛，推动了研究人员在更高的抽象层次上构建NLP系统，同时降低了对数据的需求。然而，现有的LM管道通常依赖于手工编写的“提示模板”，这些模板往往需要反复试验才能找到最佳的表现方法。为了解决这一问题，Omar Khattab等学者提出了DSPy——一种将LM管道抽象为文本转换图的编程模型。这一模型使得开发和优化LM管道变得更加系统化。
🎯 DSPy的核心理念
DSPy的核心在于其将LM调用与声明性模块结合的编程模型。传统的手工提示字符串往往不具备通用性，且在不同数据域、输入或LM之间无法有效迁移。而DSPy通过将提示技术转化为声明性模块，使得用户能够定义模块的输入输出行为，而不是具体的提示内容。这种方法不仅提高了可重用性，还减少了对手动提示的依赖。
DSPy模块是参数化的，可以通过反复自我增强来学习如何应用提示、微调、增强和推理技术。通过DSPy编译器，用户可以优化任何DSPy管道，以最大化给定的评估指标。这一创新极大地简化了LM管道的构建过程，使得即使是较小的LM如Llama2-13b-chat，也能够实现与大规模LM相当的性能。
🛠️ DSPy的结构与功能
DSPy的编程模型主要包括以下几个方面：
- 自然语言签名：通过定义输入输出的字段，用户可以轻松地为LM指定任务。例如，用户只需通过简单的声明
question -> answer来定义一个问题回答模块，而无需关心具体的提示内容。 - 模块化设计：DSPy允许用户通过参数化模块将提示技术抽象化。用户可以根据需要组合不同的模块，例如ChainOfThought模块和Predict模块，从而构建复杂的任务管道。
- 自动化优化：DSPy中的“teleprompters”负责自动优化模块的提示和微调策略。用户只需提供少量的训练示例，DSPy便可以通过自我增强机制生成有效的提示和微调策略，从而提高系统的性能。
🧩 案例研究：数学问题与复杂问答
在文章中，作者通过两个案例研究展示了DSPy的强大能力：数学问题（GSM8K数据集）和多跳问答（HotPotQA数据集）。
数学问题的挑战
在GSM8K数据集中，研究者们对200个问题-答案对进行了训练，最终评估使用了1300个官方测试集样本。DSPy的不同模块表现出显著的性能差异。例如，使用ChainOfThought模块的系统在开发集上的准确率达到了44.0%，而经过优化的reflection模块的准确率高达78.6%。这些结果表明，DSPy能够有效地将简单模块组合成复杂的、高效的问答系统。
多跳问答的复杂性
在HotPotQA数据集的案例研究中，DSPy同样展现了其强大的能力。研究者们利用ColBERTv2检索器对维基百科进行了搜索，并评估了多跳问答系统的性能。在这一任务中，DSPy的多跳模块通过多次迭代检索和生成查询，成功实现了较高的答案准确率。
| 模块 | GPT-3.5 答案准确率 | Llama2-13b-chat 答案准确率 |
|---|---|---|
| vanilla | 34.3% | 31.5% |
| fewshot | 36.4% | 29.8% |
| CoT RAG | 42.3% | – |
| react | 39.0% | – |
| multihop | 54.7% | 45.6% |
从表格中可以看出，使用DSPy的多跳模块不仅提升了答案的准确率，还显著提高了检索精度，展示了DSPy在复杂问答任务中的有效性。
🎉 结论与展望
DSPy的引入为构建和优化基于LM的NLP系统提供了一种新颖的方法。通过模块化设计和自动化优化，DSPy使得开发者能够快速创建高效的LM管道，而无需依赖繁琐的手工提示。这一模型不仅降低了开发门槛，也为未来的AI系统设计提供了新的方向。
参考文献
- Khattab, O., Singhvi, A., Maheshwari, P., et al. (2024). DSPy: Model Calls into Self-Improvements.
- Bommasani, R., et al. (2021). On the Opportunities and Risks of Foundation Models.
- Wei, J., et al. (2022). Chain of Thought Prompting Elicits Reasoning in Large Language Models.
- Yang, Z., et al. (2018). HotPotQA: A Dataset for Diverse, Explainable Multi-Hop Question Answering.
- Guu, K., et al. (2020). Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks.
🚀 DSPy：编程而非提示的基础模型
DSPy是一个用于算法优化语言模型（LM）提示和权重的框架，尤其当LM在管道中被多次使用时。通过使用DSPy，用户可以更加系统化地构建复杂的AI系统，而不再依赖繁琐的提示工程。
🎯 DSPy的核心功能
DSPy的设计理念是将程序的执行流程与每一步的参数（LM的提示和权重）分离开来。它引入了新的优化器，这些优化器是基于LM的算法，能够在给定的评估指标上优化提示和/或LM调用的权重。通过这种方式，DSPy能够为GPT-3.5、GPT-4等强大的模型，以及像T5-base和Llama2-13b这样的本地模型，提供更高的任务可靠性和更好的质量。
🛠️ DSPy的工作原理
使用DSPy的基本步骤包括：
- 定义任务和指标：明确要解决的任务及其评估标准。
- 构建管道：选择内置模块，并为每个模块指定输入输出的签名。
- 编译程序：调用DSPy优化器，将代码编译为高质量的指令、自动的少量示例，或更新LM的权重。
📊 模块和优化器的概念
DSPy的两个核心概念是签名和优化器（原称为teleprompters）。
- 签名：用于声明LM的输入输出行为。用户在定义模块时，可以指定任务的描述、输入字段和输出字段。这样，DSPy编译器能够为特定的任务构建有效的提示。
- 优化器：自动优化程序的参数，可以生成有效的提示和示例，或对LM进行微调以提升质量。用户只需提供少量的训练示例，DSPy将自动生成所需的中间标签。
📦 安装与使用
要安装DSPy，只需运行以下命令：
pip install dspy-ai对于最新版本，可以使用以下命令：
pip install git+https://github.com/stanfordnlp/dspy.git此外，DSPy提供了丰富的文档和教程，帮助用户快速上手和深入学习。
📚 教程与示例
DSPy的文档包含了多个层次的教程，从初学者到高级用户都有覆盖。以下是一些推荐的学习资源：
- Getting Started：介绍DSPy的基本构建模块，解决复杂问答任务。
- Compiling for Tricky Tasks：教授如何使用LM处理逻辑推理和否定。
- Finetuning for Complex Programs：教导如何使用T5模型在HotPotQA上取得优异成绩。
🎉 结论
DSPy提供了一个强大而灵活的框架，能够帮助研究人员和开发者更高效地构建和优化基于LM的系统。通过实现模块化设计和自动优化，DSPy使得在复杂任务中使用语言模型变得更加简单和高效。
📜 引用与更多阅读
如果您在研究论文中使用DSPy，请引用以下内容：
@article{khattab2023dspy,
title={DSPy: Compiling Declarative Language Model Calls into Self-Improving Pipelines},
author={Khattab, Omar and Singhvi, Arnav and Maheshwari, Paridhi and Zhang, Zhiyuan and Santhanam, Keshav and Vardhamanan, Sri and Haq, Saiful and Sharma, Ashutosh and Joshi, Thomas T. and Moazam, Hanna and Miller, Heather and Zaharia, Matei and Potts, Christopher},
journal={arXiv preprint arXiv:2310.03714},
year={2023}
}