分类： AI

近年来，随着人工智能技术的迅猛发展，大型语言模型（LLMs）在解决数学问题方面展现出了巨大的潜力。然而，当前的研究大多集中在那些背景简短的问题上。现实生活中的数学问题往往涉及复杂的叙述和背景，这对大型语言模型提出了更高的要求。本文将探讨LLMs在解决长篇数学文本问题（MWPs）方面的能力，并介绍一种名为E-GSM的新数据集及相关研究成果。

背景介绍

数学文本问题（MWPs）是以自然语言形式呈现的数学问题，需要精细的推理能力来解决。传统的数学问题数据集，如GSM8K，通常包含简短的叙述，只有几句话。然而，这种设置与现实世界中的情况存在差异。现实中的数学问题往往有更长的背景，这可能会对数学推理过程产生影响。研究表明，长篇背景可能会阻碍而不是促进数学推理过程。

研究目的

本研究的主要目的是探讨LLMs在解决长篇数学文本问题（CoLeG，即Context Length Generalizability）的能力。为此，我们构建了一个名为Extended Grade-School Math（E-GSM）的数据集，这个数据集包含了从GSM8K扩展而来的长篇数学问题。我们还提出了两种新的指标来评估LLMs在解决这些问题时的效率和韧性。

研究方法

数据集构建

E-GSM数据集的构建过程主要包括以下几个步骤：

1. 初始数据选择：从GSM8K测试集中选择问题。
2. 文本扩展：使用GPT-4-turbo模型通过2-shot示例法对原始问题进行扩展。
3. 质量控制：通过人工评估和启发式方法确保扩展问题的质量。

我们通过多轮扩展逐步增加问题的长度，最终获得了一个包含多个扩展轮次问题的综合数据集。

评估方法

我们使用七个专有LLMs和20个开源LLMs，以及三种最先进的零样本提示技术对E-GSM进行了评估。结果表明，LLMs在长篇数学文本问题上的表现较弱，尤其是在处理更长的背景时。

解决方案

为了解决这个问题，我们针对专有LLMs和开源LLMs分别提出了不同的策略：

1. 专有LLMs：我们开发了一种名为条件检索指令（CoRe）的新提示技术。这种技术鼓励LLMs首先检索问题条件，然后应用不同的推理模块。
2. 开源LLMs：我们建议在微调过程中将扩展作为辅助任务，并发布了包含65K条链式推理数据的微调数据集。

研究结果

我们的实验结果表明，这些策略在E-GSM及其他多个MWP基准测试上都表现出了显著的效果和较强的泛化能力。具体来说，CoRe和扩展微调任务不仅提高了LLMs在E-GSM上的准确性，还展示了其在其他数学问题基准测试中的广泛适用性。

结论

LLMs在解决长篇数学文本问题上的能力对于其在现实世界应用中的重要性不言而喻。我们的研究表明，长篇数学问题会显著降低LLMs的数学推理能力。通过提出有针对性的解决方案，我们不仅改善了LLMs在长篇数学问题上的表现，也为未来研究提供了宝贵的方向和方法。

本研究为LLMs在复杂、真实世界应用中的使用铺平了道路，提供了实用的解决方案，并为模型泛化能力和训练方法的进一步探索开辟了新的途径。

---

本文参考了《Can LLMs Solve Longer Math Word Problems Better?》一文中的研究成果，旨在为读者提供关于大型语言模型在解决长篇数学文本问题方面最新进展的深入洞见。希望通过这篇文章，您能对这一前沿领域有更清晰的认识。

Can LLMs Solve longer Math Word Problems Better?

https://papers.cool/arxiv/2405.14804

Authors: Xin Xu ; Tong Xiao ; Zitong Chao ; Zhenya Huang ; Can Yang ; Yang Wang

Summary: Math Word Problems (MWPs) are crucial for evaluating the capability of Large Language Models (LLMs), with current research primarily focusing on questions with concise contexts. However, as real-world math problems often involve complex circumstances, LLMs’ ability to solve long MWPs is vital for their applications in these scenarios, yet remains under-explored. This study pioneers the exploration of Context Length Generalizability (CoLeG), the ability of LLMs to solve long MWPs. We introduce Extended Grade-School Math (E-GSM), a collection of MWPs with lengthy narratives. Two novel metrics are proposed to assess the efficacy and resilience of LLMs in solving these problems. Our examination of existing zero-shot prompting techniques and both proprietary and open-source LLMs reveals a general deficiency in CoLeG. To alleviate these challenges, we propose distinct approaches for different categories of LLMs. For proprietary LLMs, a new instructional prompt is proposed to mitigate the influence of long context. For open-source LLMs, a new data augmentation task is developed to improve CoLeG. Our comprehensive results demonstrate the effectiveness of our proposed methods, showing not only improved performance on E-GSM but also generalizability across several other MWP benchmarks. Our findings pave the way for future research in employing LLMs for complex, real-world applications, offering practical solutions to current limitations and opening avenues for further exploration of model generalizability and training methodologies.

前国防部长唐纳德·拉姆斯菲尔德曾说过：“我们不清楚我们不知道的是什么。”这句话揭示了一个深刻的困境，即“未知的未知”，这是军方和数据科学家都熟悉的概念。

同样的原则也适用于教育领域。卡内基·梅隆大学的人机交互和心理学教授肯·科丁格（Ken Koedinger）认为，这种不确定性动摇了传统的教学方式。他指出，学生在学习过程中可能表现不佳，因为他们往往无法判断自己是否真正掌握了知识，或者是否还需要更多的训练。

为了解决这一问题，科丁格教授提倡使用人工智能（AI）作为辅助教学的工具，而不是替代教师。他认为，智能辅导系统可以为学生提供个性化的课程设计，避免重复学习已掌握的内容，同时收集数据来完善学习系统。

1. 你知道什么时候该学习吗？

在哈佛大学的演讲中，科丁格教授向应用计算科学研究所的50位与会者提出了一个问题：“你知道你什么时候该学习吗？”

这个问题的回答往往是两极分化的，而科丁格教授认为，正确答案是“不知道”。研究表明，学生通常无法准确判断自己是否需要学习，他们自认为的学习状态实际上可能是一种错觉。

喜欢 vs. 学会

一个典型的例子是，学生们常常认为喜欢某一课程就意味着能够学得更好。然而，科丁格教授的研究表明，喜欢与学会之间的相关性很低。使用AI软件检测学生参与情况的结果显示，那些自称喜欢课程的学生可能会关注错误的内容，而那些看起来困惑的学生可能正处于有效的学习过程中。

科丁格教授指出，学生缺乏必要的专业知识，无法将他们所知与实际掌握的知识区分开来。而教师们则往往高估了学生的理解能力。例如，在学习高中代数问题时，教师们认为方程式是学生最容易解决的形式，但学生实际上在基本的数学词汇上就遇到了困难。

2. “以数据开始和结束”

智能辅导系统，特别是其生成的数据，可能有助于弥补认知上的差距。科丁格教授讲述了卡内基·梅隆大学开发的智能辅导系统Cognitive Tutor及其背后的项目。

Cognitive Tutor基于机器生成的认知模型和表现模型，已经存在了几十年。认知模型基于解决问题所需的技能、如何获得这些技能、问题管理规则以及学生可能犯的错误等。

认知模型的算法

认知模型使用两种算法来测量性能：

1. 模型跟踪算法：通过跟踪学生的个人表现提供动态帮助，找出学生困惑的知识点以及困惑的原因。
2. 贝叶斯知识跟踪算法：通过追踪学生所学知识点，评估学生的掌握情况。

所有智能辅导系统的模型都产生数据，这对教育研究和改善学习系统至关重要。科丁格教授指出，这些改进是在一个以数据开始和结束的连续循环中进行的。研究人员使用A/B测试法（称为“体内测试”）进行随机、可控的实验，评估改进效果。

数据还可以揭示学生的学习方式，通过生成学习曲线，映射学生的错误率，为改进提供依据。智能辅导系统产生的数据可以帮助教育者将广泛的话题拆分为具体的、细微的小问题来解决。

科丁格教授举例说，类似于网球运动员在发球有问题时，找出具体原因并有针对性地练习，教育工作者也可以通过数据发现学生具体的学习问题，并在这些点上进行反复练习。

---

科丁格教授主张通过数据驱动的智能辅导系统，不仅能够实现个性化教学，还能通过持续的数据反馈和改进，显著提升学生的学习效果。

---

卡内基·梅隆大学的人机交互和心理学教授肯·科丁格（Ken Koedinger）提出了一个引人深思的观点：学生常常不知道他们真正掌握了什么。他引用前国防部长唐纳德·拉姆斯菲尔德的名言“未知的未知”来说明这一点，这种困境在教育中尤为显著。

主要观点概括：

1. 学生的学习自我评估往往不准确：
   • 学生通常无法判断自己是否真正掌握了知识，容易陷入自我误导的学习状态。
   • 喜欢某一课程并不等同于学会该课程，学生可能会把注意力集中在错误的内容上。
2. 教师的认知偏差：
   • 教师们往往高估了学生的理解能力，低估了学生在基础知识上的困难。
   • 专家们对自己的知识缺乏意识，无法准确评估学生的困惑点。
3. 智能辅导系统的作用：
   • 通过AI和数据驱动的智能辅导系统，可以为学生提供个性化的课程设计，避免重复学习已掌握的内容。
   • 这些系统生成的数据可以帮助教育者识别学生的具体问题，并提供针对性的练习。

补充说明和重点：

科丁格教授提倡的智能辅导系统，如Cognitive Tutor，利用认知模型和表现模型，通过模型跟踪算法和贝叶斯知识跟踪算法，动态地评估学生的表现。这种方法不仅能识别学生困惑的知识点，还能了解学生困惑的原因，从而提供更有针对性的帮助。

数据在这其中起到了至关重要的作用。通过持续的数据反馈，教育者可以进行“体内测试”（A/B测试），评估和改进教学方法。数据还可以揭示学生的学习方式，生成学习曲线，帮助教育者将复杂的学习任务拆分为具体的小问题进行解决。

例如，在网球训练中，如果发现运动员发球有问题，通过数据分析可以找出特定的原因，如扔球的方式，然后进行针对性的练习。同样，智能辅导系统可以通过数据发现学生的具体学习问题，进行精细化的教学调整。

Ken Koedinger教授的观点强调，通过数据驱动的智能辅导系统，不仅可以实现个性化教学，还能通过持续的数据反馈和改进，显著提升学生的学习效果。这种方法打破了传统的教学方式，为教育领域带来了新的可能性。