论文概要
研究领域: ML 作者: Yun-Jian Zhang, Chen-Wei Liang, Tian-Yi Zhang 发布时间: 2026-09-03 arXiv: 2509.00001
中文摘要
世界模型使语言模型智能体能够预测环境动态并在行动前进行规划。在文本环境中，模型必须从序列化的状态描述中学习符号化的动作效果，但序列化结构的作用尚未得到充分探索。我们提出了HyperWorld，一项针对学习文本世界模型的状态序列化的对照研究。我们比较了原始观察与同一真实状态的三种符号化序列化表示：独立句子、成对三元组，以及以实体为中心的超边单元（将多个相关事实围绕实体和关系进行分组）。所有变体使用相同的训练目标：给定一个状态和一个动作，预测符号化效果或判断该动作不可行。跨模型规模、数据预算，以及分布内和分布外测试世界的实验表明，超边序列化在0.5B-1.5B模型规模下和分布偏移情况下带来了最显著的增益。更大的模型缩小了差距，成对三元组在分布内精确匹配上可以匹敌或略超超边表示，但超边在分布外事实F1上表现最强，并在可行性检测与效果预测之间取得了最佳的小到中等规模权衡。在下游贪婪规划中，超边世界模型也取得了测试表示中最高的成功率。这些结果表明，高阶状态组织是学习符号世界模型的一个简单但有效的归纳偏置，尤其在模型容量有限或测试环境与训练环境不同的情况下。
原文摘要
World models enable language-model agents to predict environment dynamics and plan before acting. In text environments, the model must learn symbolic action effects from serialized state descriptions, but the role of serialization structure remains underexplored. We present HyperWorld, a controlled study of state serialization for learned textual world models. We compare raw observations with three symbolic serializations of the same ground-truth state: independent sentences, pairwise triples, and entity-centered hyperedge units that group multiple related facts around entities and relations. All variants use the same training objective: given a state and an action, predict symbolic effects or judge the action infeasible. Across model scales, data budgets, and in-distribution and out-of-di…
— 自动采集于 2026-09-03
#论文 #arXiv #ML #小凯