“故事中最重要的是角色，角色，还是角色。” – 鲍勃·盖尔
这句话道出了角色在故事中的重要性。无论是小说、剧本还是电影，一个鲜活的人物形象，往往能够让故事更加引人入胜，令人难以忘怀。
那么，如何才能更好地理解和分析故事中的角色呢？传统的分析方法往往依赖于对人物行为、语言、心理等方面的描述，但这些描述往往过于笼统，难以捕捉到角色的复杂性和多面性。
近年来，随着人工智能技术的发展，一些研究人员开始尝试使用计算机来分析和生成故事。这些研究成果为我们提供了新的视角，也为我们理解角色提供了新的工具。
CHIRON：一个基于“人物卡”的角色表示方法
本文介绍了一种名为 CHIRON 的角色表示方法，它借鉴了专业作家创作人物的方法，将角色信息以“人物卡”的形式进行组织和呈现。
CHIRON “人物卡”包含四个主要类别：
- 对话： 角色的说话方式，包括口音、口头禅、表达风格等等。
- 外貌/性格： 角色的外貌和性格特征，包括身高、伤疤、勇敢、傲慢等等。
- 知识： 角色所掌握的知识和信息，包括家庭成员、悲惨的过去、藏宝地点等等。
- 目标： 角色的目标和动机，包括寻找宝藏、完成任务、复仇等等。
CHIRON 的生成和验证模块
CHIRON 的生成过程分为两个步骤：
- 生成模块： 利用预训练语言模型，通过问答的方式从故事片段中提取角色信息，并将其归类到不同的类别中。
- 验证模块： 使用自动推理和领域特定的蕴含模型，对生成的信息进行验证，确保信息的准确性和有效性。
验证模块：确保信息准确性
验证模块的关键在于判断一个关于角色的陈述是否能够从故事片段中推断出来。为了实现这一点，研究人员使用了两个关键技术：
- 自动推理： 通过预训练语言模型，生成一些中间推理步骤，帮助模型更准确地判断蕴含关系。
- 领域特定的蕴含模型： 对预训练语言模型进行微调，使其能够更准确地判断关于角色的陈述是否与故事片段相符。
CHIRON 的应用：掩码角色预测
研究人员使用掩码角色预测任务来验证 CHIRON 的有效性。该任务要求模型根据故事片段和角色信息，预测被掩盖的角色名称。
实验结果表明，CHIRON 在掩码角色预测任务中显著优于传统的基于摘要的基线方法，证明了 CHIRON 在处理角色相关任务方面的优势。
CHIRON 的应用：故事分析
除了用于下游任务，CHIRON 还可以用于自动分析故事。研究人员提出了一个名为“密度”的指标，用于衡量故事中角色的中心程度。
“密度”指标定义为角色卡中句子数量除以故事中句子数量的平均值。研究人员发现，该指标与人类对故事中角色重要性的判断高度相关。
结论
CHIRON 是一种新颖的角色表示方法，它能够有效地捕捉和组织故事中的角色信息，并为下游任务和故事分析提供有力的支持。未来，研究人员将继续探索 CHIRON 在故事生成方面的应用，以期生成更加角色驱动的故事。
参考文献
- Akoury, R., Chakrabarty, T., & Lapata, M. (2020). STORIUM: A dataset of collaborative narratives for story understanding. Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, 5164-5174.
- Yang, J., Chakrabarty, T., & Lapata, M. (2023). DOC: Towards controllability in long-form story generation. Proceedings of the 61st Annual Meeting of the Association for Computational Linguistics, 12295-12310.
- Yang, J., Chakrabarty, T., & Lapata, M. (2022). Re3: Towards controllable rewriting and editing for story generation. Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics, 5087-5099.
Q: 这篇论文试图解决什么问题？
A: 这篇论文试图解决的问题是长形式叙事中复杂角色的表示问题。现有的故事情节分析和生成系统通常通过基于图的方法和简短的角色描述来简化角色，但这些方法并没有很好地捕捉到角色的复杂性和细微差别。为了更好地处理这个问题，论文提出了一种新的基于“角色表”的表示方法，称为CHIRON，它组织和过滤有关角色的文本信息，以更准确地表示角色的复杂性。
CHIRON的目标是通过以下方式改善角色表示：
- 生成模块（Generation Module）：通过问答方式，利用预训练的大型语言模型（LLM）基于故事片段生成关于角色的详细信息。
- 验证模块（Validation Module）：使用自动化推理和特定领域的蕴含模型来消除关于角色的虚假事实。
论文通过下游任务——掩蔽角色预测（masked-character prediction）来验证CHIRON的有效性，实验结果表明CHIRON比现有的基于摘要的方法更优越、更灵活。此外，论文还展示了从CHIRON派生的指标可以用来自动推断故事中的人物中心性，并且这些指标与人类判断一致。
Q: 有哪些相关研究？
A: 论文中提到了多个与角色建模、叙事和故事生成相关的研究工作。以下是一些主要的相关研究领域和代表性的工作：
- 角色建模：早期的工作通过将角色表示为离散值（例如情感、形容词或图节点）、嵌入或高级段落式描述或摘要来进行角色建模。
- 基于角色的叙事理解：研究了如何通过分析角色之间的关系和情感轨迹来理解文学作品中的角色。例如，Chaturvedi等人（2017相关研究主要包括以下几个方面：
- 角色建模：以往的研究通过不同的方式表示角色，包括将角色表示为离散值（如情感、形容词或图节点）、嵌入（embeddings）和高层次的段落式描述或摘要。
- 基于角色的叙事理解：研究者们从文学理解的角度，借鉴了帮助作家在他们自己的叙事中发展角色的讨论，这些讨论提供了对分析现有角色有用的见解。
- 故事生成：早期使用大型语言模型（LLMs）进行故事生成的研究通过提供情节大纲作为指导间接探索了角色信息的好处。更近期的工作集中在生成更长的故事上，更加重视复杂的情节结构。
- 角色发展：研究者们从角色扮演游戏中获取灵感，尤其是Ammanabrolu等人（2021）通过提供多面动机和简短的角色摘要，展示了良好的角色扮演对话和行动表现。
- 数据集STORIUM：基于STORIUM数据集的研究，这是一个在线协作编写的故事集合，每个故事由特定角色的视角撰写，为探索角色表示提供了理想的测试平台。
- 自动化推理和蕴含模型：研究者们开发了自动化推理步骤和训练有素的蕴含模型，以确保角色表示的准确性和有用性。
- 角色中心性分析：研究者们提出了基于CHIRON的角色表来自动分析故事，使用“密度”这一指标来衡量故事中角色的中心性，并与人类判断的相关性进行了验证。
这些相关研究为CHIRON的开发提供了理论和技术基础，同时也表明了在长形式叙事中对角色进行深入理解的重要性。
Q: 论文如何解决这个问题？
A: 论文通过以下几个步骤解决长形式叙事中复杂角色表示的问题：
- 角色表（Character Sheet）结构：提出了一种新的结构化表示方法，称为CHIRON，它包含了一系列维度上的结构化描述，以封装角色的细微差别和复杂性。
- 生成模块（Generation Module）：使用预训练的大型语言模型（LLM）通过问答的方式生成关于角色的信息。这个模块接收故事片段和相关问题，然后生成角色描述。
- 验证模块（Validation Module）：为了确保生成的角色描述的准确性和有用性，开发了一个验证模块。这个模块使用自动化推理和高精确度的蕴含模型来过滤掉不准确或无用的句子。
- 数据集创建和注释：为了训练验证模块，研究者们创建了一个注释数据集，通过人工标注者来判断生成的陈述是否从故事片段中合理推断出来。
- 自动化推理：使用In-Context-Learning (ICL) 和 Chain-of-Thought (CoT) 推理来提高分类器的准确性，通过分解推理步骤来帮助分类器准确识别蕴含关系。
- 领域特定蕴含模型：结合故事片段、推理步骤、角色和陈述，在上下文中提示Mistral 7B模型进行蕴含标记（1-5分），并通过微调来提高模型性能。
- 下游任务验证：通过掩蔽角色预测任务来验证CHIRON的有效性，将CHIRON生成的角色表与基线方法进行比较，以证明其在角色中心任务中的优越性。
- 故事分析：使用CHIRON派生的自动化指标（如“密度”）来分析人类编写和LLM生成的故事，展示了这些指标与人类判断的一致性。
- 实验和评估：通过一系列实验，研究者们评估了CHIRON在掩蔽角色预测任务上的性能，并与基线方法进行了比较，证明了CHIRON的有效性。
通过这些步骤，论文提出了一种新颖的方法来改善长形式叙事中角色的表示，使其更加准确、有用，并能够为下游任务提供支持。
Q: 论文做了哪些实验？
A: 论文中进行了以下实验来验证CHIRON的有效性：
- 掩蔽角色预测任务（Masked Character Prediction Task）：
- 定义任务：在给定的未见过的STORIUM故事中，识别故事片段中包含的三个最常见角色，并为这些角色创建角色表。
- 掩蔽故事片段中角色名称，并使用角色表信息来预测每个角色对应的掩蔽ID。
- CHIRON与基线设置的比较：
- EntireSheet：将整个CHIRON角色表展示给模型。
- Agreed：只向模型展示角色表的一个类别（如对话、外貌/个性、知识或目标），并聚合预测结果。
- CharacterSummary：使用Mistral 7B Instruct v0.2生成的单个角色描述，并使用蕴含分类管道进行过滤。
- No-Information：在掩蔽角色预测任务中不展示任何角色信息。
- OnlyRole超参数的影响：
- 探索是否只包括角色视角的故事片段作为输入对性能的影响。
- 性能评估：
- 报告了在不同设置下的准确率，并比较了CHIRON与基线方法的性能差异。
- CHIRON的灵活性测试：
- 通过修改Agreed设置，仅在知识（Knowledge）和外貌（Physical）类别之间计算一致性，以探索不同类别组合对性能的影响。
- 故事分析：
- 使用CHIRON派生的“密度”指标来分析不同来源的故事集，包括人类编写和LLM生成的故事。
- 将自动化密度度量与人类对故事人物中心性的判断进行相关性分析。
- 不同数据集的比较：
- 计算并比较了不同数据集（如STORIUM、New Yorker TTCW、DOC故事等）的密度指标，以展示CHIRON在不同叙事风格中的应用。
这些实验验证了CHIRON在角色表示方面的有效性，展示了其在下游任务中的优越性能，并证明了CHIRON可以作为一个分析工具来理解不同来源的故事集中角色的使用情况。
Q: 有什么可以进一步探索的点？
A: 论文提出了一些潜在的研究方向和可以进一步探索的点，包括：
- 更丰富的角色表结构：虽然CHIRON的角色表结构选择了特定类型信息，但确定哪些陈述是对角色的“有趣”描述仍然是一个开放问题，可能需要对整个故事有所了解。
- 利用叙事中的上下文信息：未来的研究可以更好地利用读者在叙事中获得的信息作为当前片段的上下文，例如故事特定词汇或已建立的角色关系。
- 扩展到多语言和文化：目前的研究主要集中在英语故事上，未来的工作可以扩展CHIRON的本体论和注释到其他语言，并探索使用更多非英语数据预训练的语言模型。
- 改进生成模块：尽管使用验证模块可以提高角色表示的准确性，但提高角色陈述生成步骤的性能仍然是一个值得探索的领域。
- 探索潜在的偏见：研究在使用抽象角色表示进行故事生成时可能导致的刻板印象，以及在生成步骤中可能由于偏见而导致的模型错误陈述。
- 自动化分析工具的开发：利用CHIRON作为分析工具，对更广泛的数据集进行自动化故事分析，可能包括不同风格、来源或叙事结构的故事。
- 角色驱动的故事生成：利用CHIRON生成更以角色为中心的故事，这可能涉及到更深入地理解角色动机、发展和故事中的关系。
- 用户研究和评估：进行用户研究以评估CHIRON生成的角色表的可用性，以及它们如何帮助作家或分析师更好地理解和分析角色。
- 集成到故事生成平台：将CHIRON集成到故事生成平台中，以提供更丰富的角色交互和更连贯的叙事体验。
- 跨领域应用：探索CHIRON在其他领域的应用，如教育、游戏设计或电影剧本创作，以增强角色的深度和复杂性。
这些探索点表明，尽管CHIRON在表示长形式叙事中的角色方面取得了进展，但仍有许多机会进一步改进模型，扩展其应用范围，并更深入地理解角色在叙事中的作用。
Q: 总结一下论文的主要内容
A: 这篇论文的主要内容包括以下几个方面：
- 问题定义：论文指出现有故事分析和生成系统在理解和表示长形式叙事中复杂角色方面存在不足。
- CHIRON提出：为了解决这个问题，论文提出了一种新的基于“角色表”的表示方法，称为CHIRON（CHaracter-Informed Representations Over Narratives），用于组织和过滤有关角色的文本信息。
- 方法论：
- 生成模块：利用预训练的大型语言模型（LLM）通过问答形式生成角色信息。
- 验证模块：采用自动化推理和领域特定的蕴含模型来验证和过滤生成的角色描述，确保其准确性和有用性。
- 数据集和注释：基于STORIUM数据集构建角色表，并进行人工注释，以创建用于训练和评估验证模块的数据集。
- 实验验证：
- 通过掩蔽角色预测任务评估CHIRON的有效性，并与基于摘要的基线方法进行比较。
- 展示了CHIRON在特定下游任务中的性能提升。
- 故事分析：使用CHIRON派生的自动化指标（如“密度”）来分析人类编写和LLM生成的故事，并将这些指标与人类判断的相关性进行了验证。
- 结果：
- CHIRON在掩蔽角色预测任务中比基线方法表现更好，证明了其在角色中心任务中的有效性。
- 密度指标与人类对故事人物中心性的判断高度相关，可以作为故事分析工具。
- 未来工作：论文提出了一些潜在的研究方向，包括改进角色表结构、扩展到多语言和文化、探索潜在的偏见等。
- 局限性和伦理声明：论文讨论了CHIRON的局限性，并提出了伦理方面的考虑，如避免生成有害内容和减少刻板印象的风险。
总的来说，这篇论文提出了一种新的方法来改善长形式叙事中角色的表示，并通过实验验证了其有效性，同时也为未来的研究提供了方向和考虑。
![\[L(\theta) = -\frac{1}{L} \sum_{i=1}^{L} \log P(x_i|x_{<i}; \theta).\]](https://www.zhichai.top/wp-content/ql-cache/quicklatex.com-410349c868b97ebbc5fd602554a26da0_l3.svg "Rendered by QuickLaTeX.com")
![\[L_{goldfish}(\theta) = -\frac{1}{|G|} \sum_{i=1}^{L} G_i(x_i) \log P(x_i|x_{<i}; \theta).\]](https://www.zhichai.top/wp-content/ql-cache/quicklatex.com-b30f666a19d7c79cc778cc896274bf73_l3.svg "Rendered by QuickLaTeX.com")