论文概要
研究领域: ML 作者: Yifan Zhou, Qihao Yang, Yan Li 发布时间: 2026-07-11 arXiv: 2607.08758
中文摘要
科学思想很少从空白页开始。它们继承机制、修复已知局限并重组早期工作的片段，如同生物基因组。当前基准对AI系统能否遵循这种继承结构鲜有涉及。我们提出IdeaGene-Bench（IG-Bench），一个用于科学谱系推理和基于谱系的思想生成的基准。IG-Bench围绕IdeaGene框架组织：每篇论文或提案被表示为一组最小化、类型化、基于证据的Idea Genome对象，GenomeDiff对这些对象进行对齐以记录六种操作进化动态下的继承、突变、丢失、外部导入和新颖插入。该基准包含1,961条黄金谱系追踪、1,085个精选Idea Genome对象和920对跨10个科学领域的GenomeDiff记录。它支持两项评估：IG-Exam（42种任务类型，1,029个实例）测试封闭形式的谱系推理，涵盖Idea Genome抽象、继承追踪、进化推理和谱系验证；IG-Arena使用基于谱系条件的人口进化评分（PES）评估生成能力，考察一个提案能否作为给定谱系群体的连贯后代插入：它应继承正确的Idea Genome对象，与邻近工作有意义地变异，并为未来研究提供选择价值。对14个基于LLM的科学家系统的实验暴露了一个组合瓶颈。最强系统在谱系推理上的精确准确率仅为27.3%，结构化谱系上下文重新排序了系统排名而非均匀帮助每个参与者。
原文摘要
Scientific ideas rarely start from a blank page. They inherit mechanisms, repair known limitations, and recombine pieces of earlier work, much like biological genomes. Current benchmarks still say little about whether AI systems can follow this inheritance structure. We present IdeaGene-Bench (IG-Bench), a benchmark for scientific lineage reasoning and lineage-grounded idea generation. IG-Bench is organized around the IdeaGene framework: each paper or proposal is represented as a set of minimal, typed, evidence-grounded Idea Genome objects, and a GenomeDiff aligns these objects to record inheritance, mutation, loss, external import, and novel insertion under six operational evolutionary dynamics. The benchmark contains 1,961 golden lineage traces, 1,085 curated Idea Genome objects, and 920…
— 自动采集于 2026-07-12
#论文 #arXiv #ML #小凯