想法有基因组——当AI科学家连谁是谁爹都分不清

## 一场论文家族聚会上的尴尬 想象你参加一场学术家族聚会。大厅里挤满了论文——YOLO、YOLOv2、DET...

一场论文家族聚会上的尴尬

想象你参加一场学术家族聚会。大厅里挤满了论文——YOLO、YOLOv2、DETR、Faster R-CNN、CLIP、LLaVA、BERT、Transformer、ViT……它们都在做”物体检测”或”视觉-语言”之类的事,看起来都是一家人。

但你知道,长得像不一定是亲戚。YOLOv2 确实从 YOLO 那里继承了”单阶段检测”的基因,只是修了几个局部缺陷(加了锚框、批归一化、多尺度训练)。DETR 也在做物体检测,但它把 Faster R-CNN 的 CNN 区域提案整个换成了 Transformer 集合预测——这是”同村不同宗”,不是继承,是竞争。

问题来了:让一个 AI 科学家来参加这场聚会,它能分清谁是谁的爹吗?

2026年7月,上海交通大学 Xue Yang 团队联合清华、CMU 等机构发布了 IdeaGene-Bench(IG-Bench),用一个精妙的进化生物学框架,给 14 个 LLM 科学家做了一次”家族关系测试”。结果令人震惊:最强的系统(Claude Code + GPT-5.5)也只答对了 27.3%

纸面相似性 vs. 基因组继承

论文标题叫《Ideas Have Genomes》——想法有基因组。这个类比不是装饰,而是一套可操作的形式化体系。

核心洞察是:科学进步不是话题邻近性(topical proximity),而是机制继承(mechanism inheritance)。两篇论文可以共享同一个任务但互不继承(Faster R-CNN 和 YOLO 都做检测,但一个用区域提案、一个用单阶段回归,是竞争关系);两篇论文可以文本上相距甚远却携带同一个核心机制前行(Transformer 从文本搬到图像块,变成了 ViT,这是适应性辐射)。

现有的 AI 评估——检索质量、事实性、写作流畅度、新颖性——都无法区分这两种情况。一个模型能检索到正确的论文,却可能完全没看懂哪部分是”继承来的机制”,哪部分是”修掉的缺陷”。

Idea Genome:比论文更小的遗传单元

IdeaGene 框架的第一步,是把每篇论文拆解成一组Idea Genome(想法基因组)对象。每个基因组对象有四个属性:

角色类型(role type):niche(问题生态位)、mechanism(可继承的方法或设计)、observation(动机性经验观察)、limitation(缺陷或瓶颈)、delta(相对前人的修复或设计变更)、claim(断言的结果) – 内容描述(content) – 证据指针(evidence pointer):指向论文中的具体段落、图表、公式 – 可选约束(constraints)

关键约束有四条:有类型(不是无结构摘要)、有证据(不能凭空推断)、最小自足(能被独立继承/突变/丢失)、谱系相关(改变它的命运会改变”是否是合格后代”的判断)。

这就像生物学里的基因——不是整个生物体复制自己,而是单个基因在世代间独立传递、突变、重组。论文不是遗传单元,想法基因组才是。

GenomeDiff:科学版的 git diff

有了基因组,下一步是对齐。给定前驱论文 p_s 和后继论文 p_tGenomeDiff Delta_{s to t} 记录每个基因组对象的命运:

Inherited(继承):原样保留 – Mutated(突变):局部修改但核心保留 – Lost(丢失):消失 – Novel(新增):后继论文中新出现 – External(外源导入):从其他谱系引入

每条 GenomeDiff 还记录主要转换驱动者(primary transition driver)——哪个基因组对象的变化最能解释这次过渡。

六种进化动力学:从突变到隔离

GenomeDiff 的模式被归类为六种进化动力学。前四种是真正的谱系关系(有驱动机制继承),后两种不是:

动力学是否谱系判据经典案例
突变(Mutation)驱动机制继承或局部修改,生态位不变YOLO → YOLOv2:单阶段检测保留,锚框/批归一化/多尺度训练修复局部缺陷
适应性辐射(Adaptive Radiation)驱动机制保留,但迁移到新任务/领域Transformer → ViT:自注意力从文本序列搬到图像块
杂交(Hybridization)后继者从两条或多条不同谱系导入驱动对象CLIP 视觉编码器 + 指令微调 LLM → LLaVA:视觉对齐和聊天行为来自两个谱系
物种形成(Speciation)同生态位,但前驱的驱动机制被新机制替换Faster R-CNN → DETR:CNN 区域提案被 Transformer 集合预测替换
生态位竞争(Niche Competition)同生态位,但无驱动继承Faster R-CNN vs. YOLO:都做检测,但区域提案和单阶段回归是竞争机制
隔离(Isolation)既无共享生态位也无驱动继承BERT vs. YOLO:语言理解和物体检测毫无关系

歧义案例用固定优先级规则消解:杂交优先于物种形成,物种形成优先于生态位竞争,适应性辐射优先于突变

这套分类不是科学史的完备理论,而是可审计的评估契约——让”这篇论文是不是那篇论文的后代”这个模糊问题变成可检验的判断。

IG-Bench:1961 条黄金谱系

基于这套框架,团队构建了 IG-Bench:

1,961 条黄金谱系轨迹,覆盖 10 个科学领域(NLP、计算机视觉、多模态学习、生物、化学、物理、材料、医学、数学) – 1,085 个精选 Idea Genome 对象920 条成对 GenomeDiff 记录 – 每条轨迹包含 3-7 篇论文,通过引用链接、语义搜索和领域策展扩展

评估分两部分:

IG-Exam(闭卷考试):42 种任务类型,1,029 个实例,测试四层能力: – T1 基因组抽象(读单篇论文提取基因组) – T2 继承追踪(多篇论文间追踪基因组命运) – T3 进化推理(推断动力学类型) – T4 谱系验证(判断谱系声明是否自洽)

IG-Arena(开放生成):系统在三种信息设置下写研究提案——Question-only(只有问题)、Library(有论文库)、Lineage(有结构化谱系)——然后用种群-进化分数(PES)评分,包含三个子维度: – Heredity(遗传度):是否继承了正确的父基因组对象 – Variation(变异度):是否相对邻近工作有有意义的变化 – Selection(选择值):是否为未来研究提供选择价值

14 个 AI 科学家的成绩单

实验覆盖三类系统:直接 LLM(GPT-5.5、Claude Opus 4.7、Qwen3.6、Gemini-3.1、Kimi-K2、DeepSeek-V4、GLM-5.1、MiniMax-M2.7)、研究智能体(AI Scientist v2、CoI-Agent)、CLI 工具链(Codex、Claude Code)。

发现一:谱系推理是组合性难题

IG-Exam 的最高分只有 27.3%(Claude Code + GPT-5.5)。直接 LLM 最高 23.1%(GPT-5.5)。

四层能力的梯度很清晰:

能力维度最强系统得分
T1 基因组抽象34.4%(Gemini-3.1)
T2 继承追踪37.9%(Claude Code + GPT-5.5)
T3 进化推理25.3%(Claude Code + GPT-5.5)
T4 谱系验证17.4%(Qwen3.6)

从 T1 到 T4,组合负担越来越重。T1 只需读一篇论文的基因组;T4 需要同时保持父代身份、基因组兼容性、驱动者一致性、证据有效性——多个约束必须同时成立

错误很少是简单的”没找到”。模型可能找到了正确的父论文但标错了动力学类型,或者推断出了驱动基因组但误判了它的命运。精确评分暴露的是下游生成真正需要的 consistency 失败

发现二:工具脚手架帮检索不帮推理

CLI 工具链(Codex、Claude Code)在 T2 继承追踪上大幅提升(GPT-5.5:25.7% → 37.9%),因为迭代工具调用可以跨论文检索和比较基因组对象。但在 T3 进化推理上提升甚微,在 T4 谱系验证上几乎消失。

研究智能体(AI Scientist v2、CoI-Agent)在大多数维度上和直接 GPT-5.5 几乎重叠——检索密集型工作流并不增加谱系推理能力。智能体在生成(PES)上甚至比直接 LLM 更差,说明多步流水线可能损害生成连贯性。

工具脚手架因此放大了依赖检索的能力,而组合推理的瓶颈纹丝不动

发现三:合理性 > 谱系连贯性

IG-Arena 的 PES 分解揭示了一个深层问题。在所有信息设置和动力学模式下:

Variation(变异度)几乎不变(82.7-84.7)——系统不缺新颖性 – Selection(选择值)几乎不变(79.7-82.2)——系统不缺”听起来有用” – Heredity(遗传度)是唯一拉开差距的维度(61.9 → 84.2)

Question-only 的 Mutation 模式(没有有效父机制的参数化发明)Heredity 只有 61.9,PES 69.2。Lineage 设置的 Hybridization(锚定到显式父基因组的重组)Heredity 达到 84.2,PES 83.6。

从 Question 到 Lineage 的提升不是”更创新”,而是”更扎根”。系统天然擅长生产听起来合理的东西,但不擅长保留正确的父机制或缺陷-修复关系。生成的想法”听起来有用”但”谱系不自洽”。

这对 AI 研究意味着什么

1. 检索 ≠ 理解

当前 auto-research 系统的核心范式是”检索增强生成”——找到相关论文,然后生成。IG-Bench 证明这个范式有一个结构性盲区:检索能找到共现的论文,但找不到继承的机制

两篇论文可以在同一个任务上竞争(生态位竞争),也可以共享同一个驱动机制但做不同任务(适应性辐射)。没有基因组级别的对齐,检索系统无法区分这两种情况。

2. 组合一致性是真正的瓶颈

T4 谱系验证只有 17.4% 不是因为模型”不够聪明”,而是因为它需要同时维护多个约束的 consistency。这和之前关于”Knowing-Using Gap”的发现一致——知识存在但没路由到推理层。

工具脚手架帮不了这个问题,因为它本质上是组合验证问题,不是信息获取问题。论文的结论很直接:auto-research 系统需要组合验证模块,而不只是更好的检索。

3. “听起来对”和”真的对”之间有鸿沟

PES 的 Heredity-Variation 分离揭示了一个让所有 AI 研究者都应该警惕的现象:系统过度生产合理性(plausibility)而非谱系连贯性(coherence)

一个生成的想法可以同时是高变异度和低遗传度——听起来很新,但没有继承正确的父机制。这在学术审稿中是致命的:审稿人会说”这个方法和相关工作脱节”。

4. 进化生物学是 AI 评估的富矿

这篇论文的深层贡献不是某个具体算法,而是一个跨学科类比的操作化。达尔文 1859 年写下”descent with modification”时描述的是生物演化;167 年后,同一套词汇被用来评估 AI 能否理解科学思想的演化。

六种进化动力学不是装饰——它们提供了可审计的判据,让”这篇论文是否是那篇论文的后代”从模糊的学术判断变成可检验的形式化问题。

我的思考:基因组的颗粒度问题

读完这篇论文,我最大的疑问是 Idea Genome 的颗粒度选择

论文规定”如果两个组件可以在后续工作中独立消失或转移,就应该拆分;如果一个离开另一个就不可理解,就应该合并”。这是一个功能性依赖判据,但实际操作中很难判断。

比如”注意力机制”——多头注意力是一个基因组,还是”QK 矩阵乘法”和”多头拆分”是两个独立基因组?如果后续工作换了相似度度量但保留多头拆分,算突变还是算物种形成?

这个颗粒度问题在生物学里也有——”基因”的定义从孟德尔的”遗传因子”到分子生物学的”编码序列”再到现代的”调控元件+编码区+剪接信号”,一直在演化。Idea Genome 可能也需要经历类似的 refinement。

但作为一个起点,IG-Bench 已经做了一件重要的事:它把”AI 能否理解科学思想的继承结构”这个问题,从哲学讨论变成了可量化的评估。27.3% 的分数说明,我们离真正的 AI 科学家还有很长的路——但至少现在我们知道该测什么了。

论文arxiv.org/abs/2607.08758

代码和数据github.com/VisionXLab/IdeasHaveGenomes

项目主页visionxlab.github.io/IdeasHaveGenomes

#AI研究 #LLM评估 #科学推理 #进化生物学 #IdeaGene #谱系推理

发表回复

人生梦想 - 关注前沿的计算机技术 acejoy.com 🐾 步子哥の博客 🐾 背多分论坛 🐾 借一步网 🐾 智柴网 沪ICP备2024052574号-1