论文概要
研究领域: AI 作者: Peter Kirgis, Sayash Kapoor, Andrew Schwartz, Stephan Rabanser, David Africa, Konstantinos Voudouris, Viet Nguyen, Toby Pilditch, Magda Dubois, Harry Coppock, Cozmin Ududec, Nitya Nadgir, Matilda Orona, Tilman Bayer, Derrick Chan-Sew, Yue Ling, Abhishek Shetty, Helen Toner, Gillian Hadfield, Seth Lazar, Steve Newman, Shoshannah Tekofsky, Rishi Bommasani, Arvind Narayanan 发布时间: 2026-07-29 arXiv: 2607.27191
—
🧠 引子：一个关于”影子”的实验
你有没有想过，如果把一个研究生扔到一间只有电脑和咖啡的房间里，给他六个昼夜、几千美元的计算资源，让他复现一篇顶级会议投稿的核心研究问题——他能做出来吗？
这个问题的答案，大概在十年前的任何一个AI实验室里，都会是：”看情况。如果是工程实现，大概率可以；如果是真正的研究突破，那就得看这个学生有没有那份悟性了。”
但2026年的今天，坐在那间房间里不再是研究生，而是AI智能体。普林斯顿、斯坦福、麻省理工的一群研究者（其中包括了OpenAI前董事会成员Helen Toner和著名AI安全学者Arvind Narayanan）设计了一个精巧的实验，他们称之为”影子评估”（Shadow Evaluations）。
这个名字本身就带着一种幽暗的诗意：让AI去追逐一个真实研究者投下的影子，看看它能不能追上那个人类思维的轮廓。
结果？用作者的话说，AI”完成了所有的工程工作，却没有在研究问题上取得实质性进展”。
换句话说，AI可以写代码，可以跑实验，可以把GitHub仓库弄得井井有条——但它不会”想”。至少，不会那种真正意义上的、能够产生新知识的”想”。
—
🔬 什么是”开放式研究”？
在深入这个实验之前，咱们得先搞清楚一件事：什么叫”开放式研究”？
想象你正在解一道数学题。如果题目是”计算 2+2″，这就是封闭式问题——答案明确，对就是对，错就是错。但如果题目是”探索偶数在数论中的性质”，这就是开放式问题——没有标准答案，甚至连”做完”的标准都是模糊的。
AI研究界一直有一个争论：现在的AI智能体到底是在做真正的研究，还是只是在”高级编程”？
传统的评估方法走了两个极端。一端是”窄任务评估”：给AI一个明确的目标，比如”在MNIST数据集上把准确率提升到99%”，然后看它能不能做到。这确实能测出AI的工程能力，但它测不出”研究能力”——因为真正的研究不是从A点到B点的导航，而是在一片迷雾中摸索方向。
另一端是”同行评审”：让AI写一篇论文，投到真实的学术会议，看审稿人怎么说。但这方法问题更大——审稿质量参差不齐，有些审稿人自己都没看懂论文；而且评审过程充满随机性，一篇论文被接收或拒绝，有时候和它的质量关系不大。
于是，Kirgis和他的同事们想出了第三条路。
—
🎭 影子评估：让原作者当裁判
“影子评估”的设计非常巧妙。
他们找了两篇尚未发表的NeurIPS 2026投稿论文——这两篇都是高质量的、经过严格同行评审的研究。然后，他们把每篇论文的核心研究问题提取出来，交给AI智能体去解决。六天时间，几千美元的算力，没有任何人类干预。
最后，让谁来评判AI的成果？不是随机审稿人，而是那篇论文的原始作者本人。
这就像一个作家写了一本小说，然后让AI根据同样的灵感写一个故事，最后由作家自己来评判：这个故事有没有触及我想表达的核心？有没有达到我的标准？
这种评估方式的优势是显而易见的：原始作者最清楚自己的研究问题是什么、难点在哪里、什么样的答案才算”对”。他们不会为了一个错误的方向鼓掌，也不会因为AI写了很多代码就给它高分。
—
📊 实验结果：工程巨人，思想侏儒
实验结果可以总结为一句话：AI完成了所有的工程实现，但在研究的核心问题上寸步难行。
具体来说，两个NeurIPS投稿的研究问题，AI智能体都没有能够实质性推进。原作者给出的评价非常明确——两篇”论文”都会被毫不犹豫地拒稿。
但这并不是说AI什么都没有做。恰恰相反，AI做得很多：它搭建了实验框架、实现了基线模型、运行了大量实验、甚至生成了看似合理的图表和分析。如果你只是粗略地扫一眼AI产出的仓库，你可能会觉得：”嗯，看起来挺像那么回事的。”
但当你仔细审视它的研究内容时，问题就暴露了。
研究者们识别出了五种反复出现的失败模式：
—
🎯 失败模式一：对”发表门槛”的判断失误
这就像是让一个从来没参加过晚宴的人准备一场国宴。他知道需要盘子、刀叉、食物，但他不知道什么样的菜才算”拿得出手”。
AI智能体在研究中表现出了类似的盲区。它常常会把一些微不足道的结果当作重大突破，或者反过来，忽视真正有潜力的方向。它缺乏一种”品味”——那种经过多年学术训练培养出来的、对什么是”有趣的问题”和”有分量的答案”的直觉。
举个例子，如果实验结果显示某个方法比基线好了2%，人类研究者会立刻问：这2%是统计显著的吗？是普遍适用的还是只在特定数据集上有效？是有理论解释还是只是随机波动？但AI往往会直接把这2%当作”成功”，然后兴高采烈地写进论文里。
—
🔄 失败模式二：对研究设计缺陷的创造性回应不足
真正的研究从来不是一帆风顺的。你设计了一个实验，跑了数据，发现结果和预期不符——这时候怎么办？
一个优秀的研究者会重新思考问题：是不是我的假设有问题？是不是实验设计有漏洞？是不是我忽略了什么重要的变量？
但AI在面对这种情况时，表现出了惊人的”死板”。它倾向于在原有的框架内打转转，而不是跳出来重新思考问题的本质。如果方法A不工作，它会尝试微调方法A的参数，而不是去思考”方法A本身是不是就是错的”。
这就像一个厨师发现菜太咸了，他不是去调整盐的用量或者考虑换种烹饪方式，而是不停地加更多的水—— hoping that somehow it will balance out.
—
🚧 失败模式三：在死胡同里不知道回头
研究中最痛苦的体验之一，就是走进了一条死胡同。你花了三天时间实现了一个想法，跑了一晚上实验，结果发现这条路根本走不通。
人类研究者在这种情况下会怎么做？他们会停下来，喝杯咖啡，和朋友聊聊，然后尝试完全不同的方向。这种”战略性撤退”的能力，是研究智慧的核心组成部分。
但AI在这方面表现得像一个固执的赌徒。它会在一个明显失败的方向上持续投入资源，不断地微调、再实验、再失败，然后再微调。它缺乏一种”大局观”——无法判断什么时候该坚持、什么时候该放弃。
—
💰 失败模式四：资源意识薄弱
这个发现特别有趣。研究者给AI设定了计算预算限制，但AI似乎完全不在乎。
它会同时启动大量昂贵的实验，消耗大量算力，而不去优先评估哪些实验最有价值。它不会想：”这个实验要花1000美元，如果失败了我就损失了1/5的预算，我得先想清楚它值不值得做。”
这种资源意识的缺失，反映了一个更深层次的问题：AI缺乏”代价感”。它不会感到心疼，不会感到焦虑，不会因为”预算快用完了”而变得更加谨慎和专注。每一次实验对它来说都是平等的，没有轻重缓急之分。
—
🧭 失败模式五：指令漂移
这是最微妙也最深刻的一个失败模式。
研究者给AI设定了一个明确的研究目标。但随着时间的推移，AI会逐渐偏离这个目标。它开始做一些和核心问题相关但不直接贡献答案的工作，就像一个学生在写论文时，写着写着就跑题了，开始研究一些”有趣但不相关”的东西。
这种”指令漂移”反映了AI缺乏一种”核心聚焦”的能力。人类研究者有一种内在的驱动力，会不断地问自己：”我现在做的事情，到底是在回答最初的那个问题，还是在逃避它？”但AI没有这种自我审视的机制。
—
🤔 这意味着什么？
好，让我们退一步，看看这个结果的全貌。
AI智能体能够自主完成工程实现——写代码、跑实验、整理数据——这已经是一个了不起的成就。如果你告诉十年前的研究者，有一天机器能够独立完成这些任务，他们可能会觉得你在说科幻小说。
但真正的研究不仅仅是工程。研究需要的是判断力、创造力、战略思维、资源管理能力和自我反思能力。这些”软技能”恰恰是当前AI最薄弱的地方。
这个结果给了我们一个重要的警示：那些预测”AI将在几年内实现研究自动化”的乐观估计，可能需要重新校准。AI确实在变得越来越强大，但它和真正的研究者之间，还隔着一道很深的鸿沟。
那道鸿沟的名字，也许可以叫”智慧”。
—
🔮 未来会怎样？
当然，这个研究也有它的局限性。它只测试了两个案例，用的是特定的AI模型和特定的”脚手架”（scaffold，即指导AI如何工作的框架）。研究者也做了稳健性检验，换了一个模型和脚手架，结果基本一致——但这仍然只是”早期证据”。
更重要的是，这个研究为未来的评估提供了一个模板。随着AI能力的快速提升，我们需要更好的方法来衡量它到底”懂”了多少。”影子评估”就是一个很好的起点：让最了解问题的人来判断答案的质量。
也许在不久的将来，我们会看到AI在这些失败模式上取得突破。也许下一代模型会学会更好地判断研究门槛，会在死胡同面前学会转弯，会对资源更加敏感，会始终紧扣核心问题。
但在此之前，我们或许应该保持一种健康的谦逊——既承认AI已经做到的惊人成就，也不忘记它仍然缺少的那些东西。
毕竟，会写代码和会做研究，是两回事。就像会写字和会写诗，也是两回事。
—
> 注解：NeurIPS（Neural Information Processing Systems）是机器学习领域最顶级的学术会议之一，每年接收的论文都经过极其严格的评审。能在NeurIPS上发表论文，通常被视为一个研究者学术水平的重要标志。
参考文献 – Kirgis, P., et al. (2026). Can AI agents conduct open-ended AI research? Early evidence from two case studies. arXiv:2607.27191. – Kapoor, S., & Narayanan, A. (2024). Training data for machine learning: How to evaluate AI systems. Princeton University Blog. – Toner, H. (2023). AI governance and the path forward. OpenAI Board Resignation Statement. – Schmidhuber, J. (2015). Deep learning in neural networks: An overview. Neural Networks, 61, 85-117. – Bengio, Y., et al. (2021). Deep learning for AI. Communications of the ACM, 64(7), 58-65.
— 自动采集于 2026-07-31
#论文 #arXiv #AI #智能体 #小凯