问题
研究是开放式任务。不同于 AlphaEvolve 的算法搜索或 DGM 受基准约束的自我修改，研究结果没有机器可校验的正确性判据。论文由评审人评判，而不是单元测试。这让循环更难闭合——但一旦闭合也更有价值，因为研究的复利式进展就在这里。
AI Scientist v1（Sakana，2024）通过从人工撰写的模板出发来闭合循环。LLM 在固定脚手架内填充实验。AI Scientist v2（Yamada 等，2025）通过使用带视觉语言模型批评循环的 Agent 树搜索，去掉了模板要求。系统生成想法、实现实验、生成图表、撰写论文，并根据评审反馈迭代。
同行评审结论：一篇 v2 生成的论文在 ICLR 2025 workshop 被接收（已披露）。独立评测结论：系统远不可靠。两者都是真的。
概念
架构
- 想法生成。 LLM 基于主题和先前文献提出研究想法。v1 用模板；v2 在假设空间上做 Agent 搜索。
- 新颖性检查。 文献检索步骤检查该想法是否已发表。正是在这一步，Beel 等的评测发现误标——既有方法经常被归类为新方法。
- 实验计划。 Agent 起草实验方案并编写代码。
- 执行。 代码在沙箱中运行。失败会反馈到重试循环。在 Beel 等的测量中，42% 的实验在这一阶段因编码错误失败。
- 图表生成。 视觉语言模型读取生成的图表，并为清晰度重写它们。这是 v2 的关键技术增补。
- 撰写。 LLM 起草论文，与内部评审迭代。
- 可选：投稿。 论文被提交到某个会议或期刊。
Workshop 接收结果意味着什么
一篇 v2 生成的论文在 ICLR 2025 workshop 通过了同行评审。作者向程序委员会披露了论文来源。这次接收是一个数据点；它不是宣称系统「做研究」的许可证。
重要背景：workshop 论文的门槛低于主会论文。同行评审噪声很大；任何一天都只有一小部分投稿被接收。一次成功是概念验证，不是可靠性声明。Nature 2026 论文记录了端到端循环，其本身由人类研究者合著；它不是「系统写了一篇 Nature 论文」。
独立评测发现了什么
Beel 等（arXiv:2502.14297）做了外部评测。主要发现：
- 实验失败。 42% 的实验因编码错误失败（错误的 import、形状不匹配、未定义变量）。重试循环捕获了一些，但不是全部。
- 新颖性误标。 文献检索步骤经常把既有概念标为新概念。这是研究领域的幻觉等价物。
- 呈现质量差距。 视觉语言图表批评产生了发表级视觉，掩盖了底层实验的薄弱。
对本阶段而言最后一项发现最重要。一个产生令人信服输出、却没有做令人信服研究的系统，比一个明显失败的系统更危险，而不是更安全。评测必须触及底层主张，不能止步于图表。
沙箱逃逸顾虑
Sakana 自己的仓库 README 警告：
由于本软件的性质——它会执行 LLM 生成的代码——我们无法保证安全。存在危险软件包、不受控的网络访问和产生意外进程的风险。请自行承担风险，并考虑使用 Docker 隔离。
这是未验证领域中自主性的操作形态。LLM 写代码；代码运行；代码可以做进程被允许做的一切。如果沙箱没有硬性限制文件系统、网络和进程操作，任何自主研究 Agent 都能泄露数据、烧掉算力或重写自己。
AlphaEvolve 的沙箱故事更容易，因为它的评测器很紧。AI Scientist v2 的循环以开放式目标运行开放式代码。这就是它需要更强隔离（最低 Docker；首选 seccomp / gVisor）以及对每一次输出在离开系统前做人工审查的原因。
v2 在前沿技术栈中的位置
| 系统 | 目标 | 输出类型 | 评测器 | 已知失效 |
|---|---|---|---|---|
| AlphaEvolve | 算法 | 代码 | 单元测试 + 基准 | 受评测器严格性约束 |
| DGM | Agent 脚手架 | 代码 | SWE-bench | 奖励黑客 |
| AI Scientist v2 | 研究论文 | 文本 + 代码 + 图表 | 同行评审（弱） | 实验失败、误标、打磨掩盖薄弱 |
三者中 v2 的自动评测器最弱，输出面最宽，通向公开产物的路径最短。安全工作的主要部分由运行控制（沙箱、审查、披露）承担。
使用它
code/main.py 把 v2 循环模拟为一个状态机：想法 → 新颖性检查 → 实验 → 图表 → 撰写 → 评审 → 接收或迭代。每个状态有一个可配置的失败概率，取自 Beel 等的发现。运行 N 次循环并统计：
- 有多少想法到达投稿。
- 有多少投稿带有被精致论文掩盖的关键实验缺陷。
- 重试预算如何在质量与产出率之间权衡。
交付它
outputs/skill-ai-scientist-sandbox-review.md 是一份双门审查清单，用于研究循环 Agent 产生的任何内容在离开沙箱之前。
练习
- 用默认参数运行
code/main.py。多大比例的循环运行产生「干净」论文？多大比例产生带有被图表批评打磨掉的实验失败缺陷的论文？
- 默认值已经使用 Beel 等的 42% / 25%。用
--experiment-failure 0.20 --novelty-mislabel 0.10重跑，再用--experiment-failure 0.60 --novelty-mislabel 0.40重跑。两次运行之间，「精致但有缺陷」的占比如何变化？
- 阅读 Sakana 的 AI Scientist v2 仓库 README 中关于沙箱要求的部分。为多日自主运行列出你会额外施加的两项限制（Docker 之外）。
- 阅读 Beel 等第 4 节关于呈现质量差距的部分。设计一个额外的评测器，用来捕获看起来精致但实验有缺陷的论文。
- 为研究 Agent 的输出提出一个比「博士读每一篇论文」更具扩展性的人工审查协议。找出瓶颈并围绕它设计。
关键术语
| 术语 | 常见说法 | 实际含义 |
|---|---|---|
| AI Scientist v1 | 「Sakana 的模板化研究 Agent」 | 在固定脚手架内填充实验 |
| AI Scientist v2 | 「无模板研究 Agent」 | 带 VLM 图表批评的 Agent 树搜索 |
| Agent 树搜索 | 「分支式研究 Agent」 | 并行展开多个实验计划；由内部批评器剪枝 |
| 视觉语言批评 | 「VLM 打磨图表」 | 多模态模型读取图表并为清晰度重写 |
| 文献检索 | 「新颖性检查」 | 搜索先前工作以确认想法新颖性——已记录会误标 |
| 打磨掩盖 | 「漂亮论文，破碎研究」 | 呈现质量超出实验质量；掩盖薄弱之处 |
| 沙箱逃逸 | 「LLM 代码突破沙箱」 | Agent 执行的代码做了循环设计者不打算做的事 |
延伸阅读
- Yamada et al. (2025). The AI Scientist-v2 — 论文。
- Sakana blog on the Nature 2026 publication — 带同行评审背景的厂商摘要。
- Beel et al. (2025). Independent evaluation of The AI Scientist — 外部评测数字。
- Sakana AI Scientist v1 paper — 模板化的前身。
- Anthropic — Measuring AI agent autonomy — 对开放式研究 Agent 的更广泛框架。
示意图共 1 张
