问题
当一篇论文声称「我们的多 Agent 系统更好」时，问题在于：比什么更好、在什么任务上更好、怎么衡量？2023-2024 年的多 Agent 评估是一片混乱 —— 每个人都选自己的指标、自己的基线、自己的任务集。2025-2026 年的基准给出了结构。
没有共享基准，就无法有意义地比较两个多 Agent 系统。更糟的是，没有留出基准，前沿模型可能发生数据污染。到 2025 年中，SWE-bench Verified 已在训练语料中被部分污染；前沿分数虚高；Pro 被设计为不受污染的现实检验。
本课列举 2026 年的五个经典基准，说明每个基准衡量什么，并教你以怀疑的态度阅读基准声明。
概念
MultiAgentBench（MARBLE）—— ACL 2025
arXiv:2503.01935。在研究、编码和规划任务上评估四种协调拓扑（星形、链形、树形、图）。基于里程碑的 KPI 追踪部分进展，而不仅是最终成功。
实测结果：
- 图（Graph） 拓扑最适合研究场景；支持任意节点之间的相互批评。
- 链形（Chain） 最适合逐步细化的编码任务。
- 星形（Star） 最适合快速的事实整合。
- 协调税（coordination tax） 在图拓扑上超过约 4 个 Agent 后出现。
- 认知规划 在所有拓扑上提升约 3% 的里程碑达成率。
使用场景：你想以同等条件比较协调拓扑。MARBLE 仓库（https://github.com/ulab-uiuc/MARBLE）提供了评估器。
COMMA —— 多模态非对称信息
覆盖 Agent 拥有不同观测模态、且必须在信息不完全共享的情况下协调的任务。报告的结果令人不安：包括 GPT-4o 在内的前沿模型在 COMMA 的 Agent 间协作上难以击败随机基线。信号是：多 Agent 模态训练不足、评估不足 —— LLM 能较好地处理单模态合作；多模态协调则会崩溃。
使用场景：你的系统涉及多模态或非对称信息协调。COMMA 的零结果是一个警告：先测量，再声称。
MedAgentBoard —— 领域压力测试
arXiv:2505.12371。四类医疗任务：诊断、治疗规划、报告生成、患者沟通。比较多 Agent、单一 LLM 与传统基于规则的系统。
发现：在大多数类别上，多 Agent 并不优于单一 LLM。多 Agent 的优势很窄 —— 当子任务可清晰分离时（诊断 + 治疗），任务分解有帮助；当协调开销超过专业化收益时（报告生成），它反而有害。
使用场景：你的领域有明确的单一 LLM 基线。如果 MedAgentBoard 的教训可以推广，那么许多拟议的多 Agent 系统都属过度设计。
AgentArch —— 企业架构
arXiv:2509.10769。工具使用、记忆和编排分层叠加的企业场景。基准隔离每一层的贡献：加入工具能带来多少提升？加入记忆呢？加入多 Agent 编排呢？
使用场景：你在设计企业 Agent 栈，需要为每一层给出理由。AgentArch 帮你避免为无法衡量价值的功能买单。
SWE-bench Pro —— 现实检验
arXiv:2509.16941。横跨 41 个仓库的 1865 个问题，覆盖商业应用、B2B 服务和开发者工具。设计目标是在较晚的训练截止时间之后仍然不受污染。前沿模型在 Pro 上约 23%，在 Verified 上超过 70%。这一差距就是污染信号。
2026 年 4 月的分数：
- Claude Opus 4.7 在 Pro 上：64.3%（报告采用显式 Agent 团队协调；Anthropic 尚未发布一手来源 —— 视为初步数据）。
- Verdent（Agent 脚手架）在 Verified 上：76.1% pass@1（技术报告）。
- 无 Agent 脚手架的前沿模型在 Pro 上的原始分数：约 23-35%（SWE-bench Pro 论文）。
要点：「我们击败了 SWE-bench Verified」不再是能力的证据。Pro 是当前的门槛测试。Agent 团队脚手架在 Pro 上带来可测量的增益（约 30-40 分的差距），这是 2026 年支持多 Agent 协调最有力的实证论据之一。
AAAI 2026 WMAC
AAAI 2026 Bridge Program —— 多 Agent 协调研讨会（Workshop on Multi-Agent Coordination，https://multiagents.org/2026/）。这是 2026 年多 Agent AI 研究的社区焦点。录用的论文和研讨会论文集是评估新方法的权威场合；做生产决策时，应优先采信被 WMAC 录用的声明，而非 arXiv 预印本。
以怀疑态度阅读基准声明 —— 2026 年清单
当有人声称某个多 Agent 结果时：
- 哪个基准、哪个划分？ SWE-bench Verified 与 Pro 差别很大。报错划分上的数字毫无价值。
- 污染检查。 该基准是否在模型的训练截止时间之后发布？如果不是，谨慎对待。
- 基线比较。 对比单一 LLM 基线、随机基线、此前的多 Agent 工作。而不是「对比同一系统未调优的版本」。
- 统计显著性。 试验次数 N、p 值、置信区间。前沿模型方差很大；单次运行会误导。
- 任务多样性。 一个任务还是多个任务？泛化对生产很重要。
- 成本披露。 每任务 token 数、实际耗时。20 倍成本换来 90% 的解决方案是商业决策，不是能力声明。
没有任何基准能很好衡量的方面
- 长程协调。 以天计的实际交互时间。当前所有基准运行时间都很短。
- 对抗韧性。 当一个 Agent 恶意或被攻陷时会发生什么？
- 部署漂移。 基准是静态的；生产分布会变化。
- 成本归一化性能。 大多数基准报告原始准确率，而非每美元准确率。
为你真正关心的维度构建内部基准，往往是正确的做法。
构建它
code/main.py 是一个非交互式演练：
- 在一个玩具任务上模拟 3 个多 Agent 系统。
- 为每个系统计算 MARBLE 风格的里程碑指标。
- 通过从「训练」集中扣留任务来运行污染检查。
- 显式地与随机基线比较。
- 打印一份基准声明评分卡。
运行：
bashpython3 code/main.py预期输出：系统评分卡，包含原始准确率、里程碑达成率、每任务成本、相对随机基线的差值，以及一条污染检查说明。
使用它
outputs/skill-benchmark-reader.md 读取任何多 Agent 基准声明并应用审查清单。输出：评级和注意事项。
交付它
生产评估纪律：
- 构建内部基准，反映你真实的生产分布。公开基准提供参考，但不能替代。
- 在每次比较中都包含随机基线。如果在协调任务上无法大幅超越随机，该任务可能本身就有问题。
- 在报告准确率的同时报告成本。 Token 成本和实际耗时。运维团队两者都需要。
- 每季度重建基准。 生产分布会变化；过时的基准会误导。
- 避免对公开基准过拟合。 如果你的团队专门针对 SWE-bench Pro 的数字做优化，生产上就会退步。
练习
- 运行
code/main.py。找出三个模拟系统中每里程碑成本最优的那个。它是否与原始准确率最高的系统一致？ - 阅读 MultiAgentBench（arXiv:2503.01935）。针对你自己的任务领域，判断 MARBLE 会推荐四种拓扑中的哪一种。用论文的结果给出理由。
- 阅读 SWE-bench Pro 论文。具体是什么让它抗污染？同样的技术能否应用到你在意的其他基准？
- 阅读 COMMA 关于多模态协调的发现。设计一个可以加入内部基准的简单多模态协调任务。什么才算有用的信号？
- 把基准声明清单应用到一篇近期多 Agent 论文的头条结果上。你会给这个声明打几分？
关键术语
| 术语 | 人们怎么说 | 实际含义 |
|---|---|---|
| MARBLE | 「MultiAgentBench」 | ACL 2025；星形/链形/树形/图拓扑，带里程碑 KPI。 |
| COMMA | 「多模态基准」 | 多模态非对称信息协调；前沿模型甚至难以击败随机。 |
| MedAgentBoard | 「领域压力测试」 | 四类医疗任务；常发现多 Agent 并不优于单一 LLM。 |
| AgentArch | 「企业基准」 | 工具 + 记忆 + 编排分层。 |
| SWE-bench Pro | 「抗污染」 | 1865 个问题、41 个仓库；约 23% vs Verified 的 70%+（污染信号）。 |
| 里程碑达成率 | 「部分得分」 | 奖励进展而不仅是最终成功的基准。 |
| 污染 | 「基准泄漏进训练数据」 | 基准发布后会漂入训练语料；分数虚高。 |
| WMAC | 「AAAI 2026 Bridge Program」 | 多 Agent 协调研讨会；社区焦点。 |
延伸阅读
- MultiAgentBench / MARBLE —— 带里程碑 KPI 的拓扑基准
- MARBLE 仓库 —— 参考实现
- MedAgentBoard —— 领域压力测试；多 Agent 往往并不占优
- AgentArch —— 企业 Agent 架构
- SWE-bench 排行榜 —— 前沿模型的 Verified 和 Pro 分数
- AAAI 2026 WMAC —— 2026 年社区焦点
示意图共 1 张
