问题
多 Agent 系统在真实任务上的失败率为 41-86.7%(Cemri 等人 2025 年在 7 个开源 MAS 上测得)。这无法靠「多加几个 Agent」来调试。这些失败有结构性原因。MAST 分类法给出了类别。本课把每个类别映射到具体的检测、诊断和缓解模式,让这些数字不再显得随意。
2026 年的生产实践是把失效模式当作设计输入。直到你能指出每个 MAST 类别并说出你部署的缓解措施,你的架构才算「足够好」。
概念
MAST 类别
规范问题(占失败的 41.77%)。 Agent 的任务定义得不够严密。示例:
- 角色歧义:两个 Agent 都认为自己是审查者。
- 任务描述不足:用户想要特定角度时,只说「总结这个」。
- 成功标准隐含:Agent 无法判断自己是否成功。
缓解措施:
- 编写明确的角色契约。每个 Agent 的 prompt 说明它做什么以及不做什么。
- 每个任务配验收测试。在 Agent 开始之前,定义「完成是这样的 X」。
- 起飞前规范检查:由单独的 Agent 在派发前审查任务定义。
协调失败(36.94%)。 沟通或状态中断。
示例:
- 两个 Agent 在未同步的情况下更新共享状态。
- Agent 之间的消息丢失(队列故障、超时)。
- 状态漂移:Agent A 认为任务已完成;Agent B 仍在执行。
缓解措施:
- 带乐观并发的版本化共享状态。
- 关键消息显式确认(重试直到确认)。
- 定期状态同步 checkpoint;尽早检测漂移。
验证缺口(21.30%)。 对输出没有独立检查。
示例:
- 一个 Agent 声称成功;无人验证。
- Agent 链条中每一环都信任前一环的输出。
- 对涌现的组合行为缺少测试覆盖。
缓解措施:
- 独立的验证者 Agent(第 13 课)。只读、可独立访问来源。
- 明确的交接契约:「A 的输出必须通过检查器 C,B 才能开始。」
- 记录结果以供事后分析。
群体思维族(arXiv:2508.05687)
当 Agent 同质化或相互模仿时的五种相关失败:
单一文化崩塌。 相同基础模型或训练数据 → 相关错误。当三个 Agent 共享一个 LLM 时,它们共享它的幻觉。
从众偏差。 Agent 向声音最大或最自信的同伴靠拢,即便对方是错的。
心智理论缺陷。 Agent 无法建模彼此的信念;协作瓦解(第 18 课)。
混合动机动态。 激励部分对齐的 Agent 会漂向折中中间点,结果谁都不满意。
级联可靠性失败。 一个组件的错误模式触发依赖组件中的错误模式。
级联示例 —— 重试风暴
一种经典的 2026 年事故模式:
payment service fails 10% of requests
↓
order agent retries payment (exponential backoff but naive)
↓
each retry is a new order-inventory check
↓
inventory service sees 2x normal load
↓
inventory service starts timing out
↓
every order retries inventory check
↓
inventory service sees 10x normal load
↓
cluster goes down修复办法是经典做法:熔断器。当下游错误率超过阈值时,用缓存或默认结果短路。再加上每个请求的重试预算上限。
熔断器是少数可以直接从分布式系统借用、无需修改的多 Agent 失效缓解措施之一。
记忆投毒(再访)
来自第 13 课:一个 Agent 的幻觉成为共享记忆中的事实;下游 Agent 基于被投毒的事实进行推理。用 MAST 的术语说,这是共享记忆层的验证缺口。
症状是准确率逐渐衰减。你不会得到崩溃;你得到的是难以进行根因分析的缓慢漂移。
缓解:仅追加日志、来源追踪、不可写的验证器。第 13 课已覆盖。
STRATUS —— 用于失效检测的专用 Agent
STRATUS(NeurIPS 2025)报告,当你部署以下 Agent 时,缓解成功率提升 1.5 倍:
- 检测 Agent。 监视症状模式(高分歧、重试激增、准确率漂移)。
- 诊断 Agent。 根据症状,从 MAST 分类法推断可能的根因。
- 验证 Agent。 缓解措施应用后,检查症状是否清除。
这是 SRE 风格的事件响应,应用于 Agent 系统。这三个角色都可以是带专门 prompt 的 LLM Agent。
失效模式审计
2026 年的最佳实践是年度(或每次大版本发布时)做失效模式审计:
- 抽样追踪。 收集约 1000 条真实执行轨迹。
- 归类。 对每条轨迹的失败,映射到 MAST + 群体思维类别。
- 计算各类别失败率。 哪些类别在你的系统中占主导?
- 排列缓解措施优先级。 哪项修复能消除最多失败?
- 选择 2-3 项缓解措施。 实施;下个季度重新审计。
纪律比具体选择更重要。没有审计,失败会融入噪声,永远得不到系统性处理。
当系统静默失败时
最危险的失效类别是静默正确性失败。大声失败(崩溃、异常、告警)的系统可以被监控。产出貌似合理但错误输出的系统无法通过异常日志检测。这就是为什么验证缺口按次数只占 21.30%,却按单次失败计算是最昂贵的类别。
投入于:
- 基于抽样的人工评审。
- 黄金数据集的回归测试。
- 对重要输出做跨 Agent 交叉校验。
失败与慢速失败
有些失败是即时的,有些是缓慢的。即时失败(超时、schema 不匹配、认证错误)检测成本低。慢速失败(记忆投毒、单一文化漂移、角色歧义)检测和预防成本高。
2026 年的工程做法:为慢速失败代理指标加监控,这样你可以在漂移变成可见错误之前捕捉到它。一致率、重试率、输出长度分布,以及连续 Agent 版本之间的编辑距离,都是有用的代理指标。
构建它
code/main.py 实现了:
FailureTaxonomy——将模拟事件归类到 MAST + 群体思维类别。CircuitBreaker——经典模式;错误率超过阈值时打开。RetryStormSimulator——展示级联失败;可开关熔断器。DetectionAgent——脚本化的 STRATUS 风格症状匹配器。
运行:
python3 code/main.py预期输出:
- 没有熔断器的重试风暴:库存错误爆炸式增长(模拟)。
- 有熔断器:封顶于阈值;提供降级模式响应。
- 检测 Agent 标出该模式并指出 MAST 类别。
使用它
outputs/skill-mast-auditor.md 对多 Agent 系统运行 MAST 风格的失效模式审计。轨迹 → 归类 → 缓解措施排序。
交付它
生产中的失效模式纪律:
- 每季度做 MAST 审计。 不是每年。随着系统成长,类别会变化。
- 到处使用熔断器。 对任何依赖服务的每次出站调用。默认打开阈值为 5-10% 错误率。
- 黄金数据集。 小、高质量、人工审核。每周对其做回归测试。
- STRATUS 三件套。 在生产中监控的检测 + 诊断 + 验证 Agent。先从检测 Agent 开始;症状嘈杂时再加入诊断。
- 失败预算。 按类别为失败率设定明确的 SLO。超预算触发停止发布的讨论。
练习
- 运行
code/main.py。确认熔断器能封顶重试风暴。改变失败阈值,观察权衡。 - 实现一个慢速失败代理指标:3 个并行 Agent 之间的一致率。当它急剧下降时触发告警。通过逐渐让 Agent 输出相关来模拟单一文化漂移。
- 阅读 Cemri 等人(arXiv:2503.13657)。从他们的 7 个 MAS 系统中选一个,映射其前 3 个失败类别。这些与 MAST 的预测相比如何?
- 阅读群体思维论文(arXiv:2508.05687)。指出五种模式中哪种最难在生产中检测。提出一个代理指标。
- 为一个你熟悉的具体多 Agent 系统设计 STRATUS 风格的检测-诊断-验证三件套。检测关注哪些症状?诊断推荐哪些缓解措施?验证如何确认它们有效?
关键术语
| 术语 | 常见说法 | 真实含义 |
|---|---|---|
| MAST | 「2026 分类法」 | Cemri 2025;3 个根类别 + 14 个子类型失败。 |
| 规范问题 | 「角色歧义」 | 任务或角色定义不足;Agent 不知道要做什么。 |
| 协调失败 | 「状态漂移」 | Agent 之间的沟通或同步中断。 |
| 验证缺口 | 「无人检查」 | 输出未经独立验证就被接受。 |
| 群体思维族 | 「同质化失败」 | 单一文化、从众、ToM 缺陷、混合动机、级联。 |
| 单一文化崩塌 | 「相同模型,相同幻觉」 | 来自共享基础模型或训练数据的相关错误。 |
| 重试风暴 | 「级联错误放大」 | 一次失败触发重试,向下游放大负载。 |
| 熔断器 | 「按错误率快速失败」 | 错误率超过阈值时打开;用默认值短路。 |
| STRATUS | 「事件响应三件套」 | 检测 + 诊断 + 验证 Agent。缓解成功率 1.5 倍。 |
| 记忆投毒 | 「幻觉传播」 | 共享记忆中的事实被污染;下游 Agent 基于毒素推理。 |
延伸阅读
- Cemri 等人 — 多 Agent LLM 系统为何失败? — MAST 分类法,NeurIPS 2025
- 多 Agent LLM 中的群体思维失败 — 单一文化、从众,以及五族分类法
- STRATUS — 面向 MAS 事件响应的专用 Agent — NeurIPS 2025 会议录条目(检测 + 诊断 + 验证)
- Release It! — 稳定性模式(Nygard) — 熔断器的经典参考
- Anthropic — 多 Agent 研究系统 — 生产失效模式笔记