失效模式 —— MAST、群体思维、单一文化与级联错误

Learn~75 minutesPython (stdlib)先修要求: Phase 16 · 13 (Shared Memory), Phase 16 · 14 (Consensus and BFT), Phase 16 · 15 (Voting and Debate Topology)
2026 年的参考分类法是 MAST(Cemri 等人,NeurIPS 2025,arXiv:2503.13657),它基于 7 个最先进开源 MAS 的 1642 条执行轨迹,显示 41–86.7% 的失败率。三个根类别:规范问题(41.77%)——角色歧义、任务定义不清;协调失败(36.94%)——沟通中断、状态不同步;验证缺口(21.30%)——缺少校验、缺少质量检查。群体思维(Groupthink)族(arXiv:2508.05687)补充了:单一文化崩塌(相同基础模型 → 相关失败)、从众偏差(Agent 相互强化错误)、心智理论缺陷、混合动机动态、级联可靠性失败。级联示例:重试风暴——支付失败触发订单重试,订单重试触发库存重试,库存重试压垮库存服务(数秒内负载达 10 倍——需要熔断器)。记忆投毒:一个 Agent 的幻觉进入共享记忆,下游 Agent 将其当作事实;准确率逐渐衰减,使根因诊断十分痛苦。STRATUS(NeurIPS 2025)报告通过专门的检测/诊断/验证 Agent,缓解成功率提升 1.5 倍。本课把失效模式作为一等工程目标来处理。

问题

多 Agent 系统在真实任务上的失败率为 41-86.7%(Cemri 等人 2025 年在 7 个开源 MAS 上测得)。这无法靠「多加几个 Agent」来调试。这些失败有结构性原因。MAST 分类法给出了类别。本课把每个类别映射到具体的检测、诊断和缓解模式,让这些数字不再显得随意。

2026 年的生产实践是把失效模式当作设计输入。直到你能指出每个 MAST 类别并说出你部署的缓解措施,你的架构才算「足够好」。

概念

MAST 类别

规范问题(占失败的 41.77%)。 Agent 的任务定义得不够严密。示例:

  • 角色歧义:两个 Agent 都认为自己是审查者。
  • 任务描述不足:用户想要特定角度时,只说「总结这个」。
  • 成功标准隐含:Agent 无法判断自己是否成功。

缓解措施:

  • 编写明确的角色契约。每个 Agent 的 prompt 说明它做什么以及不做什么。
  • 每个任务配验收测试。在 Agent 开始之前,定义「完成是这样的 X」。
  • 起飞前规范检查:由单独的 Agent 在派发前审查任务定义。

协调失败(36.94%)。 沟通或状态中断。

示例:

  • 两个 Agent 在未同步的情况下更新共享状态。
  • Agent 之间的消息丢失(队列故障、超时)。
  • 状态漂移:Agent A 认为任务已完成;Agent B 仍在执行。

缓解措施:

  • 带乐观并发的版本化共享状态。
  • 关键消息显式确认(重试直到确认)。
  • 定期状态同步 checkpoint;尽早检测漂移。

验证缺口(21.30%)。 对输出没有独立检查。

示例:

  • 一个 Agent 声称成功;无人验证。
  • Agent 链条中每一环都信任前一环的输出。
  • 对涌现的组合行为缺少测试覆盖。

缓解措施:

  • 独立的验证者 Agent(第 13 课)。只读、可独立访问来源。
  • 明确的交接契约:「A 的输出必须通过检查器 C,B 才能开始。」
  • 记录结果以供事后分析。

群体思维族(arXiv:2508.05687)

当 Agent 同质化或相互模仿时的五种相关失败:

单一文化崩塌。 相同基础模型或训练数据 → 相关错误。当三个 Agent 共享一个 LLM 时,它们共享它的幻觉。

从众偏差。 Agent 向声音最大或最自信的同伴靠拢,即便对方是错的。

心智理论缺陷。 Agent 无法建模彼此的信念;协作瓦解(第 18 课)。

混合动机动态。 激励部分对齐的 Agent 会漂向折中中间点,结果谁都不满意。

级联可靠性失败。 一个组件的错误模式触发依赖组件中的错误模式。

级联示例 —— 重试风暴

一种经典的 2026 年事故模式:

payment service fails 10% of requests
   ↓
order agent retries payment (exponential backoff but naive)
   ↓
each retry is a new order-inventory check
   ↓
inventory service sees 2x normal load
   ↓
inventory service starts timing out
   ↓
every order retries inventory check
   ↓
inventory service sees 10x normal load
   ↓
cluster goes down

修复办法是经典做法:熔断器。当下游错误率超过阈值时,用缓存或默认结果短路。再加上每个请求的重试预算上限。

熔断器是少数可以直接从分布式系统借用、无需修改的多 Agent 失效缓解措施之一。

记忆投毒(再访)

来自第 13 课:一个 Agent 的幻觉成为共享记忆中的事实;下游 Agent 基于被投毒的事实进行推理。用 MAST 的术语说,这是共享记忆层的验证缺口。

症状是准确率逐渐衰减。你不会得到崩溃;你得到的是难以进行根因分析的缓慢漂移。

缓解:仅追加日志、来源追踪、不可写的验证器。第 13 课已覆盖。

STRATUS —— 用于失效检测的专用 Agent

STRATUS(NeurIPS 2025)报告,当你部署以下 Agent 时,缓解成功率提升 1.5 倍:

  • 检测 Agent。 监视症状模式(高分歧、重试激增、准确率漂移)。
  • 诊断 Agent。 根据症状,从 MAST 分类法推断可能的根因。
  • 验证 Agent。 缓解措施应用后,检查症状是否清除。

这是 SRE 风格的事件响应,应用于 Agent 系统。这三个角色都可以是带专门 prompt 的 LLM Agent。

失效模式审计

2026 年的最佳实践是年度(或每次大版本发布时)做失效模式审计:

  1. 抽样追踪。 收集约 1000 条真实执行轨迹。
  2. 归类。 对每条轨迹的失败,映射到 MAST + 群体思维类别。
  3. 计算各类别失败率。 哪些类别在你的系统中占主导?
  4. 排列缓解措施优先级。 哪项修复能消除最多失败?
  5. 选择 2-3 项缓解措施。 实施;下个季度重新审计。

纪律比具体选择更重要。没有审计,失败会融入噪声,永远得不到系统性处理。

当系统静默失败时

最危险的失效类别是静默正确性失败。大声失败(崩溃、异常、告警)的系统可以被监控。产出貌似合理但错误输出的系统无法通过异常日志检测。这就是为什么验证缺口按次数只占 21.30%,却按单次失败计算是最昂贵的类别。

投入于:

  • 基于抽样的人工评审。
  • 黄金数据集的回归测试。
  • 对重要输出做跨 Agent 交叉校验。

失败与慢速失败

有些失败是即时的,有些是缓慢的。即时失败(超时、schema 不匹配、认证错误)检测成本低。慢速失败(记忆投毒、单一文化漂移、角色歧义)检测和预防成本高。

2026 年的工程做法:为慢速失败代理指标加监控,这样你可以在漂移变成可见错误之前捕捉到它。一致率、重试率、输出长度分布,以及连续 Agent 版本之间的编辑距离,都是有用的代理指标。

a5-retry-cascade静态版本未包含此交互图

构建它

code/main.py 实现了:

  • FailureTaxonomy——将模拟事件归类到 MAST + 群体思维类别。
  • CircuitBreaker——经典模式;错误率超过阈值时打开。
  • RetryStormSimulator——展示级联失败;可开关熔断器。
  • DetectionAgent——脚本化的 STRATUS 风格症状匹配器。

运行:

python3 code/main.py

预期输出:

  • 没有熔断器的重试风暴:库存错误爆炸式增长(模拟)。
  • 有熔断器:封顶于阈值;提供降级模式响应。
  • 检测 Agent 标出该模式并指出 MAST 类别。

使用它

outputs/skill-mast-auditor.md 对多 Agent 系统运行 MAST 风格的失效模式审计。轨迹 → 归类 → 缓解措施排序。

交付它

生产中的失效模式纪律:

  • 每季度做 MAST 审计。 不是每年。随着系统成长,类别会变化。
  • 到处使用熔断器。 对任何依赖服务的每次出站调用。默认打开阈值为 5-10% 错误率。
  • 黄金数据集。 小、高质量、人工审核。每周对其做回归测试。
  • STRATUS 三件套。 在生产中监控的检测 + 诊断 + 验证 Agent。先从检测 Agent 开始;症状嘈杂时再加入诊断。
  • 失败预算。 按类别为失败率设定明确的 SLO。超预算触发停止发布的讨论。

练习

  1. 运行 code/main.py。确认熔断器能封顶重试风暴。改变失败阈值,观察权衡。
  2. 实现一个慢速失败代理指标:3 个并行 Agent 之间的一致率。当它急剧下降时触发告警。通过逐渐让 Agent 输出相关来模拟单一文化漂移。
  3. 阅读 Cemri 等人(arXiv:2503.13657)。从他们的 7 个 MAS 系统中选一个,映射其前 3 个失败类别。这些与 MAST 的预测相比如何?
  4. 阅读群体思维论文(arXiv:2508.05687)。指出五种模式中哪种最难在生产中检测。提出一个代理指标。
  5. 为一个你熟悉的具体多 Agent 系统设计 STRATUS 风格的检测-诊断-验证三件套。检测关注哪些症状?诊断推荐哪些缓解措施?验证如何确认它们有效?

关键术语

术语常见说法真实含义
MAST「2026 分类法」Cemri 2025;3 个根类别 + 14 个子类型失败。
规范问题「角色歧义」任务或角色定义不足;Agent 不知道要做什么。
协调失败「状态漂移」Agent 之间的沟通或同步中断。
验证缺口「无人检查」输出未经独立验证就被接受。
群体思维族「同质化失败」单一文化、从众、ToM 缺陷、混合动机、级联。
单一文化崩塌「相同模型,相同幻觉」来自共享基础模型或训练数据的相关错误。
重试风暴「级联错误放大」一次失败触发重试,向下游放大负载。
熔断器「按错误率快速失败」错误率超过阈值时打开;用默认值短路。
STRATUS「事件响应三件套」检测 + 诊断 + 验证 Agent。缓解成功率 1.5 倍。
记忆投毒「幻觉传播」共享记忆中的事实被污染;下游 Agent 基于毒素推理。

延伸阅读

示意图共 1 张

mast diagram
mast

“Stay hungry, stay foolish.”

— Steve Jobs

esc
↑↓切换↵打开esc关闭