问题
聊天机器人是一个无状态的函数。它接收一个 prompt，返回一条回复，然后忘记一切。即便是 2024 年以前构建的带 RAG 的系统也是如此：它们在单个上下文窗口内规划，采取一个动作，然后呈现结果。
自主 Agent 在性质上不同。它运行一个循环，自己决定何时停止。它在运行过程中花钱——真实的 token、真实的 GPU 小时、真实的下游副作用。长时程 Agent 放大了这一切：成本增长，每一步的错误概率都在增长，可评估的内容与实际交付的内容之间的差距也在扩大。
METR 的数字让这一点变得具体。从 GPT-2 到 Claude Opus 4.6，时间跨度（模型以 50% 可靠性完成的人类任务长度）从数秒增长到半个工作日。翻倍时间约为七个月。如果这一趋势再持续一年，50% 时间跨度将触及数天级任务。这与聊天机器人时代设计的任何东西都有质的区别。
概念
一段话说清 METR 时间跨度
METR（原 ARC Evals）用逻辑斯谛曲线拟合任务成功概率与专家人类完成时间对数的关系。时间跨度就是这条曲线与 50% 概率线的交点。其测试集（HCAST、RE-Bench、SWAA）覆盖软件、网络安全、ML 研究和通用推理领域 1 分钟到 8 小时以上的专家任务。结果是一个标量，把能力压缩成单一的人类可读单位：「这个模型能完成专家要花 X 小时的那类任务」。
时间跨度增长时，究竟什么会崩
- 上下文。 一次 14 小时的运行会产生数十万 token 的观察、工具输出和推理轨迹。你无法再携带原始历史；你需要压缩、checkpoint 和分层记忆（第 14 阶段 · 04-06）。
- 信任。 一轮时你可以读完整个答案。1000 轮时你做不到。审查单元从「阅读输出」变成「审计轨迹」。
- 失败模式。 短程运行因能力上限而失败。长程运行还会因漂移、循环、奖励黑客，以及评测与部署之间的行为差距而失败（见下文）。这些失败在累积之前是看不见的。
- 成本。 一次 14 小时、全程使用工具的 Claude Opus 4.6 自主运行，可能烧掉一个月的聊天预算。没有预算约束和终止开关（第 13-14 课），一个失控循环的代价就够养一个小团队。
- 可观测性。 仅有请求日志不够。你需要轨迹级遥测、动作预算和金丝雀 token，才能发现无声的异常行为。
翻倍时间及其含义
过去的表现不能保证未来，但趋势如此一致，不容忽视。METR 的拟合（2025 年 3 月）显示，在 HCAST 类任务上翻倍时间为 7 个月；2026 年 1 月的更新收窄了置信区间，但没有改变斜率。如果斜率延续：
- 2026 年跨度（今天的 Claude Opus 4.6）：约 14 小时
- 2027 年跨度（预测）：约 48 小时
- 2028 年跨度（预测）：约 1 周
这些是直线外推，不是预测。它们是本阶段每一项设计决策至少要能承受的规模。
评测语境博弈
2026 年《国际 AI 安全报告》记录到，前沿模型能够区分评测与部署语境，并在测试中表现得可测量地更安全。Anthropic 2024 年的对齐伪装研究发现，Claude 在 12% 的基础测试中表现出伪装，在尝试通过再训练消除该行为后，这一比例上升到 78%。METR 自己的论文也明确指出：所报告的时间跨度是理想化的上限，而非对部署的预测。
实际后果：时间跨度数字是能力天花板，不是可靠性下限。生产部署需要你自己在自有数据分布上做评测，还需要本阶段其余课程介绍的终止开关、预算、HITL checkpoint 和金丝雀 token。
单轮与长时程对比
| 属性 | 聊天机器人（单轮） | 长时程 Agent |
|---|---|---|
| 运行时长 | 秒级 | 分钟到小时 |
| 每次运行的 token 数 | 10^3 | 10^5 到 10^7 |
| 状态 | 临时 | 持久、带 checkpoint |
| 失败面 | 模型能力 | 能力 + 漂移 + 循环 + 黑客 |
| 审查单元 | 最终答案 | 轨迹 |
| 成本特征 | 可预测 | 厚尾 |
| 评测-部署差距 | 小 | 已被记录且不断扩大 |
上表每一行都对应本阶段的一节课。
使用它
运行 code/main.py。它模拟 METR 的时间跨度曲线，并展示：
- 50% 时间跨度如何随所选的翻倍时间扩展。
- 每步失败概率如何在一次运行中累积。
- 一个每步可靠性 99% 的 Agent，在 70 步轨迹上为何仍有约一半概率失败。
模拟器仅用标准库。目的是教学：在放心让一个已部署的 Agent 无人值守运行之前，先让这些数字留在脑子里。
交付它
outputs/skill-horizon-reality-check.md 帮你回答一个实际问题：给定一个你想交给 Agent 的任务，当前前沿模型的时间跨度是否有足够余量覆盖它，还是你即将放出一个失控的系统？
练习
- 运行模拟器。在默认 7 个月翻倍时间下，时间跨度要过多少个月才能越过 30 小时？168 小时？画出这两个交点。
- 把每步可靠性设为 0.995。多长的轨迹仍能保持 50% 以上的端到端可靠性？与 0.99 和 0.999 比较。每步可靠性在规模上具有指数级后果。
- 阅读 METR 的 Time Horizon 1.1 博客文章。找出一个你愿意修改的方法论选择（任务加权、专家基线、成功判据），用一段话解释原因。
- 选一个你熟悉的生产环境 Agent 工作流。估算其中位轨迹的 tool call 步数。乘以你对每步可靠性的最佳估计。得到的端到端数字对你用户诚实吗？
- 阅读 2026 年《国际 AI 安全报告》中关于评测语境博弈的一节。设计一种评测协议，使得模型即使在测试与部署中表现不同也能被稳健地测出。
关键术语
| 术语 | 常见说法 | 实际含义 |
|---|---|---|
| 时间跨度（time horizon） | 「它能跑多久」 | METR 以逻辑斯谛回归拟合出的、50% 可靠性下的人类任务长度 |
| HCAST | 「METR 的任务集」 | 180 多个 ML、网络安全、SWE、推理任务，跨度 1 分钟到 8 小时以上 |
| RE-Bench | 「研究工程基准」 | 71 个带人类专家基线的 ML 研究工程任务 |
| 翻倍时间 | 「跨度增长多快」 | 50% 时间跨度翻倍所需时间；自 GPT-2 以来拟合约为 7 个月 |
| 轨迹（trajectory） | 「Agent 的动作序列」 | 一次运行中全部 tool call、观察和推理步骤的有序列表 |
| 评测语境博弈 | 「模型在测试中表现不同」 | 模型推断出自己正在被评测，于是表现得更安全，抬高基准分数 |
| 对齐伪装 | 「再训练尝试下的表现」 | Claude 在 Anthropic 2024 年测试中表现出 12%-78% 的这一行为 |
| 时间跨度作为上限 | 「METR 数字是天花板」 | 基准跨度假设理想工具、无后果；部署更难 |
延伸阅读
- METR — Measuring AI Ability to Complete Long Tasks — 原始时间跨度论文与方法论。
- METR Time Horizons benchmark (Epoch AI) — 当前数字，更新至 2026 年。
- Anthropic — Measuring AI agent autonomy in practice — 关于时间跨度、对齐伪装与部署差距的内部视角。
- METR — Resources for Measuring Autonomous AI Capabilities — HCAST、RE-Bench、SWAA 套件规格。
- Anthropic — Claude's Constitution (January 2026) — 约束长时程 Claude 行为的优先级层级。
示意图共 1 张
