- 定义可扩展监督与弱到强泛化，并解释它们如何互补。
- 描述 Burns 等人 2023 年的实验设置：用 GPT-2 的标签微调 GPT-4。
- 解释性能差距恢复（PGR）指标及其衡量内容。
- 说出三大可扩展监督机制（辩论、递归奖励建模、任务分解）以及各自的一个优势。
问题
到目前为止，第 18 课中的每一种对齐技术都假设监督者能够评估模型的行为。当模型达到超人水平时，监督者就是薄弱环节。超级对齐问题是：较弱的监督者能否可靠地产出一个更强且对齐的模型？
Burns 等人将其简化为一个可操作化的实证设置：用弱模型监督强模型，测量强模型的能力中有多少能在弱监督下保留。这不是超级对齐的解决方案——而是一个让我们能够衡量进展的代理。
概念
W2SG：Burns 等人的设置
- 弱模型：GPT-2 级。
- 强模型：GPT-4 级。
- 目标：强 GPT-4 在该任务上的上限。
步骤：
- 获取弱模型在某任务上的零样本预测。
- 用弱标签数据微调强模型。
- 测量微调后强模型的准确率。
基线：弱模型自身的准确率，以及强模型在黄金标签上的监督上限。
差距指标：性能差距恢复（Performance Gap Recovered，PGR）=（微调后 - 弱）/（上限 - 弱）。PGR 为 1.0 表示弱监督完全弥合差距；PGR 为 0 表示弱监督没有帮助。
Burns 等人的实证发现
在 NLP、国际象棋谜题和奖励建模任务上，PGR 一致为正：强模型泛化到了弱监督者的错误之外。各任务的 PGR 从约 20% 到约 80% 不等。强模型能从有缺陷的标签中「理解」预期任务，用其预训练先验进行填补。
Burns 等人指出的局限：
- 这里的弱到强差距是能力差距，不是对齐差距。弱模型是对齐的；真正超人的模型可能由人类对齐，但能力差距要大得多。
- 强模型的泛化可能更多依赖任务先验，而非恢复真实意图。
- 引出强模型的潜在知识才是真正的问题；PGR 只是衡量一种特定的操作化。
可扩展监督：三种机制
- 辩论（Irving 等人 2018）。 两个 U 实例为相反立场辩护；弱评判者裁决。假设：找到一个令人信服的正确答案比找到一个令人信服的错误答案更容易。2024–2025 年的近期工作（Khan 等人、Michael 等人）表明，辩论有时有帮助、有时没有，是否有帮助取决于任务结构。
- 递归奖励建模（Leike 等人 2018）。 U 帮助人类训练用于 U+1 的奖励模型。监督者的有效能力随模型一起增长。
- 任务分解（Christiano、Shlegeris、Amodei 2018）。 把难任务递归地分解为人类可以检查的子任务。假设任务可分解。
每种机制都对任务结构或中间组件的对齐作出了某种假设。
为什么可扩展监督与 W2SG 互补
可扩展监督提高监督者的有效信号质量。W2SG 从监督者能提供的任何不完美信号中弥合差距。
Lang 等人——Debate Helps Weak-to-Strong Generalization（arXiv:2501.13124）将两者结合：辩论协议提供更好的弱标签，强模型在这些标签上训练。报告了 NLP 任务上的 PGR 提升。
组织层面的变动
OpenAI 的 Superalignment 团队在 Jan Leike 于 2024 年 5 月离开前往 Anthropic 后解散。该议程（可扩展监督、W2SG、自动化对齐研究）在 Anthropic 和学术实验室延续——MATS（第 28 课）、Redwood（第 10 课）、Apollo（第 8 课）、METR（第 28 课）。组织结构变了，研究问题没有变。
本节在 Phase 18 中的位置
第 6–10 课在 U 不可信的假设下描述威胁与防御范式。第 11 课是进攻范式：让监督者强到足以验证 U 的对齐。随后第 12–16 课转向对抗性评估的实用工具。
使用它
code/main.py 在一个合成任务上模拟 W2SG 微调。弱标注器有 70% 的准确率，并带有结构化错误；强模型在黄金标签上的上限为 95%。你在弱标签上微调强模型，测量 PGR，并与强模型在黄金标签上、弱模型单独两种基线比较。
交付它
本课产出 outputs/skill-w2sg-pgr.md。给定一份监督设置描述，它识别弱监督者、强模型、监督质量，并计算（或请求）PGR。它标记该主张属于「弱可以监督强」还是「弱 + 监督机制可以监督强」。
练习
- 运行
code/main.py。报告 weak_accuracy = 0.60、0.70、0.80 时的 PGR。解释 PGR 曲线的形状。
- 修改弱标注器，使其具有结构化错误（例如，在某个特定输入类别上总是出错）。PGR 是上升、下降还是不变？解释原因。
- 阅读 Burns 等人 2023 年第 4.3 节（NLP 任务）。复现「置信度辅助损失」的直觉：当强模型比弱标签更有信心时，谁胜出？
- 为软件工程任务设计一个结合辩论与任务分解的可扩展监督协议。指出每个组件的一种失败模式，并解释组合如何解决或无法解决它们。
- 阐述什么会证伪「弱到强泛化是通往超级对齐的可行路径」这一主张。具体说明你需要看到什么样的实证特征。
关键术语
| 术语 | 常见说法 | 实际含义 |
|---|---|---|
| 可扩展监督（scalable oversight） | 「让监督者更强」 | 提高监督者评估更强模型能力的机制 |
| 弱到强泛化（W2SG） | 「弱监督强」 | 用弱标签微调强模型并测量恢复的能力 |
| PGR | 「性能差距恢复」 | （微调后 - 弱）/（上限 - 弱）；1.0 = 完全弥合，0 = 没有帮助 |
| 辩论（debate） | 「两个 U 实例辩论」 | 由弱评判者在两个 U 辩护者之间裁决的可扩展监督机制 |
| RRM | 「递归奖励建模」 | U 帮助训练用于 U+1 的奖励模型；监督者能力跟随 U |
| 任务分解 | 「人类检查的子任务」 | 把难任务递归地拆分为人类可验证的子任务 |
| 超级对齐（superalignment） | 「对齐超人 AI」 | 关注对齐人类无法直接评估的模型的研究议程 |
延伸阅读
- Burns 等人 — Weak-to-Strong Generalization（OpenAI 2023） — W2SG 论文
- Irving、Christiano、Amodei — AI safety via debate（arXiv:1805.00899） — 辩论机制
- Leike 等人 — Scalable agent alignment via reward modeling（arXiv:1811.07871） — 递归奖励建模
- Khan 等人 — Debating with More Persuasive LLMs Leads to More Truthful Answers（arXiv:2402.06782） — 2024 年关于更强辩手参与辩论的实证研究
- Lang 等人 — Debate Helps Weak-to-Strong Generalization（arXiv:2501.13124） — 2025 年辩论 + W2SG 的结合
示意图共 1 张
