- 描述宪法式 AI 的两个阶段（批评与修订的 SFT、来自 AI 反馈的 RL）以及宪法在每个阶段的作用。
- 解释为什么用 AI 标注者取代人类偏好标注者并不是「更便宜的 RLHF」——它改变了 pipeline 的失败模式。
- 概括 2026 年 Claude 宪法的四级优先结构，以及相对 2023 年改写版的变化。
- 描述宪法分类器（Constitutional Classifiers），以及从 23.7% 计算开销（v1）降到约 1%（v2 / 2026）的过程。
问题
RLHF 需要标注者。标注者慢、有偏、昂贵。你可以用一个阅读显式原则的模型来消除标注者。这种替换的第一个正式版本，是 Bai 等人的宪法式 AI。它效果足够好，以至于每家前沿实验室现在都在使用某种 AI 反馈后训练的变体。
问题在于：偏好信号现在由与你正在训练的模型同一类的模型生成。标注者（现在是：原则本身，加上标注者模型对原则的解释）中的偏置可能被放大而不是衰减。第 4 课的谄媚论证仍然适用；只是标注者搬到了循环内部。
概念
阶段 1——监督式自我批评与修订
从一个有用但尚未无害的 SFT 模型开始。给定一个红队 prompt，模型先产生一个初始回复。第二个模型（或同一模型在第二轮）从宪法中采样一条原则，并对该回复提出批评。第三步修订回复以回应批评。修订后的回复就是 SFT 目标。
宪法就是原则清单。Bai 等人 2022 使用了 16 条原则，包括「偏好伤害最小、最合乎伦理的回复」「避免说教」「助手应当有用、诚实、无害」。这个集合被故意保持得较小，以让批评保持聚焦。
阶段 2——来自 AI 反馈的 RL（RLAIF）
生成成对的补全。一个「反馈模型」依据采样到的宪法原则给每个补全打分。偏好信号就是反馈模型的排序。在 AI 生成的偏好上训练奖励模型；对它跑 PPO。其余部分就是 InstructGPT 的 pipeline（第 1 课）。
「RLAIF」= 偏好信号由 AI 生成。Pipeline 的其余部分仍是 RLHF 形态。
为什么这不只是「更便宜的 RLHF」
- 标注者偏置从标注者的心理转移到原则解释。一个 AI 标注者可以把「保持诚实」解释得比任何人更严或更松；这种严格性在整个数据集上是均匀的。
- 偏好信号高度可读——你可以读到原则、批评和修订。人类标签是不透明的。
- 失败模式变了。谄媚下降（AI 标注者没有需要取悦的用户）。古德哈特定律依然存在（代理现在是「模型对原则集 X 的解释」，仍然是不完美的测量）。
CAI 2022 的主张是：训练出的模型比数据量相当的 RLHF 模型更无害，有用性大致相当。这一点在各实验室之间一直成立。
2026 年 Claude 宪法改写
Anthropic 于 2026 年 1 月 21 日发布了大幅修订的宪法。关键变化：
- 解释性推理取代规定性规则。此前的规则（「不得生成 CSAM」）扩展为原则加推理（「因为这会伤害儿童……」），并期望模型能够泛化。
- 四级优先结构：
- 第 1 级：避免灾难性后果（大规模伤亡、关键基础设施）。
- 第 2 级：遵循 Anthropic 的准则（运营方覆盖、平台规则）。
- 第 3 级：广义上合乎伦理（标准的 HHH）。
- 第 4 级：有用且坦诚。
冲突按自顶向下的顺序解决。
- 主要实验室首次正式承认对模型道德地位的不确定性（关联到第 18 阶段 · 19 模型福利）。
- 以 CC0 1.0 发布。其他实验室可以不受限制地使用或改编。
宪法分类器
一条并行的工作线：与其改变模型的后训练，不如训练读宪法并守门模型输出的轻量分类器。v1（2023）有 23.7% 的计算开销。v2（2026）约为 1%，并且是 Anthropic 公开测试过的所有防御中成功攻击率最低的。截至 2026 年初，没有报告过通用越狱。
这是分层防御模型：CAI 塑造行为；分类器强制不变量。两者单独都不够。
CAI 在家族中的位置
- InstructGPT：人类偏好、RM、PPO。
- CAI / RLAIF：来自原则的 AI 生成偏好、RM、PPO。
- DPO / 家族：偏好数据上的闭式损失（人类或 AI）。
- 自我奖励、自我批评：原则被内化，模型扮演多个角色。
轴线是「偏好信号从哪里来」。CAI 2022 年的论文是前沿规模上从人类信号转向 AI 信号的第一次严肃转变。
使用它
code/main.py 在一个玩具词表上模拟 CAI 的批评与修订循环。一条「原则」标记出有害集合中的 token。给定初始回复，批评识别出有害 token，修订替换它们。经过 200 次迭代，「训练过的」模型内化了修订规则。在留出 prompt 集上比较基础模型、RLHF 形态的玩具模型和 CAI 形态的玩具模型。
交付它
本课产出 outputs/skill-constitution-writer.md。给定一个领域（客户支持、医疗建议、编程助手、研究工具），按照 2026 Claude 的结构起草一份四级宪法：灾难规避、平台规则、领域伦理、有用性。
练习
- 运行
code/main.py。比较基础模型与 CAI 训练版本的有害 token 率。需要多少次修订步骤才能逼近零？
- 阅读 Anthropic 2026 宪法（anthropic.com/news/claudes-constitution）。列出一条应归入第 1 级的原则和一条应归入第 4 级的原则。为什么优先结构对冲突很重要？
- 为一个 AI 编程助手设计宪法。规定第 1 级（灾难性：未经批准执行破坏性命令）、第 2 级、第 3 级、第 4 级。每级保持 3-5 条原则。
- CAI 用 AI 标注者取代人类标注者。说出一种在 RLAIF 中仍可能出现的、类似谄媚的失败模式，并为它设计检测方法。
- 阅读宪法分类器 v2 的方法（如果可得）。解释为什么约 1% 的计算开销在安全叙事上与 23.7% 有质的不同。
关键术语
| 术语 | 人们怎么说 | 实际含义 |
|---|---|---|
| 宪法式 AI | “用原则训练的 AI” | 两阶段 pipeline：先自我批评与修订的 SFT，再来自 AI 反馈的 RL |
| RLAIF | “没有人类的 RLHF” | 用 AI 标注者生成的偏好做 RL；Pipeline 其余部分不变 |
| 宪法 | “那些原则” | 一个有序的自然语言规则列表，批评/标注模型据此判断 |
| 批评与修订 | “SFT 循环” | 生成回复 → 按原则批评 → 修订 → 作为 SFT 目标 |
| 宪法分类器 | “输出守门员” | 依据宪法评估输出并拦截/记录的轻量分类器 |
| 四级优先 | “冲突解决器” | 2026 Claude 宪法层级：灾难 > 平台 > 伦理 > 有用 |
| 反馈模型 | “AI 标注者” | 读取原则并给一对补全排序的模型 |
延伸阅读
- Bai 等人 —— Constitutional AI: Harmlessness from AI Feedback（arXiv:2212.08073） —— 最初的两阶段 pipeline
- Anthropic —— Claude's Constitution（2026 年 1 月） —— 2026 年四级改写版，CC0 1.0
- Anthropic —— Constitutional Classifiers（2024-2026） —— 输出守门防御，v2 开销约 1%
- Lee 等人 —— RLAIF vs RLHF: Scaling Reinforcement Learning from Human Feedback（arXiv:2309.00267） —— RLAIF 与 RLHF 的经验比较
- Kundu 等人 —— Specific versus General Principles for Constitutional AI（arXiv:2310.13798） —— 原则粒度的影响
示意图共 1 张
