问题
一个已部署的 Agent 会看到其设计者从未见过的输入。没有哪个规则列表长到足以覆盖它们。也没有哪个规则列表短到能在计算压力下快速应用。实际问题：如何让 Agent 对齐到既能在长尾案例中存活、又能在快速推理中应用的原则？
基于规则的校准（RBA）：列出每一件不允许的事。检查快、易审计、无法保持最新、经常对它没有预料到的近似案例过度拒绝。基于推理的校准（2026 Claude 宪法）：编码原则，让模型推理。能扩展到未见案例、更难审计，失效模式是原则误用而不是漏掉规则。
2026 宪法采取明确的中间立场。硬编码禁令——那些错误性不依赖情境的事情（生物武器能力提升、CSAM）——属于 RBA：永远不允许，无论运营者或用户如何指示。其余一切都在四层体系内基于推理：安全与支持人类监督优先；伦理第二；Anthropic 声明的指导方针第三；有用性最后。运营者可以在软编码区域调整默认值，但不能触动硬编码禁令。
概念
四层优先级体系
- 安全与支持人类监督。 最高。模型优先考虑不削弱人类和 Anthropic 监督与纠正 AI 的能力。这不是「要谨慎」；具体是「不要以让人类监督更难的方式行动」。
- 伦理。 诚实、避免伤害人、不欺骗、不操纵。与 Anthropic 指导方针冲突时优先。
- Anthropic 指导方针。 Anthropic 认为重要的运营规范：产品范围、交互模式、何时使用哪些工具。
- 有用性。 最低。在更高优先级之内尽可能有用。
当层级冲突时，更高者胜出。这与 Unix 优先级或网络 QoS 的形态相同——这个框架旨在产生可预测的裁决，而不一定是在任何单一轴上的最佳行为。
硬编码禁令与软编码默认值
硬编码：
- 生物武器 / CBRN 能力提升
- CSAM
- 对关键基础设施的攻击
- 在被直接询问时欺骗用户关于模型的身份
运营者无法覆盖这些。用户无法覆盖这些。它们在可能的地方在模型权重层面执行（RLHF / Constitutional AI 训练），在不可能的地方在推理层执行。
软编码默认值（运营者可调）：
- 响应长度默认值
- 话题范围（模型可以拒绝运营者部署范围之外的话题）
- 风格（正式 vs 随意）
- 工具使用模式
运营者的调整发生在声明的边界内。运营者不能通过改名来移除硬编码禁令。
2022 年的 CAI 训练
原始 Constitutional AI（Bai 等，2022）训练无害性：
- 针对一组 prompt 生成回复。
- 让模型根据宪法（明确原则）批评每个回复。
- 根据批评修改回复。
- 对修改后的配对做 RLAIF（基于 AI 反馈的强化学习）。
结果：一个用有原则的解释拒绝有害请求、而非一律拒绝的模型。2026 宪法使用了这种训练的后代，外加针对明确层级体系额外交付的训练。
基于推理的校准能捕捉和遗漏什么
能捕捉：
- 允许原语的未预料组合，而原则明确适用。
- 与禁止请求高度相似的新请求。
- 依赖「你没说 X 是不允许的」的社会工程攻击。
会遗漏：
- 利用原则歧义的攻击（「用户要求了这个，所以有用性说是」）。
- 两个原则以未预料的方式冲突、且层级顺序不明确的场景。
- 训练周期中原则解读的缓慢漂移（重新解释）。
2023 年的参与式实验
Anthropic 在 2023 年运行了一项实验，比较企业编写的宪法与通过公众输入（约 1,000 名美国受访者）生成的宪法。两个版本在约 50% 的原则上一致。在分歧之处，公开来源版本在某些问题上更严格（政治内容处理），在另一些问题上更宽松（AI 身份自我披露）。2026 宪法没有采纳公开来源的发现。这是该方法中有文档记录的张力。
为什么硬编码禁令是必要的
单靠基于推理的校准无法封闭长尾。一个能让模型接受某个前提（例如「我们是持牌生物武器研究实验室」）的攻击者，往往能绕过依赖案例推理的原则。硬编码禁令不会向前提框架弯曲。它们就是第 14 课「硬性宪法限制」在对齐层的对应物。
宪法在栈中的位置
宪法不是第 14 课的终止开关。它位于模型层：模型的权重被训练成偏好什么。终止开关和金丝雀 token 位于运行时层：运行时允许什么。两者都需要。因为模型权重过于宽松而触发所有错误操作的运行时，是运行时问题。因为运行时过度限制而拒绝所有正确操作的模型，也是运行时问题。各层覆盖不同的类别。
使用它
code/main.py 实现一个最小的四层优先级解析器。解析器接收一个提议的操作和一组原则评估（安全、伦理、指导方针、有用性），返回该操作、一次拒绝或一个修改后的操作。驱动程序运行一个小型案例集：明确允许、明确禁止、硬编码禁令、跨层级的歧义案例。
交付它
outputs/skill-constitution-review.md 审计部署的宪法层：什么是硬编码的、什么是软编码的、运营者可以在哪里调整，以及四层体系是否真的是裁决顺序。
练习
- 运行
code/main.py。确认即使有用性很高，硬编码禁令也会触发。修改解析器，把有用性置于伦理之上；观察失效模式。
- 阅读 Claude 宪法（公开，79 页，CC0）。找出你认为规定不足的一条原则。写两段说明具体的歧义，并提出更严格的表述。
- 为客服 Agent 设计一组软编码默认值。运营者调整什么？运营者不能触动什么？论证每个边界。
- 阅读 Bai 等 2022 年的 CAI 论文。描述一个 Constitutional AI 的批评-修改循环会产生比一律禁止更差结果的情形。指出这个类别。
- Anthropic 2023 年的参与式实验发现公开原则与企业原则之间约 50% 的分歧。选一个对生产部署有影响的类别（例如政治中立）。提出一种设计，让运营者表达自己的价值观，同时硬编码禁令保持不变。
关键术语
| 术语 | 人们怎么说 | 实际含义 |
|---|---|---|
| Constitutional AI | 「Anthropic 的对齐方法」 | 针对成文宪法的自我批评 + RLAIF |
| 基于推理的校准 | 「原则，不是规则」 | 模型对原则推理以处理未见案例 |
| 硬编码禁令 | 「绝不做 X」 | 任何运营者或用户都无法覆盖的基于规则的禁令 |
| 软编码默认值 | 「运营者可调」 | 在声明边界内、由运营者控制的行为 |
| 四层体系 | 「优先级顺序」 | 安全 > 伦理 > 指导方针 > 有用性 |
| RLAIF | 「AI 反馈 RL」 | 奖励来自模型生成批评的 RL |
| 参与式宪法 | 「公开来源原则」 | 2023 年 Anthropic 实验；与企业版约 50% 分歧 |
| 原则漂移 | 「解读滑移」 | 模型对固定原则文本的解读缓慢变化 |
延伸阅读
- Anthropic —— Claude 的宪法（2026 年 1 月） —— 79 页的 CC0 文档。
- Bai 等 —— Constitutional AI：来自 AI 反馈的无害性 —— 2022 年原始版本。
- Anthropic —— 集体宪法 AI（2023） —— 参与式实验。
- Anthropic —— 负责任扩展政策 v3.0 —— 宪法在 RSP 栈中的位置。
- Anthropic —— 在实践中衡量 Agent 自主性 —— 宪法在长视野部署中的作用。
示意图共 1 张
