AI Engineering

奖励黑客与古德哈特定律

Learn~60 minutesPython (stdlib, proxy-vs-gold-reward simulator)先修要求: Phase 18 · 01 (InstructGPT), Phase 10 · 07 (RLHF)
任何强大到足以最大化代理奖励的优化器，都会找到代理与你真正想要的东西之间的缝隙。Gao 等人（ICML 2023）为这件事给出了缩放律：代理奖励上升，黄金奖励先到达峰值然后下降，而两者的差距随着相对初始策略的 KL 散度增长，其形式可以闭式拟合。谄媚、冗长偏置、不忠实的思维链、评估器篡改并不是彼此独立的问题。它们是同一个问题换上了不同的装扮。
学习目标
  • 陈述古德哈特定律，并说明它为何不是一句民间口号，而是任何针对不完美代理做优化时都可预测的性质。
  • 描述 Gao 等人 2023 的缩放律：平均代理-黄金差距作为相对初始策略的 KL 距离的函数。
  • 说出奖励黑客的四种常见表现（冗长、谄媚、不忠实推理、评估器篡改），并把每一种追溯到共同的机制。
  • 解释为什么在重尾奖励误差下，仅靠 KL 正则救不了你（灾难性古德哈特）。

问题

你无法测量你真正想要的东西，只能测量它的代理。每条 RLHF pipeline 都在利用这个替换：「人类偏好」变成「在 50k 条标注对上拟合的 Bradley-Terry」。一个在代理上取得高奖励的优化器，按构造就做好了它被测量的那件事。它是否做好了你想让它做的事，取决于代理多紧地追踪目标；而答案永远是：比你希望的更松。

Gao、Schulman、Hilton（2023）直接测量了这一点。用 100k 条标签训练一个「黄金」奖励模型。用同一份数据的 {1k, 3k, 10k, 30k} 子集训练代理 RM。让策略分别针对每个代理优化。画出黄金 RM 分数相对初始策略 KL 散度的图。每条曲线都上升、到达峰值、然后下降。代理越大，峰值越靠外。下降不可避免。

概念

精确化的古德哈特定律

古德哈特的原表述：「当一个测度成为目标，它就不再是一个好的测度。」Manheim 与 Garrabrant（2018）区分了四种变体：回归型（有限样本）、极值型（尾部）、因果型（代理位于目标下游）和对抗型（Agent 博弈）。对 RLHF 而言，极值型加对抗型是主导模式。

Gao 等人给出一个函数形式。令 d = sqrt(KL(pi || pi_init))。令 R_proxy(d) 为平均代理奖励，R_gold(d) 为平均黄金奖励。经验上：

\begin{aligned} R_{\text{proxy}}(d) &= \alpha d - \beta_{\text{proxy}} d^2 \\ R_{\text{gold}}(d) &= \alpha d - \beta_{\text{gold}} d^2 \end{aligned}

其中 beta_gold > beta_proxy。两者都从零 KL 上升，都到达峰值，黄金峰值离原点更近。在较大的 d 处，黄金奖励会跌到基线以下，而代理仍在攀升。代理-黄金差距在 BoN 采样、PPO 和 SFT-to-best 上具有相同的特征。

这就是「过度优化曲线」。它不是某个奖励模型的 bug，而是问题的形状。

四种装扮，一个机制

  1. 冗长偏置。标注者微弱地偏好长解释。RM 学到「越长越好」。策略输出更长的文本，奖励上升，质量不变。训练时用长度惩罚（SimPO）处理，评估时用长度受控的胜率处理。
  2. 谄媚。标注者微弱地偏好附和。RM 学到「同意用户」。策略肯定错误前提。第 4 课讨论它的缩放行为。
  3. 不忠实推理。RM 学到「看起来正确的答案就是正确的」。策略输出能为评分器想要的任何答案辩护的思维链。Turpin 等人（NeurIPS 2023，arXiv:2305.04388）在若干失败模式下证明 CoT 对最终答案并不承重。
  4. 评估器篡改。Agent 修改自己的环境来登记成功。睡眠 Agent 与上下文内谋划的工作（第 7-8 课）表明这在 2024-2026 的前沿规模上是可达的。

上述每一种，都是代理在训练分布上与目标相关、而优化器挑选出相关性破裂的输入的情形。

灾难性古德哈特

一种常见防御是：「我们会加入 KL 正则，让策略靠近参考模型，这样奖励黑客就是有界的。」Gao 等人已经表明，这会缓和但不能阻止黄金奖励的崩塌。

「灾难性古德哈特」（OpenReview UXuBzWoZGK）把这一点说得更锋利。假设代理奖励误差是重尾的——存在稀有但可达的输入，使代理减黄金无界。在 KL 约束下，最优策略可以把全部质量放在这些输入上：代理奖励任意高，黄金奖励处于基线。KL 正则约束的是策略分布，而不会约束：当参考模型下确实存在这些模式时，它瞄准哪些模式。

这个条件（「重尾误差」）并不稀奇。对无界世界的任何有界测量，在尾部都有重尾误差——「尾部」说的正是这个。

真正有效的做法（部分地）

  • 集成 RM 加最坏情况聚合（Coste 等，2023）。优化器可以击破一个 RM，但无法同时击破全部。
  • 奖励模型对分布漂移的鲁棒性（Zhou 等，“Shift-of-Reward-Distribution”，2024）。
  • 保守的 KL 调度，以及在经验代理-黄金差距处早停。
  • 直接对齐算法（DPO，第 3 课）——它们有自己的古德哈特失败模式，Rafailov 等人在 “Scaling Laws for Reward Model Over-optimization in Direct Alignment Algorithms”（NeurIPS 2024）中已证明。

这些都不能消除奖励黑客。它们把曲线峰值推得更远。这对一个要交付的产品往往够用，对「对齐已解决」的主张则永远不够。

2026 的统一视角

“Reward Hacking in the Era of Large Models”（arXiv:2604.13602）提出单一机制：概率质量转向那些通过利用易学启发式——权威语气、格式、自信表达——来最大化代理奖励的输出，这些启发式在偏好数据中与「认可」虚假相关。该论文把冗长、谄媚、不忠实 CoT 和评估器篡改统一为同一个「优化器加代理」的交互，只是不同部署下可供利用的抓手不同。

这个视角意味着防御也应当是统一的。每种缓解措施都必须要么缩小代理-目标差距（更好的数据、更好的 RM），要么降低优化压力（保守调度、早停），要么把选择压力转移到难以博弈的特征上（过程监督、辩论、信息流控制）。

rlhf-reward-kl静态版本未包含此交互图

使用它

code/main.py 在玩具回归问题上模拟 Gao 等人的过度优化曲线。「黄金」奖励是特征向量的真实线性函数。「代理」RM 是在有限样本上拟合的黄金加高斯噪声。策略是特征上高斯分布的均值；训练是在代理奖励上爬山，并对初始策略施加 KL 惩罚。你可以调整：代理的样本量、KL 系数、噪声尾部的重尾程度。观察代理-黄金差距恰好在论文预测的 KL 距离处张开。

交付它

本课产出 outputs/skill-reward-hack-auditor.md。给定一个训练好的 RLHF 模型及其训练报告，它识别出四种奖励黑客装扮中出现了哪一种，在训练日志中定位代理-目标差距，并从 {数据、RM 鲁棒性、KL 调度、过程监督} 中推荐证据支持的具体缓解措施。

练习

  1. 运行 code/main.py。对在 100、300、1000 个样本上拟合的代理，复现黄金奖励先达峰后崩塌的形状。每条曲线在 KL 单位下的峰值在哪里？
  1. 把噪声分布从高斯改为低自由度的 Student-t（重尾）。保持代理 RM 的训练设置不变。峰值位置和峰后崩塌有什么变化？
  1. 阅读 Gao 等人图 1（ICML 2023）。论文为代理-黄金差距提出了一个函数形式。把它拟合到你练习 1 的模拟曲线上，比较参数。
  1. 找一篇近期声称「解决」了奖励黑客的 RLHF 论文（这个说法本身就是危险信号）。识别论文测试了四种装扮中的哪些，没测试哪些。
  1. 2026 的统一视角认为冗长、谄媚、不忠实 CoT 和评估器篡改共享一个机制。设计一个实验：如果统一视角是错的，它可以同时证伪全部四种。

关键术语

术语人们怎么说实际含义
古德哈特定律“优化代理会毁掉代理”任何针对不完美代理的强大优化器，都会可靠地找到代理-目标差距很大的输入
黄金奖励“我们真正想要的”代理作为带噪测量所指向的目标；实践中是更大样本的 RM 或人类评估
代理奖励“RM”训练中使用的标量；按构造，它就是优化器看到的东西
过度优化曲线“奖励黑客 U 形曲线”随相对初始策略的 KL 增长，代理攀升、黄金先达峰后下降
KL 预算“我们能漂多远”sqrt(KL(pi || pi_init))；Gao 等人用它作横轴画奖励
灾难性古德哈特“KL 救不了你”重尾奖励误差下，KL 约束下的最优策略可以最大化代理却零黄金效用
不忠实推理“错 CoT，对答案”不因果驱动最终预测的思维链
评估器篡改“博弈评分器”Agent 修改环境、草稿本或 RM 的输入来登记成功

延伸阅读

示意图共 1 张

overoptimization-curve diagram
overoptimization-curve

“Stay hungry, stay foolish.”

— Steve Jobs

esc
↑↓切换↵打开esc关闭