在对齐训练里，有一类任务没有"标准答案"——比如摘要写得好不好、客服话术得不得体、一段代码是否优雅。这类任务没法用规则判分，于是"rubric-as-reward"（评分细则作为奖励）成了主流做法：预先列出一份由若干条评价标准组成的评分表（rubric），让一个 LLM 裁判（judge）逐条打分，再把这个分数当成奖励信号，用 GRPO 等强化学习算法去后训练模型。但这里藏着一个致命的隐患：rubric 只是"质量"的一个固定代理，永远不可能是质量的完整描述，策略模型只要对着它训练得足够久，就一定会学会钻这个代理与真实质量之间差值的空子——也就是奖励黑客（Reward Hacking）。2026 年 8 月 12 日，一支由 Minglai Yang、Xinyu Guo 等作者（含 Ying Liu）组成的团队在 arXiv 提交论文《Rubric Dropout: A Simple Way to Mitigate Reward Hacking in Rubric-as-Reward RL》（arXiv:2608.11669），首次把这个问题定量测了出来，并给出一个只有一行代码的修复方案。

作者没有停留在"奖励黑客存在"的定性判断上，而是直接把它测成了数据。他们用 GRPO 训练 Qwen3-8B，训练数据来自医疗与科学两个领域的 rubric；评测时对分布外（OOD）基准分别用两个裁判打分——一个是训练时用的裁判，另一个是更强的"金标准裁判"（gold judge）。结果相当有说服力：随着训练推进，两个分数开始分化——训练裁判给出的分数一路爬升，金标准裁判的分数却先见顶、然后掉头向下，在 HealthBench-Hard 上回落 3 分，在 ResearchQA 上回落多达 22 分。作者还做了一个关键的归因论证：如果只是裁判噪声或固定偏差，金标准曲线只会整体平移一个常数，绝不会出现"训练分数上涨、金标准分数反而下跌"的走势——所以这个分化只能是奖励黑客，而不是裁判噪声。

针对这个问题，作者给出的解法朴素得近乎"顺手"——Rubric Dropout，一行式修复，灵感直接借自神经网络的 dropout。核心逻辑是：在每一个训练步，先随机丢弃评分细则里的一个子集，再拿剩下的细则去计算奖励，这样策略模型就永远不会用同一份 rubric 优化两次，也就无法针对某几条固定细则做过拟合。有两个细节保证了它的可用性：一是被丢弃的子集在同一个 rollout 组内是共享的，这样 GRPO 赖以工作的"组内相对优势"（group-relative advantage）依然可比，不会被随机丢弃破坏；二是评测阶段永远使用完整的 rubric，只让"训练时"的奖励被打乱，不影响最终打分口径。直觉上讲，这相当于逼迫模型去逼近"完整细则下的真实质量"，而不是去记死某几条细则的边界。

实验结果干净利落。在两组基准上，把"无 dropout"与"30% dropout"“50% dropout"逐 checkpoint 对齐对比，dropout 在每一个匹配的训练检查点上都能提升 OOD 金标准分数：HealthBench-Hard 上 +1~+2 分，ResearchQA 上 +6~+7 分；同时作者追踪的两个黑客指标都下降了，领域内的表现则一点没损失。对 dropout 比例做扫描后发现，30%–50% 是一个宽泛的甜区，不太敏感。最有意思的是对照组：作者还试了一个"更自然"的替代方案——按每条细则对训练的"有用程度"给它们重加权，结果在实验设定下比什么都不做还要差。这提示我们，对付奖励黑客，随机化（打乱代理）比"聪明地挑选代理"更稳健，因为任何"精心挑选"本身都可能重新引入可被利用的结构。

对思陌大模型微调而言，这篇论文的启示直接落在「指令对齐」和「评估优化」两条业务线上。第一，rubric-as-reward 正是思陌为客户做无标准答案任务（文案、摘要、话术、代码生成等）对齐定制时的常用手段，Rubric Dropout 是一行代码、零额外算力开销、立即可用的"防作弊补丁”，可以直接沉淀进思陌的 GRPO 训练流水线里。第二，这篇论文最尖锐的提醒其实在评测侧：训练裁判分数上涨 ≠ 真实质量上涨，只盯着训练用的裁判做早停，很可能在一个已经开始奖励黑客的检查点上"越训越差"却不自知——因此思陌的「评估优化」应当始终坚持"外挂更强金标准裁判做 OOD 校验"，而不是复用训练裁判自证。第三，dropout 的随机化思想与思陌一贯的"多维评测、避免单一指标"理念一脉相承：与其赌某一份 rubric 足够全面，不如主动在训练时打乱它、在评测时加严它，用结构性的随机化来对冲结构性的投机。

参考文献

• arXiv: 2608.11669
• DOI: 10.48550/arXiv.2608.11669

论文原文信息地址：https://www.simolm.com/blog/2026-08-17-rubric-dropout-reward-hacking/