强化学习（Reinforcement Learning）配合可验证奖励（RLVR）已经成为提升大语言模型数学推理能力的主流后训练手段。然而一个长期被忽视的问题是：当一道题目超出模型当前能力、所有采样轨迹都失败时，模型拿不到任何学习信号，这批题目就被"结构性地浪费"了。可恰恰是这些"解不出的题"，才是最有价值的训练前沿。来自 Yukang Zhu 与 Zhen Han 的论文《Unlocking the Unsolvable: Teacher-Guided Curriculum for Data-Efficient RLVR》（Findings of EMNLP 2026 接收）给出了解法：用更强模型的"部分推理轨迹"当老师，配合课程学习，仅用 128 道无解难题，就匹配甚至超过了在 2000 题全集上训练的 GRPO，数据效率提升约 16 倍。

核心问题：无解难题为何被浪费

在标准 RLVR 流程中，模型对每道题做多次采样（rollout），只有最终答案正确才得到正向奖励，否则为负。当一道题对当前模型来说太难、所有采样都答错时，模型接收到的奖励是"全负"，梯度无法区分哪条轨迹更好，因此这道题无法产生有效的学习信号。论文把这类题目称为"不可解问题"（unsolvable problems），并指出它们虽然"惰性"（inert），却位于最前沿的难度边界——训练的意义本该是在这里突破，而非在已会做的题上重复打磨。

这一观察直接指向一个实践痛点：RLVR 的数据构成决定了训练效率的天花板。如果语料里大量是模型已经会做的题，训练收益很低；真正能带来能力跃迁的，恰恰是那批"现在做不出、但离会做只差一步"的题目。问题在于，如何让这些题目"可解"、从而重新进入有效的训练循环。

方法：教师引导 + 反向链式课程

论文的核心思路叫教师引导课程学习（Teacher-Guided Curriculum）。具体做法是：让一个更强的模型（教师）为每道难题生成部分推理轨迹（partial reasoning traces）——不直接给最终答案，而是只"扶"前几步，把一道原本无解的题拆成一个"有难度梯度"的阶梯。

配合的是反向链式课程（backward-chaining curriculum）：训练初期，教师提供较长的引导片段，学生只需补齐最后几步；随着训练推进，逐步撤回引导，让学生承担越来越多的推理步骤，直到完全独立求解。

这套设计的关键在于"梯度的难度梯度"——它不是简单地把难题换成易题，而是把同一批难题按引导长度改造成难度递增的版本，让模型在"最近发展区"内持续获得有效梯度。相比传统课程学习（通常在样本间按难度排序），这种"同题内递进"的方式更直接地对准了"能力边界"这一概念。

实验：128 题打平 2000 题

论文在两个基座模型上做了对照实验。核心结论相当醒目：

• 数据效率：仅用 128 道无解难题训练，在九项基准（nine-benchmark average）的平均成绩上，匹配甚至超过了 GRPO 在完整 2000 题语料上的表现，数据效率提升约 16 倍。
• 推理边界扩展：在 pass@k（大 k 值） 指标上，教师引导课程显著扩大了模型的推理边界，即模型在多次采样下能解出的题目范围明显变宽。
• 稳定性：两个基座模型上结论一致，说明方法不依赖特定模型。

作者还发现了一个需要警惕的副作用——分布偏移代价（distribution-shift cost）：当训练数据"只有无解题"时，模型容易过度适应这一特殊分布，在已会做的题上出现退化。为此论文提出了单调前沿课程（Monotone Frontier Curriculum, MFC），在训练中单调地把优化目标推向"无引导求解"，缓解了这种偏移。实验显示，MFC 在多数设定下一致优于现有的课程学习方法。

行业启示

这篇工作对"数据工程"和"指令对齐"两个技术方向都有直接启发。

对数据工程而言，它揭示了一个反直觉的事实：RLVR 数据集的"质量"不等于"规模"。与其堆砌大量模型已会做的题，不如精准筛选出"当前能力边界之外一步"的难题，并用教师模型做引导标注——这是把有限的标注预算花在刀刃上。对指令对齐与强化学习而言，课程学习提供了超越"均匀采样"的优化路径：通过控制引导的递进节奏，让对齐信号始终落在有效区间，避免梯度浪费。

回到实践层面，这套"教师引导 + 反向链式 + 单调前沿"的组合，为领域大模型训练中"高质量 RL 数据稀缺、标注成本高"的痛点提供了可复用的解法：用少量、精准、有梯度的难题，撬动接近全量数据的训练效果。

相关问题

Q：RLVR 里的"无解难题"为什么会被浪费？

A：RLVR 只在最终答案正确时给正向奖励。当一道题超出模型能力、所有采样都答错时，奖励全为负，模型无法区分哪条轨迹更好，因此产生不了有效梯度，这批题目就被"结构性浪费"了。

Q：教师引导课程学习是怎么让难题"可解"的？

A：用一个更强的模型当"教师"，为每道难题只生成前几步的"部分推理轨迹"，把它拆成有难度梯度的版本；再通过反向链式课程逐步撤回引导，直到学生能独立求解。这样难题重新进入了有效训练循环。

Q：LoRA 微调和 RLVR 是什么关系？

A：两者是不同层面的技术。LoRA（低秩自适应）是一种参数高效微调方法，通过冻结原模型、只训练低秩增量矩阵来适配下游任务，常用于监督微调（SFT）阶段；RLVR 则是强化学习阶段的训练范式，用可验证的最终答案当奖励信号来优化策略。实际管线中，两者常组合使用：先 LoRA 做 SFT 打底，再上 RLVR 做对齐与推理强化。

参考文献

• arXiv: 2609.13997
• DOI: 10.48550/arXiv.2609.13997

论文原文信息地址：https://www.simolm.com/blog/2026-09-25-teacher-guided-curriculum-rlvr/