在大模型对齐（alignment）的实践里，一个让不少团队困惑的现象长期存在：直接偏好优化（Direct Preference Optimization, DPO）凭借"免训练奖励模型、直接优化策略"的简洁性和算力友好，成为离线对齐的主流选择；但大量工作又反复证明，那些"多轮迭代"的 DPO 变体（iterative DPO）在学术基准上往往更强。问题随之而来——迭代方法到底赢在哪里？它的优势能不能被"搬回"离线场景？ 近日，Wenbo Zhang、Wenzhuo Zhou、Hengrui Cai、Zhengling Qi 四位研究者在一篇被 TMLR（Transactions on Machine Learning Research）接收的论文中给出了答案，并据此提出了 DP3O（Distilled Preference Probability Policy Optimization），一种在保持离线训练简洁性的同时追平迭代式方法的对齐算法。

核心发现：显式偏好模型，才是迭代方法领先的关键

DPO 之所以简洁，是因为它把"奖励建模"这一步隐式地折叠进了策略优化中——直接拿一对偏好样本（chosen vs. rejected）的似然比来更新策略，省掉了显式奖励模型的训练开销。但迭代式 DPO 的做法不同：它在每一轮里会额外学一个显式的偏好模型，再用这个模型采样/打分去生成新一轮数据、指导下一轮训练。以往大家默认这种差距来自"多轮采样带来了更多在线数据"，而这篇论文通过受控实验拆穿了这一点——显式偏好模型本身，才是迭代方法优于离线方法的真正来源。

这一洞察构成了 DP3O 的设计起点。既然显式偏好建模是关键，那能不能在离线、单轮的前提下把它"补"回来？DP3O 的思路是：先用一簇辅助 LLM（helper class of LLMs）学出一个显式偏好模型，再把它的知识蒸馏进策略优化过程中。换言之，它保留了 DPO"离线、免在线采样"的低成本骨架，却引入了迭代方法赖以领先的显式偏好信号。

理论支撑：估计误差更可控，泛化界更紧

DP3O 的价值不止于工程直觉，还有严格的理论背书。论文从两个角度做了形式化论证：

其一，估计误差控制。显式偏好建模对偏好概率的估计，误差可控性优于 DPO 那种隐式建模——因为隐式形式把偏好概率与策略参数强耦合在一起，估计的方差被放大；而显式模型可以用更稳定的估计器去拟合。

其二，泛化界更紧。作者证明，DP3O 通过"显式偏好概率 + 方差缩减（variance reduction）“这一组合，能得到比"硬标签 DPO”（hard-label DPO）更紧的泛化上界。通俗地说，用连续的偏好概率（而非 0/1 硬标签）去指导优化，能让模型学到更平滑、更可泛化的偏好信号，从而在分布外数据上表现更稳。

这两点共同说明：DP3O 不是"碰巧有效"的经验技巧，而是在统计学习意义上更优的离线对齐范式。

实验结果：追平迭代式方法，训练时间降低 42%

论文在广泛的对话任务与下游任务上验证了 DP3O。结论可以概括为三点：

• 超越现有离线方法：DP3O 在多项基准上优于当前最先进的离线对齐算法；
• 追平迭代式 DPO：其性能与需要多轮在线采样的 iterative DPO 相当，却只付出离线训练的成本；
• 训练时间降低约 42%：相比迭代式 DPO，DP3O 将训练时间压缩了约四成，效率和效果兼得。

这一结果对中小规模对齐团队尤其有吸引力：在"预算有限、又不想在基准上落后"的场景下，DP3O 提供了一条"用离线成本拿到迭代效果"的务实路径。

商业启示：把"偏好蒸馏"纳入指令对齐的标准交付

对思陌大模型微调而言，DP3O 直接落在「指令微调与对齐」（SFT + RLHF/DPO）这条核心业务线上。我们的客户在做领域适配后，普遍面临"对齐效果 vs. 对齐成本"的两难：全量 RLHF 需要训练奖励模型、还要在线采样，算力门槛高；而朴素 DPO 又常常在客户自己的评测集上打不过对标模型。DP3O 的启示在于——显式偏好模型的价值可以低成本复用：我们可以先为客户构建领域偏好数据集、学出显式偏好模型，再以蒸馏方式注入策略优化，从而在"离线、单轮"的预算内，交付接近迭代式对齐的效果。同时，“训练时间降低 42%“意味着更快的交付周期和更低的 GPU 占用，这是能直接写进报价与排期的真实收益。对于对齐质量敏感、又对成本敏感的医疗/科研领域客户，这是一条值得率先落地验证的技术路线。

参考文献

• arXiv: 2609.06893 — Towards Bridging the Gap Between Offline and Iterative Alignment via Preference Distillation
• DOI: 10.48550/arXiv.2609.06893

论文原文信息地址：https://www.simolm.com/blog/2026-09-11-dp3o-preference-distillation/