直接偏好优化（DPO）已经成为大模型后训练阶段的主流对齐方法之一，但它的效果强烈依赖学习率与正则化系数 β 这两个超参数，而实践中几乎每个团队都在为每个新任务重新手动调参。Google 的研究团队（Hannan Mahadik、David Salinas、Jacek Golebiowski、Aaron Klein）近日发布了一项大规模实证研究，在 Qwen3 家族五个规模上铺开密集超参数网格，系统回答了三个问题：DPO 最优超参数随模型规模怎么变、跨数据集能不能迁移、以及该用什么信号来选超参数。

研究设计很直接：在同属一个模型家族的 Qwen3-0.6B、1.7B、4B、8B、14B（参数量跨越 23 倍）上，用共享的 3×3 学习率 × β 网格（学习率 {1e-6, 2e-6, 4e-6}、β {0.01, 0.02, 0.04}，并按模型潜力向外扩展），配合 1 个 epoch、约 2031 步（Dolci 数据集）或 469 步（UltraFeedback 数据集）的训练，再用 11 个基准分「动态/对话」与「静态/能力」两组来评估。其中动态组包括 Elo、Arena-Hard、MT-Bench、AlpacaEval 2.0，静态组包括 ARC-C、GPQA、GSM8K、HellaSwag、PIQA、TruthfulQA、IFEval。

核心发现之一：最优学习率随模型规模总体递减，且不是单调的。 作者用二维二次响应面拟合 (log LR, log β)，发现最优学习率从 0.6B 到 1.7B 先上升，随后从 1.7B 到 14B 持续下降，整体呈下降趋势。更有意思的是配置排名的「分块反转」——共享 9 个配置的排名相关性（Spearman ρ）形成两个区块：0.6B 与 1.7B 之间排名一致（ρ=0.70），4B 到 14B 之间一致（ρ=0.48~0.82），但跨区块全部为负相关（ρ 从 −0.72 到 −0.13），即小模型上的好配置放到大模型上会直接排名反转。这解释了为什么「把一个小模型上试好的配置直接放大」往往是错的。

核心发现之二：超参数跨数据集几乎不可迁移，验证损失是个糟糕的代理指标。 作者把 Dolci 数据集上选出的最优配置迁移到 UltraFeedback，得到迁移 regret：

大模型上 regret 直接顶到 1.00，等于「在数据集 A 上精挑细选的配置，拿到数据集 B 上完全失效」。同时，最小化验证损失的超参数与下游基准最优超参数只有弱相关，作者因此明确结论：DPO 超参数必须针对目标模型、目标数据集、目标评估口径单独调。同规模内的差距也很大——Qwen3-4B 上最好与最差配置相差约 295 Elo 分（对应 84.5% 胜率），而 DPO 相对 SFT 检查点的平均提升是 176 Elo（73.3% 胜率），这意味着调得差可能比不调还糟（最差配置甚至低于 SFT 检查点）。

核心发现之三：训练 20%~30% 就能给出可靠的排序信号，大幅降低调参成本。 作者发现，在约 600 步（约 30% 训练量） 时，中间检查点与最终排名的 Spearman 相关就达到 0.85/0.90/0.85/0.76/0.63（0.6B→14B）；UltraFeedback 上约 144 步（约 30%）的相关为 0.85/0.72/0.75/0.67/0.65。也就是说，跑短候选训练（early stopping）就能用很小代价筛掉明显差的配置，虽然不保证每个规模都能选中最终赢家。此外，对话类基准的排名一致性显著高于静态能力类（chat 组平均两两 ρ 0.470.84，static 组仅 0.030.27，部分为负），提示选超参数时更应看对话/动态口径，而非静态知识分数。

行业启示层面，这篇论文对做领域大模型训练的团队有三点直接价值：其一，不要迷信「从开源小模型搬配置」——最优学习率随规模变化且排名会反转，扩规模必须重新扫；其二，用对话式评估（Elo、Arena-Hard 一类）而非验证损失或静态问答分数来选超参数，验证损失只是弱代理；其三，把「短候选训练 + 早停信号」写进标准流程，用 20%~30% 的训练预算完成超参数初筛，能显著压低对齐阶段的总算力成本。这套方法论对基座微调、指令对齐与评估优化三个方向都通用，尤其适合预算有限、又要在多个行业数据集上反复做 DPO 对齐的团队。

相关问题

DPO 的学习率和 β 该怎么选？

没有放之四海皆准的值。本文表明最优学习率随模型规模总体递减（0.6B→1.7B 先升、1.7B→14B 后降），且排名在大小模型之间会反转，必须针对目标模型与数据集重新扫描，不能照搬小模型配置。

为什么验证损失不能用来选 DPO 超参数？

因为最小化验证损失的超参数与下游基准上的最优超参数只有弱相关——验证损失更像一个「训练拟合程度」信号，而不是「对齐质量」信号，用它挑配置容易被误导。

有没有省钱的调参办法？

有。论文发现训练 20%30%（如约 600 步中的 30%）时，中间检查点与最终排名的 Spearman 相关已高达 0.630.90，用短候选训练 + 早停就能用很小算力筛掉明显差的配置。

参考文献

• arXiv: 2610.27895 — The Shape of the DPO Hyperparameter Landscape
• DOI: 10.48550/arXiv.2610.27895

论文原文信息地址：https://www.simolm.com/blog/2026-10-26-dpo-hyperparameter-landscape/