大模型微调（Fine-Tuning）里，全参数微调一直是"效果上限高、成本也最高"的选择——因为它需要为每个参数保存优化器状态，还要跑完整的反向传播，显存开销往往让中小团队望而却步。来自研究团队的 Zhishen Sun、Hongzhan Wang、Sizhe Dang、Guang Dai、Haishan Ye 在 arXiv 上发布的一项工作（arXiv:2610.06993）给出了一条不同的路径：用进化策略（Evolution Strategies，ES）做全参数微调，全程只用前向计算、不需要反向传播，再叠加一套"难度感知加权"机制，最终在 GSM8K 上把均分从 72.07% 拉到 73.53%，甚至反超了 GRPO 的 73.26%。

方法：把"梯度估计"换成"扰动采样"

传统微调靠反向传播（Backpropagation）逐层求梯度，这意味着激活值、梯度、优化器状态都要驻留显存。进化策略（ES）换了一种思路：它不再求精确梯度，而是在参数空间里随机采样一批"扰动方向"，用每个扰动模型的回报（reward）做加权平均，估计出一个近似的更新方向。因为这个过程只需要前向计算，天然省掉了反向传播带来的显存与计算开销，让全参数微调也能在有限资源上跑起来。

但标准 ES 有一个明显的短板：它把一批问题上的回报做均匀平均，把所有问题层面的群体反馈压缩成一个标量。这样做的代价是——模型能力变了之后，“每个问题还值不值得继续练"这个信息就丢了：已经学会的简单题和始终学不会的难题被一视同仁地计入平均，扰动方向的估计因此被拖累。

核心机制：动态难度状态 + 重加权 + 定向回放

DART-ES（Difficulty-Aware Reweighting and Targeted Replay for Evolution Strategies）正是针对这个短板设计的。它的做法分三步：

• 估计局部可解性：用每个问题在"扰动群体"里的通过率（pass rate）来估计它当前的难易程度，衡量"这个问题模型现在到底会不会做”。
• 聚合历史观测：把多轮训练里积累的可解性观测汇总成一个动态难度状态，让难度判断随时间平滑、稳定，而不是只看当前一步的噪声。
• 难度重加权 + 稀有可解样本回放：用这个共享难度状态，一方面给"正处于学习甜区"的问题更高权重，另一方面把那些"偶尔能解对、但还不稳定"的稀有可解样本挑出来反复回放，提升扰动方向的评估质量与训练数据的分配效率。

关键点是：整个过程不引入额外的难度预测模型，也不需要反向传播，工程上可以直接嵌进现有 ES 流程。

实验数据：全参数微调也能又快又省

论文在多个基座上验证了 DART-ES 的效果，几个核心数字值得注意：

在五个基座模型上，DART-ES 全部优于标准 ES；在五项挑战性数学推理基准上均分 49.20%，与用强化学习（RL）训练的 7B 级强模型保持竞争。扩展到 14B 模型后，在指令微调、代码生成、Countdown 任务上都观察到一致的提升，说明方法有较好的任务泛化与规模扩展能力。

最反直觉的一点是效率：DART-ES 虽然做的是全参数微调，但它的每步耗时和 GPU 显存反而比 GRPO + LoRA 组合还要低。换句话说，在"省资源"这条赛道上，这套纯前向的进化策略路径，绕开了传统全参数微调最大的拦路虎。

行业启示：微调工程多了一条"前向专属"的资源曲线

从大模型微调工程的角度看，这篇工作给"推理部署"和"基座微调"环节提供了一个新选项。其一，在显存受限、难以承受反向传播开销的场景下，进化策略让全参数微调重新变得可行，团队不必被迫在"上 LoRA 省资源"与"全参数保效果"之间二选一。其二，难度感知的样本加权思路对数据工程有直接借鉴价值：与其把预算平摊到所有样本，不如识别"学习甜区"里的样本重点投入，这与课程学习、主动学习的方向一脉相承。其三，评估优化环节需要把"资源-效果"当成交织的变量一起调，DART-ES 提示我们——方法选型不只决定精度上限，也决定了显存与耗时下限。

相关问题

• 进化策略（ES）微调与传统反向传播微调有什么不同？ 反向传播要逐层求梯度，激活值、梯度与优化器状态都得驻留显存；进化策略则在参数空间采样扰动方向，用回报加权平均估计更新方向，只需前向计算、无需反向传播，因此能显著降低全参数微调的显存开销。
• DART-ES 相比标准进化策略（ES）改进了什么？ 标准 ES 把一批问题的回报均匀平均、压缩成单个标量，丢失了"每个问题当前还值不值得练"的信息。DART-ES 通过估计每个问题的局部可解性、聚合历史观测形成动态难度状态，再做难度重加权与稀有可解样本回放，不引入额外模型、也不需要反向传播，把 GSM8K 均分从 72.07% 提升到 73.53%。
• LoRA 微调是什么？DART-ES 与它是什么关系？ LoRA（低秩自适应）是一种参数高效微调（PEFT）方法，只训练少量低秩增量矩阵来适配下游任务，显存开销小。DART-ES 走的是另一条路——全参数微调但用进化策略省资源，论文数据显示它做全参数微调的每步耗时与显存甚至低于 GRPO+LoRA 组合，为资源受限场景提供了除 LoRA 之外的新选项。

参考文献

• arXiv: 2610.06993 — DART-ES: Difficulty-Aware Reweighting and Targeted Replay for Fine-Tuning LLMs with Evolution Strategies
• DOI: 10.48550/arXiv.2610.06993

论文原文信息地址：https://www.simolm.com/blog/2026-10-19-dart-es-evolution-strategy-finetuning/