自 LoRA（Low-Rank Adaptation，arXiv:2106.09685）问世以来，它几乎成了大模型微调的事实标准：冻结预训练权重，只在旁路加两个低秩矩阵 A、B，就能以极小参数量逼近全参数微调的效果。但一个始终没被完全填平的问题是——LoRA 和全参数微调之间，仍存在一段稳定的性能差距。围绕"怎么把这段差距压下去"，学界衍生出一整条路线：用预训练权重的梯度信息，把 LoRA 的初始化方向对齐到全参数微调的主方向或本征维度上，代表作包括 PiSSA（用主奇异向量初始化，arXiv:2404.02948）和 LoRA-GA（用单步梯度近似对齐，arXiv:2407.05000）。这些方法确实有效，但它们有一个共同软肋——只用了一步梯度，把梯度当成一个静止的快照，却忽略了训练过程中梯度方向的持续演化。2026 年 8 月 20 日，Haonan He 与 Xinyue Fan 两位研究者在 arXiv 提交论文《LoRA-GA²: Low Rank Adaptation with Multi-step Gradient Adaptive Alignment》（arXiv:2608.19800），正是冲着这个盲区去的。

LoRA-GA² 的出发点很朴素：对齐不该只看第一步，而要看梯度"一路走来的样子"。为此作者提出了三件配套的事。第一件是多步梯度探针（multi-step gradient probe）。在微调启动前的预热阶段，他们用一个小探针去采集预训练权重在多步优化下的梯度信息，把"单步快照"升级成"多步轨迹"。这个探针最巧妙的地方在于不增加任何 GPU 显存、只带来边际时间开销——它复用已有的反向传播过程，不需要额外存一整套优化器状态，因此 LoRA-GA² 在效率上依然贴着原生 LoRA 的水平。第二件是频谱感知、基于重要性的秩分配（spectrum-aware, importance-based rank allocation）。传统 LoRA 给每一层统一分配同一个秩 r，但不同层对下游任务的贡献天差地别。作者用多步梯度估计出每一层梯度矩阵的"谱"——也就是有多少方差被前几个主方向解释——据此把有限的秩预算集中到"梯度谱越集中、越重要"的层，让每一分参数都花在刀刃上。第三件是从多步梯度推导的最优初始化。既然知道了梯度的主方向，就把 A、B 的初始值对齐到这些方向（A 取左奇异向量、B 取右奇异向量并配奇异值缩放），让 LoRA 在第一个训练步就已经站在接近全参数微调的起点上，而不是从零开始"盲猜"方向。

这三件事环环相扣，最终指向同一个目标：让 LoRA 的更新轨迹尽可能贴近全参数微调，同时不牺牲它的效率红利。相比只做单步对齐的 LoRA-GA，LoRA-GA² 的核心增量在于"多步"——它捕捉到了梯度方向随优化步进发生的转动，因而对齐得更稳、更准。

实验数据印证了这条思路的含金量。作者在三大类基准上做了系统对比，LoRA-GA² 无一例外地超越现有 LoRA 变体：在 GLUE 自然语言理解套件上平均领先最强基线 0.66 分；在数学推理基准 GSM8K 上比最强基线高出 1.03 分；在代码生成基准 HumanEval 上再领先 0.87 分。这三组数字放在一起，勾勒出的是一幅"全面小幅压制、处处不输"的图景——它不是靠某一项指标爆表，而是在通用理解、数学、代码三个维度上都稳定地把 LoRA 的天花板往上顶了一小截。更重要的是，这些收益是在"保留原生 LoRA 效率优势"的前提下拿到的：多步梯度探针零额外显存、仅边际时间开销，意味着它可以直接落到生产环境，而不用为了一两个点去重构训练管线（完整对比详见 arXiv:2608.19800 正文表格）。

对思陌大模型微调来说，LoRA-GA² 的价值几乎可以直接换算成交付能力。在「基座模型微调」这条最核心的业务线上，客户下单时最常见的诉求就是"能不能在控制成本的前提下，把效果再往上顶一点"。LoRA-GA² 给的恰恰是一个零显存、低侵入的增量：不改训练框架、不加优化器开销，只在初始化阶段多采几步梯度、按层谱分配一下秩，就能稳定回收零点几到一个点的收益。这非常适合思陌做"从原生 LoRA 到 LoRA-GA²"的增量升级交付。同时，它把"秩分配"从经验拍脑袋变成了一套可计算的频谱准则，也呼应了思陌「领域适配训练」里"同一批预算往哪几层倾斜"的现实决策——尤其在垂直行业语料上，哪些层该多分秩、哪些层可以省，谱分析能给出有依据的答案。方向上，它延续了此前 IFCLoRA（拓扑感知秩分配）这一整条"让 LoRA 更聪明地花钱"的脉络，说明参数高效微调远未到天花板，精细化仍有确定增量可挖。

参考文献

• arXiv: 2608.19800
• DOI: 10.48550/arXiv.2608.19800
• arXiv: 2106.09685（LoRA 原始论文）
• arXiv: 2404.02948（PiSSA）
• arXiv: 2407.05000（LoRA-GA）

论文原文信息地址：https://www.simolm.com/blog/2026-08-22-lora-ga2-multistep-gradient-alignment/