大模型微调选哪种 PEFT 方法？LoRA/DoRA/PiSSA/OFT 六法性能与遗忘横向对比解析
论文横向对比 LoRA、DoRA、PiSSA、OFT 等六种参数高效微调方法，发现 LoRA 遗忘最少、DoRA 平均任务分数更高、PiSSA 保留成本更大，并指出评估几何约束应看功能后果而非谱保持本身。
研究背景
参数高效微调（Parameter-Efficient Fine-Tuning，PEFT）是大模型微调领域最主流的省显存路线：冻结预训练主干、只训练一小撮新增或重参数化的参数，用极低的成本把通用模型适配到新任务上。过去几年，低秩自适应（LoRA）及其大量变体层出不穷，DoRA、PiSSA、OFT 等方法各有各的"卖点"。
但一个根本问题始终没有说清：这些方法在方法学和功能上到底有没有本质区别？ 它们的参数化方式如何影响任务性能、灾难性遗忘、以及预训练权重几何结构的变化？
来自 Yikuan Li、Pinyan Lu、Fanghui Liu 的研究团队在 2026 年 10 月 6 日发布的论文 Are Parameter-Efficient Fine-tuning Methods Really Different? 中，在语言模型和扩散模型上系统对比了六种 PEFT 方法，试图回答这个问题。
核心方法
论文的切入点是正交微调（OFT）的"谱保持"（spectrum-preserving）设计——OFT 通过正交矩阵变换刻意保留预训练权重的奇异值谱，声称这是它保持泛化能力的关键。作者于是先追问一个更基础的问题：谱保持本身，对适应新任务和保留旧能力到底有多重要？
结果是反直觉的。实验发现，被选中的 LoRA 族方法（包括 LoRA 微调、DoRA、PiSSA 等）其实也在近似地保持预训练几何结构；即便人为把这些方法轻微漂移的奇异值谱"恢复"回去，任务性能也基本不变。这说明显式的几何保持约束可能并非必要，OFT 强调的谱保持优势并没有想象中那么关键。
在此基础上，论文刻画了各方法在"适应—保留"这一核心权衡上的差异：
- LoRA：在保持有竞争力的性能的同时，最一致地限制灾难性遗忘，是最"稳"的选择；
- DoRA（权重分解低秩适配，把权重拆成幅度与方向分别训练）：在多数对比中平均任务分数高于 LoRA，上限更高；
- PiSSA（用主奇异值与奇异向量初始化 LoRA）：往往付出更大的保留成本，遗忘更明显。
进一步的干预实验还揭示了一个更细的规律：不同 PEFT 方法的性能提升，可以追溯到对不同奇异值谱分量组的修改——而无论哪种方法，恢复"主导分量"（dominant components）而非中间或尾部分量，总能带来最大的通用文本困惑度下降或基础图像漂移降低。
实验数据
论文在语言与视觉（扩散）两类任务上验证了上述结论，核心发现可归纳如下：
| 方法 | 任务分数 | 遗忘程度 | 关键结论 |
|---|---|---|---|
| LoRA | 有竞争力 | 最低（最稳） | 最一致地限制灾难性遗忘 |
| DoRA | 多数对比更高 | 中等 | 平均任务分数优于 LoRA |
| PiSSA | 相当 | 更高 | 保留成本更大，需谨慎 |
| OFT | 相当 | 相当 | 谱保持优势被质疑 |
- 谱恢复实验：恢复 LoRA 族方法轻微漂移的奇异值谱后，任务性能基本保持不变，说明几何保持是"果"而非"因"；
- 分量干预实验：恢复主导分量（而非中间/尾部分量）带来的通用文本 NLL 或图像漂移降低幅度最大；
- 结论指向一个方法论转变：评估 PEFT 的几何约束，应该看它的功能后果（性能、遗忘、下游漂移），而不是只看"谱保持"这个表面指标。
论文代码已开源：PEFT_methods。
行业启示
从大模型微调的评估优化视角看，这篇论文的价值在于拨开了一层层"方法创新"的包装，回到一个朴素的判断标准：一个微调方法好不好，最终要看它对任务性能、旧能力保留和下游分布漂移的实际影响，而不是看它在几何结构上"保持"了什么。
对领域大模型训练而言，这组结论可以直接翻译成选型参考：如果数据量与预训练分布接近、又担心灾难性遗忘，LoRA 微调是更稳妥的默认项；如果追求任务分数上限、且能接受一定的保留成本，DoRA 值得优先尝试；而 PiSSA 虽然在部分场景表现不错，但要留意它更大的保留代价。换句话说，PEFT 方法没有绝对的"最优解"，只有与具体数据分布、任务目标和遗忘约束匹配的"最合适解"。
相关问题
问：LoRA 微调是什么？
答：LoRA（低秩自适应）是最主流的参数高效微调方法，它冻结预训练模型的主干权重，只在旁路注入两个低秩矩阵并只训练这两个小矩阵，从而把可训练参数量降几个数量级、大幅省显存，同时保持接近全参数微调的性能。
问：LoRA、DoRA、PiSSA 到底怎么选？
答：这篇论文给出的参考是：担心灾难性遗忘、追求稳定时选 LoRA；追求更高任务分数上限时优先尝试 DoRA；PiSSA 在部分场景表现不错，但保留成本更大，需谨慎。没有绝对最优，要结合数据分布、任务目标和遗忘约束来匹配。
问：为什么说评估 PEFT 方法要看"功能后果"而不是"谱保持"？
答：论文通过谱恢复实验发现，LoRA 族方法本就近似保持预训练几何，人为恢复其轻微漂移的奇异值谱后任务性能基本不变，说明"谱保持"并非性能来源；真正起决定作用的是主导分量所承载的功能信息。因此评估方法应回归性能、遗忘和下游漂移这些可观测后果，而非中间几何指标。
参考文献
📄 论文原文信息
| 论文标题 | Are Parameter-Efficient Fine-tuning Methods Really Different? |
| 作者 | Yikuan Li, Pinyan Lu, Fanghui Liu |
| 期刊 | arXiv preprint (cs.LG) |
| 发表时间 | 2026-10-06 |
| DOI | 10.48550/arXiv.2610.09122 |
论文原文信息地址：https://www.simolm.com/blog/2026-10-09-peft-methods-really-different/