研究背景

参数高效微调（Parameter-Efficient Fine-Tuning，PEFT）让大模型能以极低显存成本适配垂直任务，但一个长期未解决的副作用是"通用能力退化"——模型在目标任务上变强了，却把预训练阶段学到的常识推理能力"冲掉"了一部分。以往缓解这个权衡（trade-off）的做法主要靠数据回放（data replay）或正则化约束，要么需要额外数据，要么引入显式优化项。

来自西安交通大学的 Zhiqiang Pang、Zihong Sun、Qi Xie、Jun Shu、Deyu Meng、Zongben Xu 研究团队换了一个更本质的提问角度：与其纠结"怎么改"，不如先想清楚"改哪里"。他们发现，微调不同 Transformer 层会带来不同的任务增益和不同程度的通用能力退化——并不是所有层都"值得"被微调。

基于这一观察，团队提出 LS-LoRA（Layer-Selective LoRA，层级选择性低秩适配），论文《Where to Adapt Matters: Layer-Selective Fine-Tuning for Capability Retention》已于 2026 年 10 月 8 日发布在 arXiv。

核心方法

要刻画"哪些层敏感"，最直接的工具是逐层经验 Fisher 信息（empirical Fisher information），它衡量某一层对目标任务的敏感度。但计算 Fisher 分数需要反向传播，模型越大开销越高，实用性受限。作者于是引入一个仅需前向传播的轻量代理指标：输入-输出余弦相似度。

作者在定理 1 中证明：某层的经验 Fisher 分数下界满足 I_l ≥ A_l(1 − s_l)，即该层输入-输出相似度 s_l 越低，其 Fisher 敏感度下界越高。实验上，这个代理与真实 Fisher 分数的 Spearman 秩相关在四个模型上稳定达到 -0.76 到 -0.91（p < 1e-5），负相关非常显著。

据此，LS-LoRA 的做法十分简洁：对每个 Transformer 层，用一小批标定样本（随机抽 100 条输入、不需要标签）算一次前向的输入-输出余弦相似度；凡是相似度低于阈值 γ = 0.85 的层，就挂上 LoRA 适配器，其余层完全冻结。标定成本极低，例如在 Llama-3.2-3B 上 100 个样本仅需 2.8 秒。

从层敏感度的分布规律看，高敏感（低相似度）层通常集中在浅层和末层。作者还做了随机选层的对照实验：仅靠"少改几层"就能带来一定保留收益，但基于相似度的选择在任务性能和能力保留上都更优。

实验数据

作者在 Llama-3.2-1B/3B、Llama-3-8B、Mistral-7B 四个模型上，用数学推理（MATH-10K 训练、GSM8K/AQuA/SVAMP 评测）和代码生成（Magicoder-Evol 训练、HumanEval+）两个目标方向，配合 ARC-Challenge、OpenBookQA、SI-QA 三个常识推理基准来量化"遗忘"。结果高度一致：

相对全层 LoRA，LS-LoRA 数学平均分提升 0.41.1 个百分点，常识平均分提升 6.014.3 个百分点。最典型的是 Llama-3.2-3B：全层 LoRA 让常识分数相对基座掉了 15.3 个点，而 LS-LoRA 把这个降幅收窄到仅 1.0 个点。

代码任务上，LS-LoRA 的常识平均分也提升 1.26.2 个点，甚至在 Llama-3.2-3B 和 Llama-3-8B 上出现了"正向迁移"——常识分数反超原始基座。效率层面同样受益：LS-LoRA 峰值显存降低 4.214.4%、训练时间缩短 10.0~29.6%（如 Llama-3.2-3B 显存 13.1GB→11.8GB、训练 1.7h→1.2h）。

更重要的是方法可迁移：把同样的选层策略套到 DoRA 和 PiSSA 上，得到 LS-DoRA（数学 66.0→67.0、常识 37.9→58.9） 和 LS-PiSSA（数学 66.2→67.6、常识 59.0→64.7），收益同样显著，说明"选对层"是一条独立于具体适配器形态的通用改进。

行业启示

从大模型微调的技术视角看，LS-LoRA 的价值不在于发明一种新的适配器，而在于把"在哪里微调"从经验直觉变成了一条可计算、可复现的规则。它的输入-输出相似度代理只走前向、不需要标签，标定开销几乎可以忽略，却能同时换来任务分数提升、通用能力保留和显存/训练时间下降，是典型的"低成本高杠杆"改进。

对领域大模型训练而言，这组结论有直接的落地含义：做垂直领域适配时，与其对所有层无差别地挂 LoRA 微调，不如先花几秒钟做一次轻量标定，把适配器集中放在敏感层上，既保住预训练积累的通用能力，又能把稀缺的领域数据用到刀刃上。方法本身的选层逻辑也与具体任务解耦，可以在 LoRA、DoRA、PiSSA 等不同参数高效微调方案之间自由迁移。

相关问题

问：LoRA 微调是什么？

答：LoRA（低秩自适应，Low-Rank Adaptation）是最主流的参数高效微调方法，它冻结预训练模型的主干权重，只在旁路注入两个低秩矩阵并只训练这两个小矩阵，从而把可训练参数量降几个数量级、大幅省显存，同时保持接近全参数微调的性能。本文的 LS-LoRA 在此基础上进一步优化"在哪几层插入 LoRA"。

问：大模型微调为什么会退化通用能力？

答：微调会改变模型参数，让模型朝目标任务分布靠拢，但这往往会覆盖掉部分预训练阶段学到的通用知识（如常识推理），形成"适应—遗忘"的权衡。本文发现这种退化程度与"微调了哪些层"强相关：不同层的适配价值和遗忘代价差异很大，因此只改敏感层、冻结其余层，能显著缓解通用能力退化。

问：LS-LoRA 和普通 LoRA 的区别是什么？

答：普通 LoRA 通常在所有目标层都挂适配器；LS-LoRA 先用输入-输出余弦相似度（仅前向、无需标签）做一次轻量标定，只把适配器放在相似度低于阈值 γ=0.85 的敏感层上，其余层冻结。结果是在任务分数相近甚至更高的情况下，常识能力保留提升 6.0~14.3 个点，显存与训练时间也同步下降。

参考文献

• arXiv: 2610.11620
• DOI: 10.48550/arXiv.2610.11620

论文原文信息地址：https://www.simolm.com/blog/2026-10-14-ls-lora-layer-selective-finetuning/