研究背景

在多租户大模型服务场景中，同时托管数十乃至数百个 LoRA 适配器已是主流做法。但这带来了一个棘手的系统困境：高秩适配器确实能带来更好的下游任务性能，但其 GPU 显存占用和 PCIe 交换开销严重制约了服务规模的可扩展性；而超低秩适配器（r≤2）虽然大幅降低显存和传输开销，却往往以性能退化告终。

来自 Purdue University 的 Xiang Li、Pengcheng Wang、Huazheng Wang 和 Saurabh Bagchi 在 2026 年 8 月 4 日提交的论文中提出了 SALT（Subspace-Aligned LoRA Training）——一种面向服务效率的分层微调框架，从架构层面解耦了"表示容量"与"物理内存成本"之间的矛盾。

核心方法：质心-残差三层架构

SALT 将 LoRA 适配器的训练与服务拆分为三个阶段，每个阶段对应不同的执行方和数据策略。

阶段一：联合子空间对齐（服务商执行）。服务商在公开的域特定数据上联合训练一组高容量任务适配器 ΔWᵢ 和一个共享域质心 W̄。关键创新是一个 ε-stable 矩阵余弦正则化器：

L_align(ΔWᵢ, W̄) = 1 − Tr(ΔWᵢᵀW̄) / (‖ΔWᵢ‖_F · ‖W̄‖_F + ε)

该正则化器（ε=10⁻⁸）强制将域内各任务适配器的子空间对齐到一个统一基上，使得后续的超低秩残差能够依托这个"结构捷径"实现高效学习。整个阶段仅使用公开数据，不涉及任何用户私有数据。

阶段二：超低秩残差微调（用户/租户执行）。用户在私有数据上，在冻结的质心之上仅优化一个 r≤2 的残差 δᵢ。低秩约束在此充当天然的结构正则化器，迫使残差利用预对齐的质心作为表达基础。残差适配器的内存占用仅 0.85 MB（r=1）到 1.70 MB（r=2）。

阶段三：推理时动态服务。高容量质心（默认 r=16）永久固定在 GPU 显存中，仅按需动态交换超低秩任务残差。通过引入推理时缩放因子 γ（离散化为 {0.6, 0.8, 1.0}），系统可将高频请求的质心直接融合到基础权重，长尾请求则以低成本独立服务。

实验数据：超低秩参数量实现高秩性能

研究团队在 Mistral-7B-v0.3、Llama-3.2-3B 和 Pythia-12B 三个不同规模的模型上进行了全面评估，覆盖数学推理（GSM8K、SVAMP、MultiArith、AQuA）和编码（MBPP、SPIDER、APPs、HumanEval）共 8 个基准。

下游任务性能恢复。以 Mistral-7B-v0.3 为例，SALT r=1（仅 0.85 MB 交换内存）在 MultiArith 上达到 86.21% 准确率，而标准 LoRA r=1 仅为 11.03%，提升高达 75.18 个百分点。在 SPIDER 编码任务上，SALT r=1 达到 56.59%，比 LoRA r=16（21.34%）高出 35.25 个百分点。在 HumanEval 零样本迁移评估中，SALT r=1 达到 34.88%，远超标准 LoRA r=1 的 25.58%。SALT 在 r∈{1,2,4} 范围内保持稳定，避免了标准 LoRA 因秩切换导致的剧烈波动（如 MBPP 上 LoRA r=8 突降至 3.00%）。

跨模型架构泛化。三个模型的平均性能恢复率达 80–95%，同时实现 9× 到 11.5× 的动态适配器秩缩减，证明子空间对齐策略具有架构无关性。

服务吞吐量提升。在 vLLM 集成测试中，Mistral-7B-v0.3 在 512 个并发适配器下，SALT 将 PCIe 带宽受限场景的吞吐量从 43.42 req/s 提升至 54.46 req/s（+25.4%），VRAM 受限场景从 32.59 提升至 38.41 req/s（+17.9%）。在 Llama-3.2-3B 上表现更为显著——256 个适配器时 PCIe 吞吐量提升 50.9%（38.70→58.39 req/s），VRAM 下提升 28.3%（28.60→36.68 req/s）。在所有配置下，SALT 的每适配器内存降低最高至原来的 1/16。

自动化质心路由。SALT 还实现了基于激活分析的零样本域检测和质心选择机制。在 CodeSearchNet、APPs 和 XNLI 多语言任务上，路由准确率达到 100%，有效区分同域、跨域和分布外（OOD）请求。

商业启示

SALT 框架为思陌大模型微调的多项核心业务带来了直接启发：

• 推理部署服务：SALT 的质心-残差分解架构天然适配多租户 LoRA 服务平台。思陌可为同一行业客户（如金融合规、医疗问诊、代码辅助）预训练域质心，客户仅需微调和维护 r=1-2 的微小残差适配器，将推理部署的硬件成本降低一个数量级，同时保持接近全秩微调的任务精度。

• 领域适配训练：Phase 1 的联合子空间对齐正则化器提供了一种将多个领域内任务统一到共享表示基的方法。思陌在为客户做行业语料继续预训练（CPT）时，可借鉴此思路为同行业多客户构建共享基座，降低整体训练和推理成本。

• 数据工程服务：Phase 1 严格使用公开数据的策略确保了数据隐私边界。SALT 的整体框架天然支持"公开数据训质心 + 私有数据训残差"的生产模式，与思陌为客户提供安全、隔离的微调服务的理念高度契合。

随着多租户 LLM 服务的规模化部署加速，SALT 这种将表示容量与物理成本在架构层面解耦的思路，代表了 LoRA 推理优化的一个新方向——不是简单地压缩适配器，而是重新设计适配器之间的协同关系。

参考文献

• arXiv: 2608.03579 — Pin Once, Swap Light: Subspace-Aligned Centroid-Residual Training for Efficient Ultra-LoRA Serving

论文原文信息地址：https://www.simolm.com/blog/2026-08-06-salt-subspace-aligned-lora-serving/