大模型微调（Fine-Tuning）长期以来被默认绑定在数据中心级的 A100/H100 上，个人开发者手里的消费级显卡（如 16GB 的 RTX 5080）似乎只够"推理"、不够"训练"。南加州大学的 Lei Gao、Murali Annavaram 等研究者，在 2026 年 10 月 18 日发布的 PACT（arXiv:2610.25048）里给出了一个务实的答案：借助 NVIDIA 新一代消费卡的 NVFP4 低精度张量核，LoRA 微调可以在不显著损失精度的前提下，把显存砍掉近一半、速度提升近一倍，让"在自己显卡上做领域大模型训练"从奢望变成可选项。

问题：LoRA 省了可训练参数，却省不下"冻结投影"的算力

低秩自适应（LoRA）之所以流行，是因为它只训练少量低秩增量矩阵（适配器 A、B），可训练参数和优化器状态大幅下降。但 PACT 点出一个常被忽略的事实：LoRA 的瓶颈其实不在可训练参数，而在那些"冻结"的原始权重投影。

具体来说，每一层解码器里的 query/key/value/attention output/gate/up/down 共 7 个冻结投影，在前向和反向的输入梯度计算中仍然要跑全精度的矩阵乘法（GEMM）。同时，为反向传播保留的中间激活（activations）也会占据大量显存——在 BF16 LoRA 下，每层激活存储约为 12.3U，有时比可训练部分更吃显存。于是 LoRA 微调"参数省了、算力和显存没省"，消费级显卡仍然跑不动稍大一点的模型。

方法：用 NVFP4 数据流重写 LoRA 的冻结部分

PACT 的核心思路，是把 LoRA 里"冻结投影 + 激活存储"这两块大头，整体搬到 NVFP4 低精度数据流上，同时把精度损失控制在可接受范围。它由几个关键组件组成：

• 原生 NVFP4 GEMM：每个解码器层的 7 个冻结投影，前向和输入梯度计算全部改用 NVFP4 GEMM（FP32 累加、BF16 输出），在 RTX 5080 上单算子相对 BF16 快约 6~7 倍；
• NVFP4 激活存储压缩：复用已量化的 RMSNorm 输出用于反向，省掉单独保存归一化输入；SiLU-multiply 前向保留 BF16 原值保证精度，同时另存一份 NVFP4 副本供反向，激活存储压缩约 2 倍；
• 适配 NVFP4 的 GPTQ 离线校准：用 128 条 WikiText-2 序列校准冻结权重的 block scale，且校准统计量来自"量化后的激活"（reconstructed NVFP4 inputs），让校准目标与训练时的激活精度一致；
• 融合 Triton 核 + 缓存权重布局：把量化/反量化融合进 RMSNorm 与 SiLU-multiply 核里，避免单独的量化 kernel 和额外显存读写；前向与反向的 NVFP4 权重布局预先重建、转置、重新量化后缓存复用。

值得注意的是，LoRA 的适配器矩阵 A、B 始终保持 BF16 精度，不参与低精度量化——这一设计把"低精度带来的误差"局限在冻结投影上，保护了适配器对下游任务的拟合能力。

实验数据：显存减半、提速近一倍，精度损失可控

论文在 Llama-3.2-1B/3B、Qwen2.5-1.5B 等模型和 9 个分类任务、3 个生成任务上，把 PACT 与 BF16 LoRA、QLoRA、TransformerEngine 的 NVFP4 实现（TE）做了系统对比：

几个关键结论值得单独强调。显存与速度上，PACT 全面占优：峰值显存相对 BF16 LoRA 降低 47%51%，单步训练提速 1.71.9 倍，最大 batch 吞吐相对 QLoRA 提升 1.75~2.32 倍。在 Qwen2.5-1.5B、序列长度 2048 的场景下，PACT 只需 8.04GB 显存，而 QLoRA 需要 15.61GB；Llama-3B 在 batch 4、seq 2048 时，PACT 是唯一能跑起来的方法（13.11GB）。

精度上，代价可控：分类任务平均精度最多比 BF16 LoRA 低 2.6 个百分点，且在全部三个模型上都稳定超过 TE；在 Llama-3B 与 Qwen2.5-1.5B 上，PACT 与 QLoRA 的差距在 0.3 点以内。生成任务里，PACT 在 9 个"模型×任务"组合中有 8 个超过 TE，其中 Llama-3B 的 SQuAD（F1）甚至略超 BF16（0.842 vs 0.837）。相对敏感的是 GSM8K，PACT 在三个模型上约落后 BF16 两个百分点，说明推理密集型任务对低精度量化更挑剔。

行业启示：低精度数据流正把"微调门槛"拉回个人开发者手里

从大模型微调工程的角度，PACT 的启示在于它把"省参数"升级成了"省数据流"。其一，推理部署端的低精度格式（NVFP4）正反过来反哺训练端——过去量化主要服务于推理，现在它同样能压缩微调的算力与显存，让"消费级显卡微调大模型"成为现实，这对资源受限场景的领域大模型训练尤其有价值。其二，系统级优化（数据流、核融合、权重布局缓存）与算法级优化（LoRA、GPTQ 校准）需要配合使用：单靠 LoRA 省参数不够，单靠 4-bit 量化会伤精度，二者叠加、并把误差限制在冻结投影上，才拿到了"显存减半 + 精度可控"的平衡。其三，它也提示评估优化不能只看最终分数——推理密集型任务（如 GSM8K）对低精度更敏感，工程上做 LoRA 微调选量化精度时，应针对目标任务的类型做取舍，而不是一刀切。

相关问题

• 消费级显卡到底能不能微调大模型？ 能，PACT 给出的结论是：借助 NVFP4 低精度数据流重写 LoRA 的冻结投影，在 16GB 的 RTX 5080 上即可微调 1B~3B 模型——峰值显存相对 BF16 LoRA 降低 47%51%、单步训练提速 1.71.9 倍，Llama-3B 在 batch 4、seq 2048 时 PACT 是唯一能跑起来的方法（13.11GB），分类平均精度损失最多 2.6 个百分点。
• NVFP4 量化是什么？ NVFP4 是 NVIDIA 新一代消费卡（如 RTX 5080）原生支持的 4-bit 浮点格式，每 16 个 E2M1 元素共享一个 E4M3 block scale，平均每元素约 4.5 bits。PACT 用它加速 LoRA 的冻结投影 GEMM（单算子比 BF16 快约 6~7 倍），同时把激活也压成 NVFP4 存储，反向时反量化。
• PACT 相比 QLoRA 有什么优势？ QLoRA 用的是 NF4 量化冻结权重、BF16 激活，而 PACT 用原生 NVFP4 数据流，不仅加速了冻结投影，还把激活存储也压缩了约 2 倍。实验里 PACT 相对 QLoRA 的最大 batch 吞吐提升 1.75~2.32 倍，Qwen2.5-1.5B @ seq 2048 时 PACT 只需 8.04GB 显存、QLoRA 要 15.61GB；精度上二者差距在 0.3 点以内。
• LoRA 微调是什么？它和 PACT 是什么关系？ LoRA（低秩自适应）是一种参数高效微调（PEFT）方法，只训练少量低秩增量矩阵来适配下游任务，可训练参数和优化器状态大幅下降。PACT 并不改变 LoRA 的算法本身，而是把 LoRA 里"冻结投影 + 激活存储"这两块算力/显存大头搬到 NVFP4 低精度数据流上，让 LoRA 微调在消费级显卡上跑得更快、更省显存，二者是"算法省参数 + 系统省数据流"的叠加关系。

参考文献

• arXiv: 2610.25048 — PACT: NVFP4 Data-Flow LoRA Fine-Tuning on Consumer GPUs
• DOI: 10.48550/arXiv.2610.25048

论文原文信息地址：https://www.simolm.com/blog/2026-10-23-pact-nvfp4-lora-consumer-gpu/