研究背景

全参数微调（Full-Parameter Fine-Tuning）是把预训练大模型的所有权重都参与更新的微调方式，理论上比参数高效微调（如 LoRA 微调）能释放出更强的领域适应能力。但它一直卡在一道硬门槛上：优化器状态（optimizer state）的内存开销。

以常见的 Adam 系列优化器为例，训练时除了模型权重本身，还要为每个参数保存一阶、二阶动量，这些状态往往是权重的数倍。当模型到了 30B、70B 量级，光是优化器状态就能撑爆单张 GPU 的显存，让「单卡全参数微调大模型」变得几乎不可能。

来自中佛罗里达大学和摩洛哥穆罕默德六世理工大学的 Jichao Jiang、Cristian McGee、Aritra Dutta 等人，在 2026 年 10 月 1 日发布的论文中提出了 TACO 优化器（Ternary Absolute-max Column-wise One-sparse Optimizer，三元绝对最大列向单稀疏优化器），目标就是在不牺牲精度和速度的前提下，把全参数微调的显存占用压下来。

核心方法

TACO 的起点是最近兴起的 Muon 优化器——它用矩阵值更新代替逐元素更新，能省下大量优化器状态。但 Muon 的更新几何与 AdamW 不同，在微调用 AdamW 预训练的模型时可能带来性能退化。

TACO 继承了 Muon「算子范数最陡下降」的思想，但把几何路线走得更彻底：它在「维度归一化的 1→1 算子范数」下计算精确的最陡下降方向，具体做法是在每个二维权重矩阵的每一列里，只选取绝对值最大的那个元素并保留其符号，其余全部归零。

这样的设计带来两个直接好处：

• 优化器状态几乎可以忽略：TACO 只需为每一列保留一小部分低精度梯度分量，无需存完整的一阶/二阶动量；
• 保留一阶梯度信息：不像某些方法直接丢弃一阶梯度，TACO 仍然沿着真实梯度方向更新，只是做了极致的稀疏化。

一句话概括：TACO 用「列内取最大值」这一极简规则，逼近了理论上最优的下降方向，同时把内存砍到近乎零。它与参数高效微调（如 LoRA 微调）的思路互补——LoRA 通过冻结主干、只训低秩旁路来省显存，TACO 则是让「全参数」这条路本身也能在单卡上走得通。

实验数据

作者在 OPT-13B 等模型上做了系统验证，数据非常硬核：

• 优化器状态从 27.7 GB 降到 0.16 GB，压缩 174 倍；
• 峰值训练显存从 80.6 GB 降到 27.5 GB，降幅 2.9 倍；
• 在此之上，TACO 首次让 30B–32B 参数的模型能在单张 80GB H100 上完成全参数微调，覆盖多个模型家族和任务，精度与运行时间都能与基线打平。

这意味着，「显存不够」不再是全参数微调大模型的绝对天花板，而是一个可以通过优化器设计去绕开的工程约束。

行业启示

从大模型微调的工程视角看，TACO 的价值在于重新把「全参数微调」拉回了可选清单。过去很长一段时间，参数高效微调（PEFT）几乎成了省显存的默认答案，全参数微调被局限在高配多卡环境里。

对领域大模型训练而言，这条路线尤其值得关注：在数据量充足、任务与预训练分布差异较大时，全参数微调往往能比低秩方法榨出更多领域能力，代价只是显存。TACO 这类优化器让「单卡、低预算、全参数」成为可能，也提示工程团队在评估优化环节不应只盯着权重和激活，优化器状态本身也是一个可以大幅压缩的优化维度。

相关问题

问：TACO 和 LoRA 微调有什么区别？

答：LoRA 微调属于参数高效微调，冻结主干权重、只训练低秩旁路，通过减少可训练参数来省显存；TACO 则面向全参数微调，主干权重全部参与更新，但通过「列内取最大值」的稀疏规则把优化器状态压到近乎零，从而省显存。两者思路互补，适合不同的数据量和任务分布场景。

问：TACO 到底能省多少显存？

答：在 OPT-13B 上，TACO 把持久优化器状态从 27.7 GB 降到 0.16 GB（174 倍），峰值训练显存从 80.6 GB 降到 27.5 GB（2.9 倍），并首次在单张 80GB H100 上完成 30B–32B 模型的全参数微调。

问：TACO 会牺牲精度或速度吗？

答：论文显示 TACO 在多个模型家族和任务上，精度与运行时间都能和 AdamW 8bit 基线基本持平，没有明显牺牲。

参考文献

• arXiv: 2610.02199
• DOI: 10.48550/arXiv.2610.02199

论文原文信息地址：https://www.simolm.com/blog/2026-10-07-taco-ternary-sparse-optimizer/