监督微调（SFT）是让大模型贴合目标分布的标准手段，但在"个性化"这类场景里，它的成本会迅速变得难以承受：每个作者、每个用户都要一份独立的权重访问权限、一轮独立的优化训练、一份独立的模型存储，数据更新后还要重新训练。当用户数从几个涨到成百上千，逐人微调（哪怕退一步用 LoRA）的工程与算力开销都会失控。针对这个矛盾，2026 年 8 月 11 日，密歇根大学（University of Michigan）的 Bohan Zhang、Anqi Ni、Yixin Wang、Paramveer S. Dhillon 团队在 arXiv 提交论文《Weightless Fine-Tuning: Personalizing LLMs via Logit-Space Transport》（arXiv:2608.11342），提出一种"无权重微调"（Weightless Fine-Tuning，WFT）：训练无关、只在解码时介入，用 logit 空间的小幅修正去近似 SFT 的分布效果，全程不更新任何模型权重。

WFT 的核心思想，是把"微调"从权重空间搬到 logit 空间。具体分两步：先在某个作者（用户）的训练序列上计算"监督残差"——即把训练数据当作监督信号，度量它在每个位置的输出分布上该往哪个方向、偏多少；随后，用一个"跨前缀传输算子"（cross-prefix transport operator）把这些残差搬运到当前提示（prompt）对应的 logit 上。这个传输算子不是靠梯度反向传播学出来的，而是从"dropout 诱导的交叉协方差"（dropout-induced cross-covariance）估计得到，它刻画的是"在某一处上下文施加的扰动，会如何传播到另一处上下文的预测上"。于是，原本"梯度 → 权重更新 → 改变所有后续预测"这条链路，被替换成"残差 → 传输算子 → 解码时直接修正 logit"。

这里最巧的一点在于，WFT 借用 dropout 随机性来做"因果传播的测量"：对同一个输入多次前向、每次随机丢弃不同神经元，就能估计出 logit 对不同上下文扰动的敏感度（交叉协方差），进而构造出从训练上下文到当前上下文的传输映射。整个过程不需要反向传播、不需要优化器、不产生任何新的权重或适配器，因此在存储和算力上都极轻。作者在 logit 层面给出了一条相当直观的"等价性"证据：WFT 与 SFT 各自引入的 logit 偏移（logit shift），在覆盖约 95% 的 next-token 概率质量上，余弦相似度高达 0.875——也就是说，WFT 确实捕捉到了监督适配带来的分布变化，而它并没有改动任何权重。

在三个 LaMP 个性化基准上，WFT 拿下了跨数据集的平均最优成绩：单项任务上追平甚至反超 SFT，平均表现也压过其他轻量基线。最引人注目的是成本对比——在预算受限的对照实验中，WFT 只用不到 7% 的有效计算量，就逼近了 SFT 的性能。这对"每个用户都要一份适配"的场景几乎是降维打击：不用存 N 份 LoRA 权重、不用为每个新用户跑一轮训练，只需要在一次前向里做一次 logit 修正。

对思陌大模型微调而言，WFT 的启示集中在「推理部署」和「数据工程」两条业务线上。第一，它提供了一条"零权重、零训练"的个性化交付路径，尤其适合用户量大、单用户数据少、又要求低成本实时适配的场景——如内容作者的写作风格克隆、客服话术个性化、多租户 SaaS 里的按需调优，思陌可以把它作为 LoRA/SFT 之外的一档"轻量个性化"产品，用极低的边际成本服务长尾客户。第二，它的技术底色——用 dropout 交叉协方差估计"扰动的传播"，本质上是一种对模型行为的数据驱动测量，与思陌「数据工程」里"用更少标注撬动更大收益"的思路同源，也提醒我们：不是所有适配都非得改权重，把聪明用在解码时的 logit 上，有时比再加一层参数更划算。当然，WFT 目前的验证集中在个性化 / LaMP 这类任务上，能否推广到更重的能力型微调（如数学推理、代码、领域知识注入）还需进一步验证，这也为思陌后续的评测与落地留出了空间。

参考文献

• arXiv: 2608.11342
• DOI: 10.48550/arXiv.2608.11342

论文原文信息地址：https://www.simolm.com/blog/2026-08-18-weightless-fine-tuning-logit-transport/