把开源大模型量化到 4-bit 再上线，早已是业界的默认动作——bitsandbytes 的 NF4/INT4 能在几乎不掉通用基准分的前提下，把显存占用和推理成本砍掉一大截。但过去对「量化会不会伤模型」的检验，几乎全盯着 MMLU 这类静态知识基准，很少去追问一个更隐蔽、也更贴近真实使用的问题：当模型需要反复覆盖、持续更新一段信息时，量化会不会让它更容易「遗忘」？ 2026 年 8 月 19 日，Shayan Shahrabi-Farahani 与 Dara Rahmati 在 arXiv 提交论文《Compress and Forget: bitsandbytes Quantization Amplifies Proactive Interference in LLMs》（arXiv:2608.18578），第一次系统检验了训练后量化（PTQ）对「主动干扰」（proactive interference, PI）这一失效模式的影响，结论对做推理部署的团队是个实打实的提醒。

「主动干扰」本是认知心理学的经典现象：人的工作记忆里，如果反复往同一个槽位写入新值，之后检索这个值时，准确率会随着先前覆盖次数的累积而一路下滑——旧内容「主动干扰」了新内容的提取。早有研究证明大语言模型也存在同样的失效模式（arXiv:2407.11969），但量化是否会让它雪上加霜，此前无人回答。这篇论文的核心价值，恰恰在于补上了这个「量化 × 记忆检索」的交叉盲区。

实验设计克制而干净：作者固定一套检索任务，横跨三个架构各异的指令微调模型——Qwen2.5-7B-Instruct、Mistral-7B-Instruct-v0.3、Phi-3.5-mini-instruct，分别用 FP16、INT8、INT4/NF4 三种精度（均通过 bitsandbytes 实现）跑同一套主动干扰范式。核心发现有三层，层层递进。第一层：INT4 在高干扰条件下显著拉低检索准确率，以 Qwen 为例，从 FP16 的 81.0% 跌到 68.3%，掉了近 13 个百分点；这一差异通过了成对 McNemar 检验（p ≤ 2.6×10⁻⁶），并由覆盖全部干扰水平的混合效应回归模型确认，不是噪声。第二层：常被想当然认为「安全」的 INT8 也并非零成本——它在三个模型中的两个，同样出现了幅度较小但统计上真实的准确率惩罚。第三层：这个效应高度「挑食」，只对语义相似（word-type）的干扰项成立，一旦换成数字类的对照条件，符号就反转——这说明量化伤的不是通用计算，而是语义表征层面的抗干扰能力。

作者进一步追到机制层。在 INT4 下，「同键侵入错误」（same-key intrusion errors）的占比从 21.5% 上升到 24.6%（p = 4.8×10⁻⁷）——也就是说，4-bit 量化让模型更频繁地把「该覆盖掉的那个旧值」误当成正确答案吐出来，这正是主动干扰在行为上的指纹。随后的消融实验把误差来源锁定在量化后的 Transformer 主干网络，而非输出投影层，说明问题出在深层表征的退化，而不是最后一层映射的精度损失。

把这三个模型、三种精度的数据摆在一起看，一条清晰的趋势浮出水面：精度越低，模型在高干扰检索任务上的抗遗忘能力越差，且这个代价在需要「长程、可更新、序列化」记忆的场景里被集中放大。换句话说，4-bit 量化的隐性成本，并不体现在你离线跑一次 benchmark 的那几分钟里，而是体现在模型上线后、持续被喂入新信息、又被反复要求准确回忆旧信息的那几个月里。作者在结论里直接点明：对于依赖长程、可更新、序列化检索的应用，bitsandbytes 4-bit 量化会额外收取一笔「遗忘税」。

对思陌大模型微调而言，这篇论文的价值可以落进两条业务线。最直接的是「推理部署」：量化是我们给客户压缩交付成本、压显存的核心手段，过去我们默认「4-bit 不掉分就放心上」，这篇研究提醒我们，精度选择必须连同「记忆更新频率」一起评估——如果是做持续更新的知识库问答、个人助手的长程记忆、RAG 里高频覆盖的键值槽位，宁可退到 INT8 甚至 FP16，也不要贪 4-bit 那点显存红利。其次是「评估优化」：它给我们的交付验收清单加了一条新维度——在通用基准之外，补一项「主动干扰压力测试」，用反复覆盖 + 检索的范式，专门量一量量化后模型的抗遗忘能力。这也正是「数据工程」可以发力的地方：为这类压力测试构造语义相似干扰项与数字对照条件，把「量化遗忘税」变成可测、可比、可汇报的交付指标，让客户在选择精度时看得见代价、做得出决策。

参考文献

• arXiv: 2608.18578
• DOI: 10.48550/arXiv.2608.18578
• arXiv: 2407.11969（大模型主动干扰的原始研究）

论文原文信息地址：https://www.simolm.com/blog/2026-08-24-quantization-proactive-interference/