合成数据微调为什么会导致灾难性遗忘？持续学习正则化方法的实证对比
用合成数据做大模型微调，分布内检索涨了、真实数据却崩了。论文在覆盖 3.4 万个技能的检索系统上实证：LwF、EWC、L2 初始化等持续学习正则化既能保住 OOD 性能，又能让分布内再提升 13.98%。
大模型智能体（LLM Agent）在执行任务时，越来越多地依赖运行时从外部技能库中检索可调用的「技能」（skill）——某个 API、某个工具函数、某段私有流程。当技能库膨胀到数万级时，「把用户请求准确路由到正确的技能」本身就成了一道独立的检索难题。一篇被 EMNLP 2026 工业 track 接收的论文 《When Synthetic Data Hurts: On Catastrophic Forgetting in Skill Retrieval for LLM Agents》 正面拆解了这道题。研究团队（Murtaza、Nie、Soni、Wen、Frydenlund）搭建了一个覆盖 34,396 个技能的生产级技能路由系统，并以「有限真实标注 + 合成数据（synthetic data）微调」为主线，系统量化了合成数据在大模型微调中的反直觉风险。
论文首先发现了一个典型的「合成数据陷阱」：用合成数据对检索模型做微调，在分布内（in-distribution）检索任务上确实有效——因为合成样本能覆盖真实数据难以穷举的稀疏组合；但它同时在真实数据与分布外（OOD）数据上引发了灾难性遗忘（catastrophic forgetting）。所谓灾难性遗忘，指的是模型在学习新任务时把此前已经掌握的旧知识「抹掉」了，导致在旧分布上性能断崖式下滑。这与 2026 年 LLM 社区广泛讨论的「合成数据导致模型退化 / 模型坍缩」问题一脉相承——差别在于，这里把问题落到了最接近生产的技能检索场景上。
针对这一痛点，作者借鉴持续学习（continual learning）的思路，系统评测了四类「抗遗忘」的微调正则化方法：
- 嵌入锚点正则化（embedding-anchor regularization）：约束微调后的文本嵌入不偏离原始嵌入太远，把语义空间「锚」在原位。
- 无遗忘学习（Learning without Forgetting，LwF）：用旧模型的输出作为软标签，在新任务训练时把旧知识「蒸馏」回来。
- 弹性权重巩固（Elastic Weight Consolidation，EWC）：用 Fisher 信息矩阵定位重要参数，训练时给它们施加更大惩罚，防止被大幅改动。
- L2 初始化（L2-initialization）：从预训练权重出发，并施加 L2 正则把参数「拉」回初始值附近。
四类方法的抗遗忘机制对比如下：
| 方法 | 核心机制 | 抗遗忘原理 |
|---|---|---|
| 嵌入锚点正则化 | 约束嵌入偏离幅度 | 锚定语义空间 |
| LwF（无遗忘学习） | 旧模型软标签蒸馏 | 保留旧任务输出分布 |
| EWC（弹性权重巩固） | Fisher 信息加权惩罚 | 保护重要参数不被大改 |
| L2 初始化 | L2 正则拉回初始值 | 限制参数整体漂移 |
实验在 0.6B 参数的 Qwen 检索器（retriever）与重排器（reranker）上展开。结果显示：这四类方法不仅能保留 OOD 技能检索的性能，还能把合成分布内技能的检索表现额外提升 13.98%。换句话说，「合成数据 + 抗遗忘正则化」这条组合路径，既吃到了合成数据带来的分布内增益，又稳住了真实 / OOD 数据的底线。论文同时给出了一个实用基准（benchmark），以及一套面向「稀缺、多正例监督」（scarce, multi-positive supervision）场景的稳健微调配方（recipe），可直接复用于技能路由、检索增强这类生产系统。
从领域大模型训练的视角看，这篇论文最值得记住的一点是：当真实高质量标注稀缺、不得不引入合成数据做指令或检索微调时，不能只盯着单一验证集上的平均分——平均分上升的背后，很可能是「分布内提升」与「OOD 遗忘」的相互抵消。把持续学习里成熟的 LwF、EWC、L2 初始化、嵌入锚点正则化嫁接到微调流程中，几乎零成本就能缓解遗忘、保住泛化。这也提醒数据工程团队：合成数据负责「补足覆盖」，真实数据负责「守住分布」，两者的配比与正则化策略，往往比单纯堆高合成数据量更关键。
相关问题
合成数据微调为什么会导致灾难性遗忘？
合成数据能覆盖真实数据难以穷举的稀疏组合，在分布内检索上有效，却容易在真实/OOD 数据上引发灾难性遗忘。用 LwF、EWC、L2 初始化、嵌入锚点正则化等持续学习方法，既能保住泛化，又能让分布内再提升 13.98%。
医疗大模型怎么微调？
医疗大模型微调常面临"真实高质量标注稀缺"的难题，此时会引入合成数据补足覆盖。但合成数据负责"补足覆盖"、真实数据负责"守住分布"，两者的配比与抗遗忘正则化策略，往往比单纯堆高合成数据量更关键。
大模型微调多少钱？
微调成本取决于基座规模、数据量与训练方式。当真实标注稀缺、需要引入合成数据时，配合 LwF、EWC 等抗遗忘正则化几乎零成本就能缓解遗忘，避免"数据越堆、效果越崩"带来的返工与额外开销。
参考文献
- arXiv: 2609.10750 — When Synthetic Data Hurts: On Catastrophic Forgetting in Skill Retrieval for LLM Agents
- DOI: 10.48550/arXiv.2609.10750
📄 论文原文信息
| 论文标题 | When Synthetic Data Hurts: On Catastrophic Forgetting in Skill Retrieval for LLM Agents |
| 作者 | Syed Shariyar Murtaza, Yifan Nie, Utkarsh Soni, Eugene Wen, Arvid Frydenlund |
| 期刊 | EMNLP 2026 Industry Track |
| 发表时间 | 2026-09-09 |
| DOI | 10.48550/arXiv.2609.10750 |
论文原文信息地址：https://www.simolm.com/blog/2026-09-21-synthetic-data-catastrophic-forgetting/