Unlearning at Scale: Implementing the Right to be Forgotten in Large Language Models

论文总结与翻译：《Unlearning at Scale: Implementing the Right to be Forgotten in Large Language Models》

一、文章主要内容总结

本文聚焦欧盟《通用数据保护条例》（GDPR）第17条规定的“被遗忘权”，针对大型语言模型（LLMs）的合规性难题，提出将模型“遗忘”（Unlearning）转化为可复现的系统级问题。核心思路是把LLM训练视为确定性程序，通过记录最小化的微批次日志（含有序样本ID哈希、随机数种子、学习率、优化器步数等），在满足确定性条件时，过滤“待遗忘数据”并回放训练过程，可得到与仅用“保留数据”训练完全一致的模型参数（训练数据类型下的位级一致）。

为平衡延迟与可用性需求，文章设计了三条互补执行路径：

1. 近期步骤精确回滚：通过微检查点或每步密集增量，实现近期训练步骤的即时精确撤销；
2. ** cohort 范围适配器删除**：当基础模型冻结时，直接删除特定 cohort 训练的低秩适配器（LoRA），消除该 cohort 数据的影响；
3. 曲率引导反更新：紧急场景下，先基于曲率（如对角Fisher信息）计算反更新调整模型，再用保留数据微调，若审计不通过则升级为精确回放。

此外，文章还构建了可审计的工作流（含签名遗忘清单记录所有操作与产物）、明确的