On the Evolution of Federated Post-Training Large Language Models: A Model Accessibility View

论文《On the Evolution of Federated Post-Training Large Language Models: A Model Accessibility View》总结与翻译

一、文章主要内容

本文围绕联邦学习（FL）与大型语言模型（LLMs）的结合（即FedLLM）展开，聚焦联邦后训练场景，从模型可访问性和参数效率两个维度，系统梳理了FedLLM的发展脉络与现有方法，并指出未来研究方向。

1. 核心背景与挑战

• 隐私与效率需求：LLMs后训练常涉及敏感用户数据，联邦学习可实现去中心化训练以保护隐私，但LLMs参数规模大、计算与通信成本高，传统全模型微调在联邦场景中实用性低。
• 模型访问限制：现实中LLMs内部信息（如参数、结构）常受商业保护，用户多仅能通过推理API或部分参数访问模型，现有研究对“黑盒”“仅推理”场景的关注不足。

2. 关键技术与分类体系

文章提出FedLLM的二维分类框架，将现有方法分为白盒、灰盒、黑盒三类，具体如下：