Towards Alignment-Centric Paradigm: A Survey of Instruction Tuning in Large Language Models

《Towards Alignment-Centric Paradigm: A Survey of Instruction Tuning in Large Language Models》总结与翻译

一、文章主要内容总结

该文章围绕大型语言模型（LLMs）的指令微调展开，是一篇系统性综述，全面覆盖指令微调的完整流程、关键技术、挑战与未来方向，具体内容如下：

（一）基础与背景

1. 大型语言模型虽在文本生成、理解等任务中表现突出，广泛应用于聊天机器人、翻译系统等领域，但存在生成错误答案、需大量计算资源与专业知识、部署存在风险等局限。
2. 指令微调作为解决预训练LLMs关键缺陷的核心技术，通过让模型学习“指令-预期输出”配对数据，提升模型任务性能、推理能力及与人类意图的对齐度，在医疗、金融等对准确性要求极高的敏感领域尤为重要。

（二）指令微调完整流程

1. 数据集构建（Step 1）：是指令微调的基础，包含三种主要方式。
   • 人工标注：由专家或众包人员创建指令-响应对（如FLAN、InstructGPT数据集），质量高但人力成本高、可扩展性差，其质量可通过公式(\mathcal{Q}{manual }=\frac{1}{N} \sum{i=1}^{N