Credence Calibration Game? Calibrating Large Language Models through Structured Play

《Credence Calibration Game? Calibrating Large Language Models through Structured Play》总结与翻译

一、文章主要内容

本文聚焦大型语言模型（LLMs）在决策关键领域应用中的置信度校准问题，提出了一种基于“可信度校准游戏”（Credence Calibration Game）的提示词校准框架，旨在解决LLMs常出现的置信度与实际正确性不匹配（如错误答案过度自信、正确答案信心不足）的问题。

1. 研究背景与现有方法局限

• 背景：LLMs在决策关键领域（如医疗、金融）应用时，不仅需要正确答案，还需可靠的置信度估计，但现有LLMs常存在置信度与正确性错位的情况。
• 现有方法局限：主流校准方法分为后处理调整（如直方图分箱、 isotonic回归）、辅助模型训练（如添加轻量级辅助模型）、基于强化学习的方法等，但这些方法多依赖额外监督数据、参数更新或外部模型，灵活性和适用性受限，缺乏轻量级、自包含的校准方案。

2. 核心方法：基于游戏的提示词校准框架

该框架灵感源自用于校准人类判断的“可信度校准游戏”，通过结构化交互循环实现LLMs置信度动态调整，无需修改模型参数，整体分为三个阶段：