Bradley-Terry 模型（Bradley-Terry Model）深度解析：从成对比较到强度排名

0 · 导读：四个模块的逻辑链

Bradley-Terry（BT）模型是「成对比较（paired comparison）」数据的经典概率模型：不给选手打绝对分，而是给每场「谁赢谁」赋予一个只依赖双方强度差的概率。它是 Elo 评分系统的理论原型，也是今天大模型对齐（RLHF 奖励模型、Chatbot Arena 排名）的数学底座。按下面的链条读，每一步都建立在前一步上：

1. 模型介绍：成对比较数据长什么样；模型 ${\pi }_{ij}=\sigma ({\theta }_i-{\theta }_j)$ 的三个等价写法；为什么只有强度差是可观测的（规范不变性）；从 Zermelo 1929 到 Chatbot Arena 的血缘；与 Elo 期望分公式的严格对应（Elo = 缩放的 BT + 在线梯度步）。
2. 似然与估计：对数似然怎么从独立比赛中拼出来；梯度为什么恰好是「总胜场 − 期望胜场」（MLE 的直觉含义）；MM 算法如何用一条切线不等式推出闭式迭代 ${\gamma }_i\leftarrow W_i/{\sum }_j{n}_{ij}/({\gamma }_i+{\gamma }_j)$；为什么它保似然单调、保规范不变；什么时候 MLE 不存在（不可分 + 不连通）。
3. 推断与工程：从观测信息矩阵读标准误；用 LRT 检验「两队无差异」和模型整体拟合；平局怎么处理（半场计分 vs Davidson vs Rao-Kupper）；主场/顺序效应；实力随时间变化时在线方法与批量方法的取舍；把 BT 变成「带特征的逻辑回归」；以及在 RLHF / DPO 里的角色。
4. 实战案例：把上面一切拼成端到端管线——固定 6 队矩阵 → numpy 手写 MM → 三项验证（单调性、胜场=期望胜场、与 sklearn 交叉验证）→ 全胜队发散与 L2 正则化 → 标准误 + LRT + 拟合优度 → Elo 与 BT 在同一序列上的轨迹对比。

1 · Bradley-Terry 模型介绍

1.1 问题：成对比较数据

很多场景下我们拿不到「实力的绝对测量」，只能拿到两两比较的结果：

共同结构：$K$ 个对象，若干场「$i$ 对 $j$」的比较，每场产出 $i\succ j$（$i$ 胜）、$j\succ i$ 或平局。BT 模型回答的问题：给每个对象一个实数强度 ${\theta }_i$，使「$i$ 胜 $j$ 的概率」是强度差的某个函数，并从数据中估计这些强度。

1.2 模型定义

Bradley-Terry 模型（Bradley & Terry, 1952；等价形式更早由 Zermelo 1929 用于棋手排名）假设：

$${\pi }_{ij}=P(i\succ j)=\frac{{\gamma }_i}{{\gamma }_i+{\gamma }_j}=\frac{1}{1+e^{-({\theta }_i-{\theta }_j)}}=\sigma ({\theta }_i-{\theta }_j),{\gamma }_i=e^{{\theta }_i}>0$$

三个写法是同一个模型：${\gamma }_i$ 是正强度（乘法尺度），${\theta }_i$ 是对数强度（加法尺度，更方便优化）。三条核心假设：

1. 只依赖差：${\pi }_{ij}$ 只由 ${\theta }_i-{\theta }_j$ 决定。给所有人同时加一个常数，所有预测不变（见 1.3 与 2.5）。
2. 独立性：不同比赛的结果相互独立。
3. 传递性（潜在单维性）：假设存在单一潜在强度轴。若 $i$ 大概率胜 $j$、$j$ 大概率胜 $k$，则 $i$ 大概率胜 $k$。石头剪刀布式的循环在样本里会出现，但模型假设它来自噪声而非结构。

1.3 三个直接性质

• 对数几率就是强度差：$\ln \frac{{\pi }_{ij}}{{\pi }_{ji}}={\theta }_i-{\theta }_j$。这是 BT 与逻辑回归共享的灵魂公式（逻辑回归里是 $\ln \frac{p}{1-p}=w\cdot x+b$，这里是 $x\equiv$「对位差」）。
• 赔率比是强度的比值：$\frac{{\pi }_{ij}}{{\pi }_{ji}}=\frac{{\gamma }_i}{{\gamma }_j}$，满足 Luce 选择公理——这是 Davidson 平局扩展的出发点（见 3.3）。
• 可识别性：只有差可观测。$\theta$ 的整体平移是规范的（gauge）自由度，任何结论都必须用差或排名来陈述（2.5 给出处理）。

1.4 血缘简史

1.5 与 Elo 的严格对应

Elo 给期望得分（$S=1$ 胜 / $0.5$ 平 / $0$ 负）：

$$E_i=\frac{1}{1+10^{(R_j-R_i)/400}}$$

把底数换成 $e$：$E_i=\sigma \left(\frac{\ln 10}{400}(R_i-R_j)\right)$。于是 Elo 期望分 = BT 胜率，只要令

$${\theta }_i=\frac{\ln 10}{400}{R}_i⟺R_i=\frac{400}{\ln 10}{\theta }_i\approx 173.72{\theta }_i$$

即 400 个 Elo 分 ⇔ 对数强度差 $\ln 10\approx 2.203$。Elo 的更新 $R_i\leftarrow R_i+K(S_i-E_i)$ 翻译成 $\theta$ 语言：

$${\theta }_i\leftarrow {\theta }_i+\frac{K}{173.72}(S_i-E_i)$$

这正是单场 BT 负对数似然 $-\ln \sigma ({\theta }_i-{\theta }_j)$ 对 ${\theta }_i$ 的一步梯度下降（$\partial /\partial {\theta }_i={\pi }_{ij}-1[i\text{胜}]$，见 2.2）。所以：

Elo = 学习率 $\eta =K/173.72$ 的在线 SGD；BT 批量 MLE = 同一目标函数的全局最优。 两者的差别全在「怎么用数据」：一个来一场学一场，一个用全部数据解似然。

交互版 W1 拖两个强度 ${\theta }_A,{\theta }_B$：胜率曲线、对数几率、Elo 分差实时联动，并标出 400 分对应的强度差位置。

1.6 模型家族对比