LLM RL 后训练中的 Score Centering

“Centering”（中心化）在 LLM 的 RL 后训练里指的是减去某个量的均值，但不同语境下被减的东西不一样：

名称	减去的东西	目的
baseline / 组均值（reward centering）	奖励的均值 $\bar{R}$	降低方差，梯度期望不变
score centering	score function ${\nabla }_{\theta }\log \pi$ 的期望	在 off-policy 下消除 drift（漂移）偏差
reward model centering	每个 prompt 的奖励偏移 $C(x)$	固定 BT 模型无法确定的常数
KL 正则目标中的 centering	配分函数 $\beta \log Z(x)$	用均值奖励代替不可计算的 $\log Z$

狭义的 score centering 来自 2026 年的两篇论文（Marek & Ryabinin, arXiv:2609.20807；Han & Hu, arXiv:2610.22263）。要看懂它，需要先把”为什么 on-policy 时 score 的均值为零”和”baseline 为什么不改变梯度”推一遍，所以本文按下面的顺序展开：

1. 策略梯度和 score function 的零均值性质（§1）
2. baseline 与协方差视角（§2）
3. 最优 baseline（§3）
4. 组均值：RLOO / GRPO / Dr. GRPO（§4）
5. score centering（§5，本文重点）
6. reward model 的 centering（§6）
7. KL 正则目标中的 centering（§7）
8. Sutton 的 Reward Centering（§8）

0. 记号

• $x$：prompt；$y=(y_1,\dots ,y_T)$：模型生成的回答；$h_t=(x,y_{<t})$：第 $t$ 步的前缀。
• ${\pi }_{\theta }$：正在训练的策略（trainer 端）。
• $R(x,y)$：整条回答的奖励（标量）。
• 目标函数：$J(\theta )={\mathbb{E}}_{y\sim {\pi }_{\theta }(\cdot \mid x)}[R(x,y)]$。
• score function：$s_{\theta }(y\mid x)={\nabla }_{\theta }\log {\pi }_{\theta }(y\mid x)$。注意这里的 “score” 是统计学术语（对数似然对参数的梯度），不是奖励分数。
• 词表 $\mathcal{V}$，在固定前缀下第 $v$ 个 token 的概率记为 $p_v={\pi }_{\theta }(v\mid h_t)$，其 score 记为 $s_v={\nabla }_{\theta }\log p_v$。
• $\mathrm{sg}[\cdot ]$：stop-gradient，前向取值不变，反向传播时梯度为零。

1. 策略梯度与 score function 的零均值性质

1.1 log-derivative trick

$J(\theta )={\sum }_y{\pi }_{\theta }(y\mid x)R(x,y)$，对 $\theta$ 求导时 $R$ 不依赖 $\theta$：

$${\nabla }_{\theta }J=\sum _{y}R(x,y){\nabla }_{\theta }{\pi }_{\theta }(y\mid x).$$

利用 $\nabla \log f=\nabla f/f$，即 ${\nabla }_{\theta }{\pi }_{\theta }={\pi }_{\theta }{\nabla }_{\theta }\log {\pi }_{\theta }$，代入：

$${\nabla }_{\theta }J=\sum _y{\pi }_{\theta }(y\mid x)R(x,y){\nabla }_{\theta }\log {\pi }_{\theta }(y\mid x)={\mathbb{E}}_{y\sim {\pi }_{\theta }}[R{s}_{\theta }(y\mid x)].$$

这一步把”对分布求导”变成了”在分布下求期望”，于是可以用采样估计：采 $y\sim {\pi }_{\theta }$，用 $R\cdot s_{\theta }(y\mid x)$ 作为梯度的无偏估计（REINFORCE）。

1.2 score 的期望为零

这是全文最关键的一个等式：

$${\mathbb{E}}_{y\sim {\pi }_{\theta }}[s_{\theta }(y\mid x)]=\sum _y{\pi }_{\theta }\frac{{\nabla }_{\theta }{\pi }_{\theta }}{{\pi }_{\theta }}=\sum _y{\nabla }_{\theta }{\pi }_{\theta }={\nabla }_{\theta }\underset{=1}{\underbrace{\sum _y{\pi }_{\theta }(y\mid x)}}=0.$$

IMPORTANT

这个等式成立的前提是采样分布就是 ${\pi }_{\theta }$ 本身（on-policy）。如果样本来自另一个分布 $q\ne {\pi }_{\theta }$，则 ${\mathbb{E}}_q[s_{\theta }]\ne 0$。§5 的 score centering 正是为了修补这一点。

1.3 token 级别的形式

自回归模型有 $\log {\pi }_{\theta }(y\mid x)={\sum }_{t=1}^T\log {\pi }_{\theta }(y_t\mid h_t)$，所以

$$s_{\theta }(y\mid x)=\sum _{t=1}^T{s}_t,s_t={\nabla }_{\theta }\log {\pi }_{\theta }(y_t\mid h_t).$$

1.2 的推导对每个前缀单独成立（把求和对象从”整条回答”换成”词表中的下一个 token”）：

$${\mathbb{E}}_{y_t\sim {\pi }_{\theta }(\cdot \mid h_t)}[s_t\mid h_t]=\sum _{v\in \mathcal{V}}{p}_v{s}_v=0.$$

1.4 用 softmax 具体验证

设当前前缀下的 logits 为 $z\in {\mathbb{R}}^{|\mathcal{V}|}$，$p=\mathrm{softmax}(z)$。则

$$\log p_v=z_v-\log \sum _u{e}^{z_u}⟹\frac{\partial \log p_v}{\partial z}=e_v-p,$$

其中 $e_v$ 是第 $v$ 个 one-hot 向量（第二项来自 $\partial \log {\sum }_u{e}^{z_u}/\partial z_u=p_u$）。于是

$$\sum _v{p}_v(e_v-p)=p-p\underset{=1}{\underbrace{{\sum }_v{p}_v}}=0.$$

直观上：采到 token $v$ 时，梯度把 $v$ 的 logit 往上推（$e_v$），把所有 token 按概率往下压（$-p$）。按 $p$ 平均后，推和压正好抵消。后文在 logit 空间里讨论时都用这个形式。

2. Baseline 与协方差视角

2.1 减 baseline 不改变梯度期望

对任意不依赖于 $y$ 的 $b$（可以依赖 $x$）：

$${\mathbb{E}}_{{\pi }_{\theta }}[(R-b)s_{\theta }]={\mathbb{E}}_{{\pi }_{\theta }}[R{s}_{\theta }]-b\underset{=0(\S 1.2)}{\underbrace{{\mathbb{E}}_{{\pi }_{\theta }}[s_{\theta }]}}={\nabla }_{\theta }J.$$

$b$ 不依赖 $y$ 这一条件不能省：它保证了 $b$ 能从期望里提出来。如果 $b$ 和 $y$ 有关（例如 §4 中包含样本自身奖励的组均值），这一步就不成立。

2.2 协方差视角

协方差的定义是 $\mathrm{Cov}(R,s)=\mathbb{E}[Rs]-\mathbb{E}[R]\mathbb{E}[s]$。由于 on-policy 下 $\mathbb{E}[s]=0$，

$$\boxed{{\nabla }_{\theta }J={\mathbb{E}}_{{\pi }_{\theta }}[R{s}_{\theta }]={\mathrm{Cov}}_{{\pi }_{\theta }}(R,s_{\theta })}$$

协方差可以等价地写成三种形式：

$$\mathrm{Cov}(R,s)=\mathbb{E}[(R-\mathbb{E}R)s]=\mathbb{E}[R(s-\mathbb{E}s)]=\mathbb{E}[(R-\mathbb{E}R)(s-\mathbb{E}s)].$$

这给出了理解所有 centering 的统一框架：策略梯度本质上是奖励与 score 的协方差，而估计协方差时可以对 $R$ 中心化，也可以对 $s$ 中心化。

• 对 $R$ 中心化：baseline、组均值（§2.1、§4）。
• 对 $s$ 中心化：score centering（§5）。

on-policy 时 $\mathbb{E}s=0$，对 $s$ 中心化是”白做”，所以过去很少有人提。一旦采样分布偏离训练分布，$\mathbb{E}s\ne 0$，两种中心化就不再等价。

2.3 那为什么还要减 baseline？

期望不变，但方差会变。比如二元奖励 $R\in \{0,1\}$ 下，所有回答都错时 $Rs=0$；全对时 $Rs=s$，这一项期望为零但单个样本的值可能很大，纯粹是噪声。减去 baseline 后，只有”比平均好/差”的部分产生梯度。

3. 最优 baseline

单样本梯度估计量 $g=(R-b)s$ 是一个向量，它的”方差”取总方差 $\mathrm{Var}(g)=\mathbb{E}\Vert g{\Vert }^2-\Vert \mathbb{E}g{\Vert }^2$。由 §2.1，$\mathbb{E}g=\nabla J$ 与 $b$ 无关，所以只需最小化

$$f(b)=\mathbb{E}[(R-b{)}^2\Vert s{\Vert }^2]=\mathbb{E}[R^2\Vert s{\Vert }^2]-2b\mathbb{E}[R\Vert s{\Vert }^2]+b^2\mathbb{E}[\Vert s{\Vert }^2].$$

这是 $b$ 的二次函数，令导数为零：

$$f^{\prime }(b)=-2\mathbb{E}[R\Vert s{\Vert }^2]+2b\mathbb{E}[\Vert s{\Vert }^2]=0⟹\boxed{b^{\star }=\frac{\mathbb{E}[R\Vert s{\Vert }^2]}{\mathbb{E}[\Vert s{\Vert }^2]}}$$

$b^{\star }$ 是以 $\Vert s{\Vert }^2$ 为权重的奖励加权平均。如果 $\Vert s{\Vert }^2$ 与 $R$ 近似无关，$b^{\star }\approx \mathbb{E}[R]$，这就是实践中直接用”平均奖励”作 baseline 的理由。（Weaver & Tao 2001；Greensmith et al. 2004；Han & Hu 2026 Eq. 79 给出的也是这个形式。）

4. 组均值：RLOO、GRPO、Dr. GRPO

LLM 里通常拿不到 $\mathbb{E}[R\mid x]$，于是对同一个 prompt $x$ 独立采 $G$ 条回答 $y_1,\dots ,y_G$，奖励记 $R_i=R(x,y_i)$，用组内统计量估计 baseline。

4.1 RLOO：留一法均值，严格无偏

RLOO（Ahmadian et al. 2024, arXiv:2402.14740）对第 $i$ 条样本使用其他 $G-1$ 条的均值作 baseline：

$$b_i^{\text{LOO}}=\frac{1}{G-1}\sum _{j\ne i}{R}_j,{\hat{g}}_{\text{RLOO}}=\frac{1}{G}\sum _{i=1}^G(R_i-b_i^{\text{LOO}})s_i.$$

无偏性：$y_j$（$j\ne i$）与 $y_i$ 独立，所以 $b_i^{\text{LOO}}$ 与 $y_i$ 独立，可以先对 $y_i$ 求条件期望：

$$\mathbb{E}\left[b_i^{\text{LOO}}{s}_i\right]={\mathbb{E}}_{y_{-i}}\left[b_i^{\text{LOO}}\underset{=0}{\underbrace{{\mathbb{E}}_{y_i}[s_i]}}\right]=0,$$

因此 $\mathbb{E}[{\hat{g}}_{\text{RLOO}}]=\frac{1}{G}{\sum }_i\mathbb{E}[R_i{s}_i]=\nabla J$。

4.2 包含自身的组均值：差一个 $(G-1)/G$

GRPO 和 Dr. GRPO 用的是包含自身的组均值 $\bar{R}=\frac{1}{G}{\sum }_{j=1}^G{R}_j$。这时 $\bar{R}$ 含有 $R_i$，依赖于 $y_i$，§2.1 的论证不再直接适用。把 $R_i$ 从 $\bar{R}$ 中拆出来：

$$\begin{array}{rl}{R}_i-\bar{R}& =R_i-\frac{1}{G}{R}_i-\frac{1}{G}\sum _{j\ne i}{R}_j\\ & =\frac{G-1}{G}{R}_i-\frac{G-1}{G}\cdot \frac{1}{G-1}\sum _{j\ne i}{R}_j\\ & =\frac{G-1}{G}(R_i-b_i^{\text{LOO}}).\end{array}$$

所以组均值优势恰好是 RLOO 优势乘以常数 $\frac{G-1}{G}$，于是

$$\mathbb{E}[\frac{1}{G}\sum _i(R_i-\bar{R})s_i]=\frac{G-1}{G}\nabla J.$$

这里的偏差只出现在尺度上，方向完全正确，可以并入学习率（Han & Hu 2026, Prop. 10 / Remark 2）。$G=8$ 时这个因子是 $0.875$。

4.3 GRPO 的 std 归一化与长度归一化

GRPO（DeepSeekMath）的优势是

$${\hat{A}}_i=\frac{R_i-\mathrm{mean}(\{R_j{\}}_{j=1}^G)}{\mathrm{std}(\{R_j{\}}_{j=1}^G)},$$

再把每条回答的 token 损失除以长度 $|o_i|$。Liu et al.（Dr. GRPO, arXiv:2503.20783）指出这两个除法各引入一种偏差。

(1) std 带来的问题难度偏差。 $\mathrm{std}$ 同样依赖 $y_i$，而且不像 4.2 那样能拆成”常数 × 无偏项”，所以它带来的不只是尺度变化。更直观的影响是按 prompt 重新加权：二元奖励下若该 prompt 的正确率为 $p$，则组内 std $\approx \sqrt{p(1-p)}$，

$$\mathbb{E}[{\hat{A}}_i{s}_i]\approx \frac{1}{\sqrt{p(1-p)}}\cdot {\nabla }_{\theta }J(x).$$

$p$ 接近 0 或 1（太难或太简单）时 $\sqrt{p(1-p)}$ 很小，权重很大。实际优化的目标因此变成了”按 $1/\sqrt{p(1-p)}$ 加权的期望奖励”，而不是原始的 ${\sum }_{x}J(x)$。

(2) $1/|o_i|$ 带来的长度偏差。 优势为正时，短回答的每个 token 得到更大的更新；优势为负时，长回答的每个 token 惩罚更小。结果是错误回答倾向于越写越长。veRL 里控制这一点的是 loss_agg_mode 参数（token-mean、seq-mean-token-mean 等，见 veRL 源码笔记），其中 seq-mean-token-mean 对应 GRPO 的按长度归一化。

Dr. GRPO 的修正（另见 RLVR 算法对比：Dr.GRPO）：两个除法都去掉，

$${\tilde{A}}_i=R_i-\mathrm{mean}(\{R_j{\}}_{j=1}^G),$$

由 4.2，它的期望梯度是 $\frac{G-1}{G}\nabla J$。

REINFORCE++（Hu et al., arXiv:2501.03262）的折中做法是：先减组均值，再用整个 batch 的均值和标准差归一化。batch 很大时这些统计量近似为常数，不再随单个样本变化，从而避免了 (1) 中的问题。

5. Score Centering

5.1 问题来源：training-inference mismatch

实际的 RL 系统里，rollout 由推理引擎（vLLM / SGLang，可能还有量化、不同 kernel）生成，梯度由训练框架（FSDP / Megatron）计算。即便权重相同，两边算出的 token 概率也不完全一样；异步训练里 sampler 的权重还会落后若干步。这种现象称为 training-inference mismatch（TIM），它如何随训练放大并导致崩溃，可参考 这篇论文笔记。记

• $q$：sampler（推理端）的分布，$q_v=q(v\mid h_t)$；
• $p$：trainer（训练端）的分布，$p_v={\pi }_{\theta }(v\mid h_t)$，梯度对它求。

样本 $y_t\sim q$，但 score 用 $p$ 计算：$s_{y_t}={\nabla }_{\theta }\log p_{y_t}$。这时 §1.2 的前提被打破：

$$\bar{s}:={\mathbb{E}}_{y_t\sim q}[s_{y_t}]=\sum _v{q}_v{s}_v\ne 0.$$

用 §1.4 的 logit 形式算一下，$s_v=e_v-p$：

$$\bar{s}=\sum _v{q}_v(e_v-p)=q-p\sum _v{q}_v=q-p.$$

所以 $\bar{s}$ 就是两个分布之差 $q-p$，on-policy（$q=p$）时为零，mismatch 越大它越大。

下图是一个 6 个 token 的玩具例子：sampler 的 logit 带有一个固定的数值偏差，于是 $q$ 与 $p$ 略有不同（左），二者之差就是 $\bar{s}$（右）。

5.2 Drift / Signal 分解

不做重要性采样时，单个 token 的 REINFORCE 估计量期望为 ${\mathbb{E}}_q[R{s}_{y_t}]$。由协方差定义 $\mathbb{E}[XY]=\mathbb{E}[X]\mathbb{E}[Y]+\mathrm{Cov}(X,Y)$：

$${\mathbb{E}}_q[R{s}_{y_t}]=\underset{\text{drift}}{\underbrace{{\mathbb{E}}_q[R]\bar{s}}}+\underset{\text{signal}}{\underbrace{{\mathrm{Cov}}_q(R,s_{y_t})}}\text{(Marek \& Ryabinin, Eq. 3)}$$

• signal：奖励和 score 的协方差，即 §2.2 中真正有用的”策略梯度”部分。
• drift：在 logit 空间里等于 ${\mathbb{E}}_q[R](q-p)$。它与奖励好坏没有关系，只要平均奖励为正，就把 $p$ 往 $q$ 拉（等价于把 trainer 往 sampler 蒸馏）；平均奖励为负则往反方向推。

用上图的 $p$、$q$，设 token 0 是正确答案，奖励 $R=(2,1,1,1,1,1)$（即 0/1 奖励整体加 1），把三项逐 token 算出来：

• 灰柱 = 红柱 + 绿柱，这就是上面的分解式。
• 绿柱（信号项）的符号与蓝柱（on-policy 真实梯度）一致：正确的 token 0 被往上推，其余被往下压。
• 红柱（漂移项）只取决于 $q-p$。token 2 在 sampler 下被高估，漂移项把它往上推，以至于灰柱在 token 2 上是正的：未中心化的梯度在提高一个错误答案的概率。

把这几个 6 维向量画成箭头，看它们在梯度空间里的位置。横轴取 on-policy 真实梯度的方向，纵轴取 drift 中与它正交的部分。这个例子里四个向量恰好落在同一个平面内，所以投影没有丢失信息；两轴比例相同，图中的角度和长度都是真实的。

• (a)：未中心化梯度（黑）是 signal（蓝）与 drift（橙）的向量和，即平行四边形的对角线。drift 几乎垂直于真实梯度，它不帮助学习，只把更新方向往 $q-p$ 一侧拉偏了约 29°。score centering 去掉橙色箭头，更新方向就变回蓝色箭头。
• (b)：奖励恒为 1 时 signal 是零向量，正确的更新应该是”不动”。未中心化梯度却等于 drift 本身，每一步都朝 $q-p$ 推一下，这就是 §5.3 训练曲线 (a) 中 KL 持续上升的原因。（(b) 沿用 (a) 的坐标轴。）

蓝色箭头和灰色虚线之间还有约 11° 的夹角：signal 是在 $q$ 下算的协方差 ${\mathrm{Cov}}_q$，而真实梯度是 ${\mathrm{Cov}}_p$。score centering 只去掉 drift，这部分剩余的 off-policy 偏差要靠重要性采样修正（§5.6）。

一个极端例子：假设所有回答奖励都是 $R\equiv 1$。此时 $\mathrm{Cov}=0$，没有任何学习信号，但梯度期望仍是 $q-p\ne 0$。每一步都推着参数朝”模仿推理引擎的数值误差”的方向走，而且这个偏差每步方向一致，会持续累积。论文认为这是 TIM 下训练不稳定的主要原因。

5.3 Score centering 的定义

把 score 减去它在 sampler 下的期望：

$$\boxed{{\tilde{s}}_{y_t}=s_{y_t}-\bar{s},\bar{s}=\sum _{v\in \mathcal{V}}{q}_v{s}_v}\text{(Eq. 4)}$$

按构造，${\mathbb{E}}_q[{\tilde{s}}_{y_t}]=\bar{s}-\bar{s}=0$，在每个前缀上都成立。代回 5.2：

$${\mathbb{E}}_q[R{\tilde{s}}_{y_t}]={\mathbb{E}}_q[R]\cdot \underset{=0}{\underbrace{{\mathbb{E}}_q[{\tilde{s}}_{y_t}]}}+{\mathrm{Cov}}_q(R,{\tilde{s}}_{y_t})={\mathrm{Cov}}_q(R,s_{y_t}).$$

最后一步用到”减常数不改变协方差”（$\bar{s}$ 在给定前缀下是常数）。所以 drift 被精确消掉，signal 原样保留。

在同一个玩具例子上跑 400 步 REINFORCE（logit 直接作为参数，学习率 0.5，batch 64，20 个种子平均）：

• (a) 常数奖励 $R\equiv 1$：理论上梯度应为零。不中心化时（红）策略持续漂移，KL 升到约 1.8，相当于把 trainer 蒸馏成了 sampler；中心化后（蓝）KL 停在约 0.07，与 on-policy（绿）同一量级，剩下的只是采样噪声。
• (b) 有学习信号：三条曲线都能学会正确 token，但不中心化的那条始终慢一些，因为每一步都有一部分更新被漂移项”浪费”在拟合 $q$ 上。中心化后的曲线与 on-policy 几乎重合。

这个例子里 mismatch 是固定的、奖励信号又很强，所以 (b) 的差距不大。真实训练中奖励信号弱、步数长、漂移方向持续一致，(a) 那种累积才是主要问题。

在 logit 空间里看更直观：

$${\tilde{s}}_{y_t}=(e_{y_t}-p)-(q-p)=e_{y_t}-q.$$

原来的 score $e_{y_t}-p$ 是”拿采样分布 $q$ 的样本，配上 $p$ 的中心”，两者对不上；中心化后变成 $e_{y_t}-q$，样本和中心都来自 $q$，均值自然为零。

这和 §2 的 baseline 是对偶的：baseline 对 $R$ 做中心化，score centering 对 $s$ 做中心化。§2.2 说过 on-policy 时二者等价，off-policy 时只有对 $s$ 中心化才能去掉 $\bar{s}\ne 0$ 带来的项。

5.4 写成 loss：stop-gradient 技巧

我们希望 autograd 算出 $R(s_{y_t}-\bar{s})$。注意 $\bar{s}={\sum }_v{q}_v\nabla \log p_v=\nabla \left({\sum }_v{q}_v\log p_v\right)$，前提是 $q_v$ 不参与求导。于是构造

$$\mathcal{L}=-R(\log p_{y_t}-\sum _v\mathrm{sg}[q_v]\log p_v).$$

验证：

$$-{\nabla }_{\theta }\mathcal{L}=R(\nabla \log p_{y_t}-\sum _v{q}_v\nabla \log p_v)=R(s_{y_t}-\bar{s}).$$

括号里的第二项是 $-{\sum }_v{q}_v\log p_v$ 的相反数，也就是交叉熵 $H(q,p)$ 的相反数。所以 score centering 的 loss 等于普通 policy gradient loss 加上 $-R\cdot H(q,p)$：采到的 token 获得 $R$ 倍的 log-likelihood 奖励，同时以同样的权重被要求”不要去拟合 $q$ 的整体形状”。实践中 $R$ 换成优势 $A$（论文 Eq. 15 用的是 rollout 级优势 $A_i$）。

5.5 Top-k 近似：不用存整个词表

$\bar{s}$ 需要 sampler 在整个词表（约 15 万）上的概率，每个 token 都存一份代价太高。论文只存 sampler 的 top-$k$（$k=128$）概率，记这个集合为 $H$，其余为尾部 $T$。近似方法可以这样推出：

1. 把求和拆开：$\bar{s}={\sum }_{v\in H}{q}_v{s}_v+{\sum }_{v\in T}{q}_v{s}_v$。
2. 尾部的 $q_v$ 不知道，用 trainer 概率按比例近似：$q_v\approx \rho p_v$（$v\in T$），$\rho$ 是两边尾部总质量之比，$\rho =\frac{1-{\sum }_{v\in H}{q}_v}{1-{\sum }_{v\in H}{p}_v}$。
3. 利用 trainer 自身的零均值性质 ${\sum }_{v\in \mathcal{V}}{p}_v{s}_v=0$（§1.3），得到 ${\sum }_{v\in T}{p}_v{s}_v=-{\sum }_{v\in H}{p}_v{s}_v$。
4. 合并：

$$\bar{s}\approx \sum _{v\in H}{q}_v{s}_v-\rho \sum _{v\in H}{p}_v{s}_v=\sum _{v\in H}(q_v-\rho p_v)s_v\text{(Eq. 10)}$$

对应的 loss（Eq. 8）：

$$\mathcal{L}=-R(\log p_{y_t}-\sum _{v\in H}\mathrm{sg}[q_v-\rho p_v]\log p_v).$$

只需要 $H$ 中 128 个 token 的 $\log p_v$，额外开销论文报告不到 1% 的 wall-clock。（上面 $\rho$ 的具体表达式是我按”尾部质量之比”的描述写出的，具体请以原文为准。）

5.6 与重要性采样（IS）的关系

传统做法是用重要性权重 $w_{y_t}=p_{y_t}/q_{y_t}$ 修正：

$${\mathbb{E}}_q[w_{y_t}R{s}_{y_t}]=\sum _v{q}_v\frac{p_v}{q_v}R{s}_v={\mathbb{E}}_p[R{s}_{y_t}],$$

这样就回到了 on-policy，此时 ${\mathbb{E}}_q[ws]={\mathbb{E}}_p[s]=0$，drift 也随之消失。问题在于 $w$ 方差可能极大，实际都会截断或裁剪（TIS、MIS、PPO clip），记为 $f(w)$。截断后

$${\mathbb{E}}_q[f(w)s]\ne 0,$$

drift 又回来了。Han & Hu 正是从这一点出发：对正则化后的 IS，梯度不再对奖励的常数平移保持不变（把 $R$ 换成 $R+c$，梯度多出 $c{\mathbb{E}}_q[f(w)s]$）。修复方法是对加权后的 score 做中心化：

$${\tilde{s}}_t=f(w_t)s_t-{\mathbb{E}}_q[f(w_t)s_t\mid h_t].$$

Marek & Ryabinin 的 Eq. 14 给出了二者组合的 loss：

$$\mathcal{L}=-R(\mathrm{sg}[w_{y_t}]\log p_{y_t}-\sum _{v\in H}\mathrm{sg}[q_v{w}_v-\alpha p_v]\log p_v),$$

其中 $\alpha$ 对应 5.5 里尾部近似的系数。两种修正的性质不同：

	重要性采样	score centering
修正方式	乘法（对每个样本加权）	加法（减去一个确定性的向量）
是否引入额外方差	是，$w$ 可能很大	否，$\bar{s}$ 是条件期望
超参数	截断阈值等	无
修正的偏差	全部 off-policy 偏差	drift 部分

两者可以叠加使用，论文报告叠加的效果优于单独使用 IS，且 mismatch 越大，score centering 的收益越明显。

5.7 有了组均值 baseline，还需要 score centering 吗？

Han & Hu 的结论取决于 IS 作用在序列级还是 token 级。

序列级（Prop. 11）：不需要。 设 $X_i=R_i$，$Y_i$ 为（加权的）序列 score，其总体均值为 ${\mu }_Y$。比较两个估计量：

$$\mathbb{E}[(X_i-\bar{R})(Y_i-{\mu }_Y)]=\mathbb{E}[(X_i-\bar{R})Y_i]-{\mu }_Y\mathbb{E}[X_i-\bar{R}].$$

由于组内对称，$\mathbb{E}[X_i]=\mathbb{E}[\bar{R}]$，所以第二项为零，两者期望相同。也就是说，组均值 baseline 已经保证 $R$ 被中心化，再对 $s$ 中心化在期望上没有作用。

token 级（Prop. 15）：需要。 序列奖励 $R$ 要乘以每个 token 的 score，token $t$ 的 drift 为

$$\mathbb{E}[(R-b)\bar{s}(h_t)]=\mathbb{E}\left[\right(\mathbb{E}[R\mid h_t]-b)\bar{s}(h_t)].$$

组均值 $b$ 对整组只有一个值，只能抵消 prompt 层面的平均奖励；而 $\mathbb{E}[R\mid h_t]$ 随前缀变化（写到一半已经走上正确思路的前缀，期望奖励更高）。只要它与 $\bar{s}(h_t)$ 相关，这一项就不为零。论文把这个偏差写成 ${\mathrm{Cov}}_q(R,{\sum }_t\bar{s}(h_t))$：精确 IS 下 $\bar{s}\equiv 0$，偏差为零；截断 IS 下偏差非零。（这一段的条件期望推导是我为了说明直观而写的，严格形式见原文 Prop. 15。）

实践建议（Han & Hu），整理成决策流程：

flowchart TD
    A["采样策略 q 与训练策略 p 是否一致？"] -->|"是（严格 on-policy）"| B["组均值 baseline 即可<br/>E_p[s] = 0，score centering 无作用"]
    A -->|"否（TIM / 异步 / 陈旧策略）"| C["是否使用重要性采样？"]
    C -->|"否"| D["加 score centering<br/>消除漂移项 E_q[R]·(q − p)"]
    C -->|"是"| E["IS 作用在哪个层级？"]
    E -->|"序列级"| F["组均值 baseline 即可<br/>（Prop. 11）"]
    E -->|"token 级"| G["权重是否被截断 / 裁剪？"]
    G -->|"否（精确 IS）"| H["组均值 baseline 即可<br/>E_q[w·s] = 0"]
    G -->|"是（TIS / MIS / PPO clip）"| I["加 score centering<br/>+ 组均值或常数 baseline（Prop. 15）"]

• 序列级 IS（如 GSPO 一类）：只用组均值 baseline 即可。
• token 级 IS 且权重被截断或裁剪（大多数 PPO / GRPO 实现）：加上 score centering，可以搭配组均值，也可以搭配常数 baseline。

6. Reward Model 的 centering

6.1 Bradley-Terry 模型的平移不变性

奖励模型用偏好数据训练，BT 模型（Efficient Exploration at Scale 中也用它建模偏好）为

$$P(y^{+}\succ y^{-}\mid x)=\sigma (r(x,y^{+})-r(x,y^{-})).$$

令 $r^{\prime }(x,y)=r(x,y)+C(x)$，$C(x)$ 是任意只依赖 prompt 的函数：

$$r^{\prime }(x,y^{+})-r^{\prime }(x,y^{-})=r(x,y^{+})+C(x)-r(x,y^{-})-C(x)=r(x,y^{+})-r(x,y^{-}).$$

似然完全不变，所以BT 损失只能确定奖励到一个 per-prompt 常数为止。训练出来的 $r$ 的”零点”是任意的，可能随 prompt 漂移。

6.2 这对 RL 有什么影响？

由 §2.1，on-policy 下 $C(x)$ 相当于一个 baseline，不影响梯度的期望，只影响方差。但以下几种情况它会产生实际影响：

1. 不减 baseline 时方差大：$C(x)$ 很大时，$Rs$ 被一个与好坏无关的大常数放大。
2. off-policy / 截断 IS 下：§5.6 说明此时梯度不再对平移保持不变，$C(x)$ 直接变成 drift 的系数 ${\mathbb{E}}_q[R]$。
3. 与 KL 惩罚相加：$R-\beta \mathrm{KL}$ 中两项的相对大小取决于 $R$ 的零点。
4. 集成多个 RM：不同成员学到不同的 $C(x)$，取 median / min 就没有意义了。

6.3 实践中的做法

• InstructGPT（arXiv:2203.02155）：用一个偏置把奖励模型归一化，使人工示范回答的平均分为 0，再开始 RL。原文：“since the RM loss is invariant to shifts in reward, we normalize the reward model using a bias so that the labeler demonstrations achieve a mean score of 0 before doing RL.”
• Llama 2（arXiv:2307.09288）：对组合后的奖励做 whitening（中心化并缩放），${\tilde{R}}_c=\mathrm{WHITEN}(\mathrm{LOGIT}(R_c))$，再减 KL 惩罚。
• Eisenstein et al.（Helping or Herding?, arXiv:2312.09244）：在 RM 训练损失中加一个 centering 正则项，

$${\mathcal{J}}_{\text{reg}}(r)=\mathcal{J}(r)+\eta \mathbb{E}[(r(x,y^{+})+r(x,y^{-}){)}^2].$$

BT 损失只约束差 $r^{+}-r^{-}$，这个正则项约束和 $r^{+}+r^{-}$ 趋于 0，相当于把 $C(x)$ 固定为”使每对偏好的平均奖励为零”。差和和两个方向合起来就把 $r^{+}$、$r^{-}$ 都确定下来了。

7. KL 正则目标中的 centering：用均值奖励代替 $\log Z$

7.1 最优策略的闭式解

KL 正则的 RL 目标：

$$\underset{\pi }{\max }{\mathbb{E}}_{y\sim \pi }[r(x,y)]-\beta \mathrm{KL}(\pi (\cdot \mid x)\Vert {\pi }_{\text{ref}}(\cdot \mid x)).$$

把 KL 展开并提取 $-\beta$：

$${\mathbb{E}}_{\pi }[r-\beta \log \frac{\pi }{{\pi }_{\text{ref}}}]=-\beta {\mathbb{E}}_{\pi }\left[\log \frac{\pi }{{\pi }_{\text{ref}}{e}^{r/\beta }}\right].$$

定义 $Z(x)={\sum }_y{\pi }_{\text{ref}}(y\mid x)e^{r(x,y)/\beta }$ 和 ${\pi }^{\ast }={\pi }_{\text{ref}}{e}^{r/\beta }/Z$，则 ${\pi }_{\text{ref}}{e}^{r/\beta }=Z{\pi }^{\ast }$，上式变为

$$-\beta {\mathbb{E}}_{\pi }\left[\log \frac{\pi }{{\pi }^{\ast }}\right]+\beta \log Z(x)=-\beta \mathrm{KL}(\pi \Vert {\pi }^{\ast })+\beta \log Z(x).$$

$\beta \log Z$ 与 $\pi$ 无关，KL 非负且仅在 $\pi ={\pi }^{\ast }$ 时为零，所以最优策略就是 ${\pi }^{\ast }$。反解奖励：

$$r(x,y)=\beta \log \frac{{\pi }^{\ast }(y\mid x)}{{\pi }_{\text{ref}}(y\mid x)}+\beta \log Z(x).$$

7.2 $\log Z$ 也是一个 per-prompt 常数

$\beta \log Z(x)$ 只依赖 $x$，和 §6.1 的 $C(x)$ 是同一类东西。$Z$ 要对所有回答求和，没法直接算，常见的处理有两种：

(a) 成对作差消掉（DPO、REBEL）。同一 prompt 的两条回答相减，$\log Z$ 抵消：

$$r(x,y)-r(x,y^{\prime })=\beta \log \frac{{\pi }^{\ast }(y\mid x)}{{\pi }_{\text{ref}}(y\mid x)}-\beta \log \frac{{\pi }^{\ast }(y^{\prime }\mid x)}{{\pi }_{\text{ref}}(y^{\prime }\mid x)}.$$

DPO 把它代入 BT 模型（损失形式见 RLVR 算法对比：DPO）；REBEL（arXiv:2404.16767）用平方损失回归这个差。

(b) 用组均值奖励近似（Kimi k1.5, arXiv:2501.12599）。以上一轮策略 ${\pi }_{{\theta }_i}$ 作参考、温度为 $\tau$，最优性条件 $r-\tau \log Z=\tau \log \frac{{\pi }^{\ast }}{{\pi }_{{\theta }_i}}$ 给出平方损失

$$L=\mathbb{E}\left[\right(r(x,y)-\tau \log Z-\tau \log \frac{{\pi }_{\theta }(y\mid x)}{{\pi }_{{\theta }_i}(y\mid x)}{)}^2].$$

把 $\tau \log Z$ 换成 $k$ 个样本的平均奖励 $\bar{r}=\frac{1}{k}{\sum }_{j=1}^{k}r(x,y_j)$。

为什么这个近似合理？ 对 $\log \frac{{\pi }^{\ast }}{{\pi }_{{\theta }_i}}$ 在 ${\pi }_{{\theta }_i}$ 下取期望：

$${\mathbb{E}}_{{\pi }_{{\theta }_i}}\left[\tau \log \frac{{\pi }^{\ast }}{{\pi }_{{\theta }_i}}\right]=-\tau \mathrm{KL}({\pi }_{{\theta }_i}\Vert {\pi }^{\ast })\le 0,$$

于是 $\tau \log Z={\mathbb{E}}_{{\pi }_{{\theta }_i}}[r]+\tau \mathrm{KL}({\pi }_{{\theta }_i}\Vert {\pi }^{\ast })$。当 $\tau$ 较大或每轮更新幅度较小时 KL 项很小，$\tau \log Z\approx {\mathbb{E}}_{{\pi }_{{\theta }_i}}[r]\approx \bar{r}$。（这一推导是我为解释 Kimi 的做法补充的，原文只说明了这个近似在实践中效果良好。）

再看损失对 $\theta$ 的梯度：在 ${\pi }_{\theta }={\pi }_{{\theta }_i}$ 处 log-ratio 为 0，

$${\nabla }_{\theta }L{|}_{\theta ={\theta }_i}=-2\tau \mathbb{E}[(r-\bar{r}){\nabla }_{\theta }\log {\pi }_{\theta }],$$

正好是带组均值 baseline 的 REINFORCE（差一个常数）。所以”用 $\bar{r}$ 代替 $\log Z$“和 §4 的组均值 baseline 本质上是同一件事。

(c) 把 $\log Z$ 当作参数来学。FlowRL 用一个 3 层 MLP 预测 $\log Z_{\varphi }(x)$，与策略一起放进 trajectory balance 平方损失训练。它和 (b) 处理的是同一个 per-prompt 常数，区别在于用网络去拟合，而不是用组均值去估计。

8. Sutton 的 Reward Centering（持续任务中的 TD 学习）

Naik, Wan, Tomar & Sutton, Reward Centering（arXiv:2405.09999）讨论的是另一种设定：没有终止状态的持续任务，用折扣 TD 学习价值函数。LLM 的单轮 RLVR 一般不属于这种设定，但它的分解能解释”为什么要把奖励的均值拿掉”。

8.1 Laurent 分解

设策略 $\pi$ 下的平均奖励为 $r(\pi )={\lim }_{n\to \infty }\frac{1}{n}\mathbb{E}\left[{\sum }_{t=1}^n{R}_t\right]$。折扣价值函数可以分解为

$$v_{\pi }^{\gamma }(s)=\frac{r(\pi )}{1-\gamma }+{\tilde{v}}_{\pi }(s)+e_{\pi }^{\gamma }(s),$$

其中 ${\tilde{v}}_{\pi }$ 是差分价值（differential value），$e_{\pi }^{\gamma }\to 0$（$\gamma \to 1$）。

第一项的来源：如果每一步都恰好拿到平均奖励 $r(\pi )$，折扣回报就是几何级数

$$\sum _{k=0}^{\infty }{\gamma }^{k}r(\pi )=\frac{r(\pi )}{1-\gamma }.$$

这一项对所有状态都一样，不影响”哪个状态更好”，但 $\gamma =0.99$ 时会被放大 100 倍、$\gamma =0.999$ 时放大 1000 倍。函数近似器要花大量容量去拟合这个与决策无关的大常数。

8.2 中心化后的 TD 更新

把每步奖励减去平均奖励的估计 ${\bar{R}}_t$，Laurent 分解的第一项就消失了：

$${\tilde{V}}_{t+1}(S_t)={\tilde{V}}_t(S_t)+{\alpha }_t[(R_{t+1}-{\bar{R}}_t)+\gamma {\tilde{V}}_t(S_{t+1})-{\tilde{V}}_t(S_t)].$$

${\bar{R}}_t$ 的两种估计方法：

• 简单中心化：${\bar{R}}_{t+1}={\bar{R}}_t+{\beta }_t(R_{t+1}-{\bar{R}}_t)$，即奖励的滑动平均。on-policy 时没问题，off-policy 时估计的是行为策略的平均奖励，有偏差。
• 基于价值的中心化：用 TD 误差更新 $\bar{R}$，

$${\delta }_t=R_{t+1}-{\bar{R}}_t+\gamma {\tilde{V}}_t(S_{t+1})-{\tilde{V}}_t(S_t),{\tilde{V}}_{t+1}(S_t)={\tilde{V}}_t(S_t)+{\alpha }_t{\rho }_t{\delta }_t,{\bar{R}}_{t+1}={\bar{R}}_t+\eta {\alpha }_t{\rho }_t{\delta }_t,$$

其中 ${\rho }_t$ 为重要性采样比，$\eta$ 控制均值估计的相对步长。

这里简单中心化在 off-policy 下有偏的现象，和 §5 中”均值要在正确的分布下算”是同一个问题。

9. 总结

所有 centering 都基于同一个事实：

$${\nabla }_{\theta }J={\mathrm{Cov}}_{{\pi }_{\theta }}(R,{\nabla }_{\theta }\log {\pi }_{\theta }),$$

梯度只依赖奖励和 score 的协方差，常数部分只贡献噪声或偏差。

方法	中心化的对象	关键性质
baseline	$R-b$	on-policy 下期望不变，降方差；最优 $b^{\star }=\mathbb{E}[R\Vert s{\Vert }^2]/\mathbb{E}\Vert s{\Vert }^2$
RLOO	$R_i-\frac{1}{G-1}{\sum }_{j\ne i}{R}_j$	严格无偏
Dr. GRPO	$R_i-\bar{R}$	$=\frac{G-1}{G}\times$ RLOO，只差尺度
GRPO（std 归一化）	$(R_i-\bar{R})/\mathrm{std}$	按 $1/\sqrt{p(1-p)}$ 重新加权 prompt
score centering	$s-{\mathbb{E}}_q[s]$	off-policy 下消除 drift ${\mathbb{E}}_q[R](q-p)$；token 级截断 IS 时组均值无法替代它
RM centering	$r-C(x)$	固定 BT 模型的平移自由度
Kimi k1.5	$r-\bar{r}$ 代替 $\tau \log Z$	一阶梯度等价于组均值 baseline
Sutton reward centering	$R_t-\bar{R}$	去掉 $r(\pi )/(1-\gamma )$，off-policy 需用 TD 误差估计均值

参考资料

• Marek & Ryabinin, Score Centering Stabilizes Off-policy Reinforcement Learning, 2026. https://arxiv.org/abs/2609.20807
• Han & Hu, Baselines and Score Centering in Policy Gradient Estimation, 2026. https://arxiv.org/abs/2610.22263
• Naik, Wan, Tomar & Sutton, Reward Centering, 2024. https://arxiv.org/abs/2405.09999
• Ahmadian et al., Back to Basics: Revisiting REINFORCE Style Optimization for Learning from Human Feedback in LLMs (RLOO), 2024. https://arxiv.org/abs/2402.14740
• Liu et al., Understanding R1-Zero-Like Training: A Critical Perspective (Dr. GRPO), 2025. https://arxiv.org/abs/2503.20783
• Hu et al., REINFORCE++, 2025. https://arxiv.org/abs/2501.03262
• Ouyang et al., Training language models to follow instructions with human feedback (InstructGPT), 2022. https://arxiv.org/abs/2203.02155
• Touvron et al., Llama 2, 2023. https://arxiv.org/abs/2307.09288
• Eisenstein et al., Helping or Herding? Reward Model Ensembles Mitigate but do not Eliminate Reward Hacking, 2023. https://arxiv.org/abs/2312.09244
• Kimi Team, Kimi k1.5, 2025. https://arxiv.org/abs/2501.12599
• Gao et al., REBEL, 2024. https://arxiv.org/abs/2404.16767
• Weaver & Tao, The Optimal Reward Baseline for Gradient-Based Reinforcement Learning, UAI 2001. https://arxiv.org/abs/1301.2315
• Greensmith, Bartlett & Baxter, Variance Reduction Techniques for Gradient Estimates in Reinforcement Learning, JMLR 2004. https://jmlr.org/papers/v5/greensmith04a.html
• Shao et al., DeepSeekMath: Pushing the Limits of Mathematical Reasoning in Open Language Models (GRPO), 2024. https://arxiv.org/abs/2402.03300
• Rafailov et al., Direct Preference Optimization: Your Language Model is Secretly a Reward Model (DPO), 2023. https://arxiv.org/abs/2305.18290