6.重排

NOTE

这是 b 站王树森推荐系统课程的笔记，记录到了重排，之后的物品冷启动和提分部分我没有学，所以也没有笔记。索引如下：

• 推荐系统——概述
• 推荐系统——召回
• 推荐系统——排序
• 推荐系统——特征交叉
• 推荐系统——行为序列
• 推荐系统——重排

---

在粗排、精排每个步骤之后，需要将提取出来的物品进行排序，既需要质量高，又需要多样性好（注意粗排之后也需要）。

怎么突然联想到国外招生的 diversity 要求了（

对图文笔记形式的物品，可以使用 CLIP 模型计算相似度，从而估计多样性。

Maximal Marginal Relevance (MMR) 算法

有 $n$ 个物品，打分为 $r_1,r_2,\dots ,r_n$，物品 $i,j$ 的相似度为 $\text{sim}(i,j)$

这 $n$ 个物品中选出的物品集合为 $\mathcal{S}$，未选中的物品集合为 $\mathcal{R}$，计算 $\mathcal{R}$ 中每一个物品的 marginal relevance 分数：

$${\text{MR}}_i=\theta \cdot r_i-(1-\theta )\cdot \underset{j\in \mathcal{S}}{\max }\text{sim}(i,j)$$

$\theta$ 为超参，选择使 ${\mathrm{MR}}_i$ 最大的物品从 $\mathcal{R}$ 放入 $\mathcal{S}$，反复进行这个操作，直到选出需要数量的物品。

缺点：当 $\mathcal{S}$ 非常大时，最大相似性 ${\max }_{{}_{j\in \mathcal{S}}}\mathrm{sim}(i,j)$ 会很大（接近 $1$），导致算法退化，多样性变差。可以使用滑动窗口，即使用最近选入的若干物品集合代替全集 $\mathcal{S}$（可以理解为离得远的物品可以相似，因为用户感觉不到这种相似性）。

可以对 $\mathcal{S}$ 进行一些规则筛选，以适合具体业务

DPP 算法

给定 $k$ 个物品，表征为单位向量 $v_1,v_2,\dots ,v_k\in {\mathbb{R}}^d,d\ge k$，作为矩阵 $V\in {\mathbb{R}}^{d\times k}$ 的列，可以计算这些向量构成超平行 $d$ 维体的体积 $\text{vol}(\mathcal{P}(v_1,\dots ,v_k))$ 来衡量多样性，而

$$\det (V^{\top }V)=\text{vol}(\mathcal{P}(v_1,\dots ,v_k{)}^2$$

故可以通过计算行列式来衡量多样性，目标函数：

$$\arg \underset{\mathcal{S}:|\mathcal{S}|=k}{\max }\log \det (V_{\mathcal{S}}^{\top }{V}_{\mathcal{S}})$$

应用在 MMR 算法上，就是：

$$\arg \underset{\mathcal{S}:|\mathcal{S}|=k}{\max }\theta \cdot \left(\sum _{j\in \mathcal{S}}{r}_j\right)+(1-\theta )\cdot \log \det (V_{\mathcal{S}}^{\top }{V}_{\mathcal{S}})$$

记 $A_{\mathcal{S}}=V_{\mathcal{S}}^{\top }{V}_{\mathcal{S}}$，则 $a_{ij}=v_i^{\top }{v}_j$，使用贪心寻找下一个物品：

$$\arg \underset{i\in \mathcal{R}}{\max }\theta \cdot r_i+(1-\theta )\cdot \log \det (A_{\mathcal{S}\cup \{i\}})$$

（为了快速求解这个式子有很多数学推导，这里就不记录了）