推荐系统评估指标详解

推荐系统评估指标详解

Jackknifer
Jackknifer 博主

历史推荐日志能够衡量模型对已发生行为的预测能力;真实流量实验能够衡量模型上线后引起的业务变化。评价一个推荐系统,需要同时理解召回、排序、概率预测、流量分配和统计检验。本篇围绕《互联网大厂推荐算法实战》第 9 章第 1、2 节展开,将教材案例与原文章中的分类、校准、覆盖、多样性和回归指标整合起来。

一、推荐系统评估的对象

1.1 从一次推荐请求理解评估目标

推荐系统通常面对数百万个候选物料。召回模型选择少量可能相关的物料,排序模型为这些候选打分,业务策略决定最终展示列表。整个过程可以分为以下三个问题:

评估阶段 核心问题 代表指标
召回 有多少历史相关物料被找回 Recall@K、Precision@K、MAP、Hit Rate
排序 模型能否把相关或高收益物料排在靠前位置 AUC、GAUC、NDCG、MRR
上线 新模型是否真正改善用户行为与业务效果 CTR、观看时长、留存、A/B 检验

例如,新召回模型能够找到更多用户可能喜欢的视频,但排序模型仍可能把其中最好的视频放到后面。精排模型的 GAUC 增长,也可能没有带来线上观看时长增长。评估目标需要与模型所在阶段相匹配。

1.2 时间划分、标签和候选集合

一种常见离线方案是用连续 3 天或 7 天的历史数据训练,使用紧接着的第 4 天或第 8 天数据评估。时间划分符合线上预测未来行为的方向。比较新旧模型时,应统一训练数据、标签、候选集合和评估方法。

线上旧模型可能长期训练,已经积累了大量用户与物料的嵌入向量。新模型通过短期离线实验后,需要充分使用历史数据训练,并接入最新样本流,才能形成可比的线上实验条件。

正样本可以定义为点击、有效观看、购买或者其他业务反馈。负样本通常来自已曝光但未发生目标行为的记录。点击记录的缺失不代表用户必然缺乏兴趣:未曝光的物料通常无法获得点击反馈。

另外,同样称为 Recall@10 的指标,如果一个模型从全量物料库中召回,另一个模型仅从采样的 101 个候选中召回,那么结果所表达的难度也不同。实验报告应说明候选集合大小、负样本构造、过滤规则和 K 的取值。关于采样评估的局限,可参见 Krichene 与 Rendle 的研究。[1]

1.3 评估的统计单位

一次曝光、一次请求、一个用户都可以成为统计单位。它们对应不同的加权方式。

设用户 A 有 100 个相关物料,模型命中 50 个;用户 B 有 2 个相关物料,模型命中 2 个。

按照物料数量汇总得到微平均召回率:

Rmicro=50+2100+2≈0.510.R_{\mathrm{micro}}=\frac{50+2}{100+2}\approx0.510.

按照用户分别计算再平均得到宏平均召回率:

Rmacro=0.5+12=0.75.R_{\mathrm{macro}}=\frac{0.5+1}{2}=0.75.

微平均使贡献样本较多的用户具有更大的权重;宏平均给予每个用户相同权重。它们回答不同的业务问题。对于没有正样本的用户或请求,应事先规定处理方式,并记录相关数量。

二、AUC 与 GAUC:判断相对排序能力

2.1 ROC 与 AUC 的定义

假设模型输出分数 s(x)s(x),把分数不低于阈值 tt 的样本判为正类。定义:

TPR(t)=TP(t)TP(t)+FN(t),FPR(t)=FP(t)FP(t)+TN(t).\mathrm{TPR}(t)=\frac{TP(t)}{TP(t)+FN(t)},\qquad \mathrm{FPR}(t)=\frac{FP(t)}{FP(t)+TN(t)}.

TPTP、FPFP、TNTN 和 FNFN 分别表示真正例、假正例、真负例和假负例数量。改变阈值 tt,即可在横轴 FPR、纵轴 TPR 的坐标系中得到 ROC 曲线。

AUC=∫01TPR(x) dx.\mathrm{AUC}=\int_0^1\mathrm{TPR}(x)\,\mathrm dx.

AUC 还具有更直接的排序解释:随机抽取一个正样本和一个负样本,模型把正样本分数排在负样本之前的概率。

令正样本数量为 mm,负样本数量为 nn。当正负样本分数不存在相等情况时:

AUC=1mn∑i=1m∑j=1n1[s(xi+)>s(xj−)].\mathrm{AUC}=\frac{1}{mn} \sum_{i=1}^{m}\sum_{j=1}^{n} \mathbf 1\left[s(x_i^+)>s(x_j^-)\right].

对于相等分数,常见实现采用半分规则:

AUC=P(S+>S−)+12P(S+=S−).\mathrm{AUC} =P(S^+>S^-)+\frac12P(S^+=S^-).

2.2 手算正负样本对

考虑四个视频:

视频 模型分数 点击标签
A 0.90 1
B 0.80 0
C 0.70 1
D 0.20 0

正负样本对共有 2×2=42\times2=4 组。A 的分数高于 B、D,C 的分数高于 D,只有 C 与 B 的比较失败。因此:

AUC=34=0.75.\mathrm{AUC}=\frac{3}{4}=0.75.

这个数字描述的是正负样本的相对次序。即使把模型分数同时进行严格递增的变换,所有正负样本对的顺序仍然保持,AUC 也保持不变。概率预测值是否准确,需要另外考察。

单独打开AUC 配对与曲线面积

2.3 全局 AUC 的用户混合问题

推荐列表在各个用户内部生成。把不同用户的样本混合计算 AUC,会额外比较不同用户之间的分数。

教材给出两个用户的排序案例。按分数从高到低排列:

[A+,A+,A+,B−,B−,A−,B−,B+].[A^+,A^+,A^+,B^-,B^-,A^-,B^-,B^+].

全体有 4 个正样本、4 个负样本。三个 A+A^+ 各自优于全部 4 个负样本,B+B^+ 没有优于任何负样本:

AUCglobal=1216=0.75.\mathrm{AUC}_{\mathrm{global}}=\frac{12}{16}=0.75.

单独看用户:

AUCA=1,AUCB=0.\mathrm{AUC}_A=1,\qquad \mathrm{AUC}_B=0.

A 用户的排序全部正确,B 用户的排序全部错误。全局 AUC 隐藏了这种差异。

2.4 分组加权的 GAUC

GAUC(Groupwise AUC,分组曲线下面积)分别计算每个用户的 AUC,再进行加权平均:

GAUC=∑u∈Uwu AUCu∑u∈Uwu.\boxed{\mathrm{GAUC} =\frac{\sum_{u\in U}w_u\,\mathrm{AUC}_u} {\sum_{u\in U}w_u}.}

UU 是参与计算的用户集合,wuw_u 是用户权重。按曝光次数加权时,wu=nuw_u=n_u。教材案例中两个用户各有 4 次曝光:

GAUC=4×1+4×04+4=0.5.\mathrm{GAUC}=\frac{4\times1+4\times0}{4+4}=0.5.

曝光次数、观看时长或消费金额可以成为不同业务场景下的权重。权重定义改变,指标代表的目标也会改变。若某位用户只有正样本或只有负样本,该用户的 AUC 无法计算;实际实现必须明确排除及统计规则。

按照一次请求分组,能够更贴近实际竞争的候选列表;按照用户分组,通常能够积累更多样本,降低单次请求样本过少造成的波动。两种做法应明确命名。

三、NDCG 与 MRR:关注推荐列表的位置

3.1 为什么需要位置折扣

AUC 只比较样本对的前后顺序。两个模型具有相同 AUC 时,高价值物料在推荐列表中的具体位置仍可能不同。

例如,两个被点击的视频分别观看 180 秒与 10 秒。把 180 秒视频排在第 1 名通常比排在第 3 名更符合观看时长目标。DCG(Discounted Cumulative Gain,折损累计收益)为不同排名设置不同折扣。

设第 kk 个位置的收益为 gkg_k,定义:

DCG@K=∑k=1Kgklog⁡2(k+1).\boxed{\mathrm{DCG}@K=\sum_{k=1}^{K} \frac{g_k}{\log_2(k+1)}.}

前四个位置的折扣依次为:

1,0.63093,0.5,0.43068.1,\quad0.63093,\quad0.5,\quad0.43068.

折扣随着排名增加而降低,因此靠前位置的高收益物料贡献更大。

3.2 归一化收益 NDCG

在给定候选和收益标签的条件下,把收益最高的物料放在前面,可以得到最大折扣收益:

IDCG@K=max⁡π∑k=1Kgπ(k)log⁡2(k+1).\mathrm{IDCG}@K=\max_{\pi} \sum_{k=1}^{K} \frac{g_{\pi(k)}}{\log_2(k+1)}.

因此:

NDCG@K=DCG@KIDCG@K.\boxed{\mathrm{NDCG}@K=\frac{\mathrm{DCG}@K}{\mathrm{IDCG}@K}.}

当收益非负且 IDCG 为正时,NDCG 位于 0~1 之间。IDCG 为零时,应明确定义如何处理该请求。

教材表 9-1 中,四个物料的真实收益为 [2,1,1,0][2,1,1,0]。模型预测的排列对应收益 [1,1,2,0][1,1,2,0]。

DCG@4=1+1log⁡23+2log⁡24=2.63093,IDCG@4=2+1log⁡23+1log⁡24=3.13093.\begin{aligned} \mathrm{DCG}@4 &=1+\frac1{\log_2 3}+\frac2{\log_2 4}\\ &=2.63093,\\ \mathrm{IDCG}@4 &=2+\frac1{\log_2 3}+\frac1{\log_2 4}\\ &=3.13093. \end{aligned}

所以:

NDCG@4=2.630933.13093≈0.84030.\boxed{\mathrm{NDCG}@4=\frac{2.63093}{3.13093} \approx0.84030.}

单独打开DCG 与 NDCG 排序计算

3.3 多等级收益的定义

前面的教材案例直接使用 gkg_k 表示收益。原文章还介绍了常见的指数收益形式:

gk=2relk−1,DCG@K=∑k=1K2relk−1log⁡2(k+1).g_k=2^{rel_k}-1,\qquad \mathrm{DCG}@K=\sum_{k=1}^{K} \frac{2^{rel_k}-1}{\log_2(k+1)}.

例如,相关性等级为 0、1、2、3 时,对应收益为 0、1、3、7。指数收益提高了高等级物料的影响。二值标签下,直接收益与指数收益给出的数值一致;多等级标签下,必须固定收益定义才能比较两个模型。

3.4 MRR:第一个相关结果在哪里

MRR(Mean Reciprocal Rank,平均倒数排名)适合用户通常只寻找一个满意答案的场景。若第一个相关结果位于第 rr 名,则本次请求的得分是 1/r1/r。前 KK 名均没有命中时,得分为 0:

RR@K(u)={1/ru,1≤ru≤K,0,其他情况.\mathrm{RR@K}(u)= \begin{cases} 1/r_u,&1\le r_u\le K,\\ 0,&\text{其他情况}. \end{cases} MRR@K=1∣U∣∑u∈URR@K(u).\mathrm{MRR@K}=\frac1{|U|}\sum_{u\in U}\mathrm{RR@K}(u).

例如,三个用户的首个相关结果分别位于第 1 名、第 4 名与前 5 名之外:

MRR@5=1+1/4+03≈0.4167.\mathrm{MRR@5}=\frac{1+1/4+0}{3}\approx0.4167.

MRR 重点反映首个命中结果的位置。对于用户希望浏览多个相关商品的任务,MAP 和 NDCG 能提供更多列表信息。

四、召回算法的离线评估

4.1 召回样本怎样定义

设第 ii 次请求对应用户 uiu_i,历史曝光集合为 EiE_i,历史点击集合为 CiC_i,模型召回的前 KK 个物料集合为 RiKR_i^K。通常:

Ci⊆Ei.C_i\subseteq E_i.

历史曝光物料与历史点击物料可以分别作为待找回集合。选用曝光时,指标衡量模型找回历史展示结果的能力;选用点击时,指标衡量模型找回历史正反馈的能力。这两种目标的含义不同。

排序算法通常在已曝光的样本上进行正负分类,召回算法面对的却是完整物料库。未曝光物料的真实反馈难以确定,因此召回评估需要关注正样本命中。

4.2 Precision@K 与 Recall@K

定义命中数量:

hi(K)=∣RiK∩Ci∣.h_i(K)=|R_i^K\cap C_i|.

那么:

Precision@Ki=hi(K)K\boxed{\mathrm{Precision@K}_i=\frac{h_i(K)}{K}} Recall@Ki=hi(K)∣Ci∣.\boxed{\mathrm{Recall@K}_i=\frac{h_i(K)}{|C_i|}.}

例如,召回结果为 {A,B,C,D,E}\{A,B,C,D,E\},历史点击集合为 {A,C,F,G}\{A,C,F,G\}。两者的交集是 {A,C}\{A,C\},因此:

Precision@5=25=0.4,Recall@5=24=0.5.\mathrm{Precision@5}=\frac25=0.4,\qquad \mathrm{Recall@5}=\frac24=0.5.

对多个请求分别计算后取平均:

Precision@K=1N∑i=1NPrecision@Ki,Recall@K=1N∑i=1NRecall@Ki.\mathrm{Precision@K}=\frac1N\sum_{i=1}^{N}\mathrm{Precision@K}_i, \qquad \mathrm{Recall@K}=\frac1N\sum_{i=1}^{N}\mathrm{Recall@K}_i.

在固定排序列表上逐步增大 K,Recall@K 不会下降;Precision@K 则取决于新进入列表的物料是否相关。

4.3 AP 与 MAP 的计算

Precision@K 只观察固定的 K,无法描述相关物料具体出现在哪些位置。定义第 kk 个位置的二元标签 rk∈{0,1}r_k\in\{0,1\}:

P@k=1k∑j=1krj.P@k=\frac1k\sum_{j=1}^{k}r_j.

教材所使用的 AP 定义为:

AP@K=1M∑k=1K(P@k)rk,\boxed{\mathrm{AP}@K =\frac1M\sum_{k=1}^{K}(P@k)r_k,}

其中 MM 是此次评估中全部历史正样本的数量。只有 rk=1r_k=1 的位置才贡献该位置的精确率。未召回的正样本仍然计入分母。

假设 8 个物料中的正样本位于第 1、2、4、7 名,一共有 4 个正样本:

AP1=14(1+22+34+47)≈0.83036.\begin{aligned} \mathrm{AP}_1 &=\frac14\left(1+\frac22+\frac34+\frac47\right)\\ &\approx0.83036. \end{aligned}

另一次请求有 5 个正样本,只找回 3 个,命中位置为第 1、3、5 名:

AP2=15(1+23+35)≈0.45333.\mathrm{AP}_2=\frac15\left(1+\frac23+\frac35\right) \approx0.45333.

MAP(Mean Average Precision)是多个请求 AP 的平均值:

MAP@K=1N∑i=1NAPi@K.\boxed{\mathrm{MAP}@K=\frac1N\sum_{i=1}^N\mathrm{AP}_i@K.}

本例中:

MAP@8=0.830357+0.4533332≈0.641845.\mathrm{MAP}@8=\frac{0.830357+0.453333}{2} \approx0.641845.

原文章还采用过一种截断 AP@K 定义:

APtrunc@K=∑k=1K(P@k)rkmin⁡(M,K).\mathrm{AP}_{\mathrm{trunc}}@K =\frac{\sum_{k=1}^{K}(P@k)r_k} {\min(M,K)}.

当 M>KM>K 时,它与教材使用的分母 MM 不同。同一实验必须固定 AP 的归一化约定。

单独打开Top-K 推荐指标计算

4.4 Hit Rate 的两种统计口径

教材把一条历史点击记录记为 (ui,vi)(u_i,v_i),检查模型对用户 uiu_i 返回的前 K 个物料是否包含点击物料 viv_i:

HitRate@K=1N∑i=1N1[vi∈RK(ui)].\boxed{\mathrm{HitRate@K} =\frac1N\sum_{i=1}^N \mathbf1\left[v_i\in R_K(u_i)\right].}

如果 5 条点击记录中有 3 条被召回,HitRate@K 就是 3/5=0.63/5=0.6。

部分资料还采用请求级定义:只要一次请求的召回列表命中至少一个正样本,就记为 1。它与教材的点击记录级定义具有不同分母,必须在实验报告中注明。

例如,请求 A 有 10 个正样本,命中 9 个;请求 B 有 1 个正样本,命中 0 个。按请求宏平均的 Recall 为 (0.9+0)/2=0.45(0.9+0)/2=0.45,按点击记录统计的命中比例为 9/11≈0.81829/11\approx0.8182。

五、人工评测与持续评估

5.1 检查实际推荐内容

离线指标需要结合人工评测。检查界面可以展示某个用户最近观看、点击的内容,以及召回或排序模型返回的候选列表。重点观察用户兴趣是否匹配、多种兴趣是否被覆盖、不同用户的推荐是否具有个性化,以及内容是否重复、过时或不合适。

教材介绍过 Airbnb 的物料到物料相似召回检查工具。它把源房屋及相关房屋的图片、简介并列展示,便于观察相似性与推荐结果的合理程度。

5.2 Progressive Validation:预测之后更新模型

持续训练模型会随着新的用户行为不断改变参数。渐进式验证(Progressive Validation)采用以下顺序:

  1. 模型使用当前参数预测新一批样本。
  2. 保存预测值与随后获得的真实反馈,计算评估指标。
  3. 使用该批反馈更新模型参数。

记更新前参数为 θt−1\theta_{t-1},新样本为 (xt,yt)(x_t,y_t):

y^t=fθt−1(xt),Lt=ℓ(y^t,yt),\hat y_t=f_{\theta_{t-1}}(x_t), \qquad L_t=\ell(\hat y_t,y_t), θt=Update(θt−1,xt,yt).\theta_t=\mathrm{Update}(\theta_{t-1},x_t,y_t).

同一次前向计算可以服务于评估和训练。用于评估的预测值来自尚未学习这批反馈的模型,因此能够更好地反映模型收到反馈之前的预测能力。

在点击、购买等具有反馈延迟的任务中,还要等待标签成熟。持续评估仍会受到线上曝光策略和用户行为变化的影响,应结合数据分布与业务指标检查。

六、在线 A/B 实验

6.1 为什么随机实验能够估计新模型的作用

设 Yi(0)Y_i(0) 是用户 ii 使用旧模型时的指标,Yi(1)Y_i(1) 是同一用户使用新模型时的指标。希望估计:

τ=E[Yi(1)−Yi(0)].\tau=E[Y_i(1)-Y_i(0)].

同一用户在同一实验条件下只能观察其中一种策略结果。A/B 实验将用户随机分配至控制组和实验组。在随机化有效、策略执行一致、用户之间的干扰得到控制等条件下:

τ=E[Y∣Z=1]−E[Y∣Z=0].\tau=E[Y\mid Z=1]-E[Y\mid Z=0].

其中 Z=1Z=1 表示使用新模型,Z=0Z=0 表示使用旧模型。随机分组可以使两组用户的其他特征在统计意义上具有可比性。

6.2 为什么分组需要随机且稳定

假如用户每次刷新都重新随机分组,可能在短时间内交替接收新旧模型的推荐。先前策略会影响用户后续行为,模型作用也会更难解释。

教材采用用户 ID 的稳定哈希方式:

b(u)=H(u) mod N.b(u)=H(u)\bmod N.

其中 NN 是桶数量,HH 是哈希函数。若设置 10,000 个桶,把桶号 0~1,999 分给实验组,就可以安排约 20% 的用户进入实验组。哈希输入相同,用户的桶编号保持不变。

这种方法依赖合适的哈希函数和分组规则。上线还要监控分配后的实际用户比例与数据质量。

6.3 分层重叠:多个实验共同使用流量

推荐系统经常同时开展召回、精排等实验。通过把实验层标识加入哈希输入,可以让每个实验拥有自己的分组:

bℓ(u)=H(ℓ∥u) mod N.b_{\ell}(u)=H(\ell\Vert u)\bmod N.

这里 ℓ\ell 是实验层标识,∥\Vert 表示拼接。若不同实验的分组近似独立,用户就可以同时进入不同实验的任意组合。

教材给出两个召回实验:X 的启用比例为 20%,Y 的启用比例为 30%。在独立分配条件下:

X 策略 Y 策略 流量比例
关闭 关闭 0.8×0.7=56%0.8\times0.7=56\%
启用 关闭 0.2×0.7=14%0.2\times0.7=14\%
关闭 启用 0.8×0.3=24%0.8\times0.3=24\%
启用 启用 0.2×0.3=6%0.2\times0.3=6\%

从条件概率也能看出分组独立性:

P(Y=1∣X=1)=0.060.20=0.30,P(Y=1\mid X=1)=\frac{0.06}{0.20}=0.30, P(Y=1∣X=0)=0.240.80=0.30.P(Y=1\mid X=0)=\frac{0.24}{0.80}=0.30.

多个模型会同时影响最终推荐结果,因此还需要研究实验之间的交互作用。分层流量能够为实验提供分组基础,实际因果解释仍需要检查干扰与样本分布。

6.4 A/A 与 AABB 检查

A/A 实验让两组用户使用同一模型,用于检查分流、数据记录和指标计算是否符合预期。AABB 设计则将旧模型安排给 A1、A2 两组,将新模型安排给 B1、B2 两组,同时比较模型效果和相同模型之间的随机波动。

即使两组策略相同,统计检验仍可能因抽样波动给出显著结果。例如,显著性水平设置为 5% 时,原假设成立也有约 5% 的概率出现Ⅰ类错误。需要结合整体实验质量判断结果。

七、A/B 实验的假设检验

7.1 原假设和均值差

设控制组指标的总体均值为 μC\mu_C,实验组为 μE\mu_E。双侧检验写成:

H0:μE=μC,H1:μE≠μC.H_0:\mu_E=\mu_C,\qquad H_1:\mu_E\neq\mu_C.

样本均值之差为:

D=YˉE−YˉC.D=\bar Y_E-\bar Y_C.

如果两组相互独立,且组内观测满足所需的独立性条件,那么:

Var(D)=σE2nE+σC2nC.\mathrm{Var}(D)=\frac{\sigma_E^2}{n_E}+\frac{\sigma_C^2}{n_C}.

用样本方差 sE2,sC2s_E^2,s_C^2 估计总体方差,得到标准误:

SE(D)=sE2nE+sC2nC.\mathrm{SE}(D)= \sqrt{\frac{s_E^2}{n_E}+\frac{s_C^2}{n_C}}.

在适当的大样本正态近似下:

z=YˉE−YˉCsE2/nE+sC2/nC.\boxed{z= \frac{\bar Y_E-\bar Y_C} {\sqrt{s_E^2/n_E+s_C^2/n_C}}.}

这个统计量衡量观测到的均值差相当于多少个标准误。原假设成立时,绝对值越大的 z 越少见。

7.2 p 值和显著性水平

令 Φ\Phi 表示标准正态分布的累计分布函数。双侧检验的 p 值为:

p=2[1−Φ(∣z∣)].\boxed{p=2[1-\Phi(|z|)].}

p 值表示:在原假设成立时,按照所选检验方法,得到至少如此极端的检验统计量的概率。

当显著性水平 α=0.05\alpha=0.05 时,双侧正态检验的临界值约为:

∣z∣>1.96.|z|>1.96.

达到这一条件,可以在 5% 显著性水平下拒绝原假设。没有达到时,表示当前证据不足以拒绝原假设。

7.3 CTR 从 10% 提高到 11% 的计算

假设两组各有 10,000 次独立曝光,控制组有 1,000 次点击,实验组有 1,100 次点击:

p^C=0.10,p^E=0.11.\hat p_C=0.10,\qquad\hat p_E=0.11.

CTR 的绝对差异为 1 个百分点,相对提升为 10%。

两比例 z 检验在原假设下使用合并比例:

p^=1000+110010000+10000=0.105.\hat p=\frac{1000+1100}{10000+10000}=0.105.

标准误:

SE0=p^(1−p^)(1nC+1nE)=0.105×0.895×0.0002≈0.00433532.\begin{aligned} \mathrm{SE}_0 &=\sqrt{\hat p(1-\hat p) \left(\frac1{n_C}+\frac1{n_E}\right)}\\ &=\sqrt{0.105\times0.895\times0.0002}\\ &\approx0.00433532. \end{aligned}

检验统计量:

z=0.11−0.100.00433532≈2.30663.z=\frac{0.11-0.10}{0.00433532} \approx2.30663.

对应双侧 p 值:

p≈0.02108.\boxed{p\approx0.02108.}

因为 0.02108<0.050.02108<0.05,在独立曝光的统计假设下,可以拒绝两组点击率相等的原假设。

估计比例差的 95% 置信区间时,使用未合并标准误:

SE=p^E(1−p^E)nE+p^C(1−p^C)nC.\mathrm{SE}= \sqrt{\frac{\hat p_E(1-\hat p_E)}{n_E} +\frac{\hat p_C(1-\hat p_C)}{n_C}}.

由此得到近似区间:

0.01±1.96 SE≈[0.00150,0.01850].0.01\pm1.96\,\mathrm{SE} \approx[0.00150,0.01850].

对应 CTR 增长范围约为 0.15~1.85 个百分点。置信区间的 95% 表示长期重复抽样下的覆盖比例。

7.4 Ⅰ类错误、Ⅱ类错误与检验功效

真实情况 拒绝 H0H_0 未拒绝 H0H_0
H0H_0 成立 Ⅰ类错误 正确判断
H1H_1 成立 正确判断 Ⅱ类错误

Ⅰ类错误的概率由显著性水平控制:

α=P(拒绝 H0∣H0 成立).\alpha=P(\text{拒绝 }H_0\mid H_0\text{ 成立}).

Ⅱ类错误的概率记为:

β=P(未拒绝 H0∣H1 成立).\beta=P(\text{未拒绝 }H_0\mid H_1\text{ 成立}).

检验功效(Power)为:

Power=1−β.\mathrm{Power}=1-\beta.

降低显著性水平通常会提高拒绝原假设的要求。在样本数量与真实效果固定时,检验功效可能降低。增加有效样本数量,可以降低标准误,提高检测真实差异的能力。

假设两组样本数量相同,方差近似为 σ2\sigma^2,希望检测大小为 δ\delta 的均值差,则常用的正态近似样本量公式为:

n≈2(z1−α/2+z1−β)2σ2δ2.n\approx \frac{2(z_{1-\alpha/2}+z_{1-\beta})^2\sigma^2}{\delta^2}.

若 α=0.05\alpha=0.05、Power=0.8、σ2=0.09\sigma^2=0.09、δ=0.01\delta=0.01:

n≈2(1.96+0.84)2×0.090.012=14112.n\approx \frac{2(1.96+0.84)^2\times0.09}{0.01^2} =14112.

每组约需 14,112 个独立观测。实际推荐系统通常按用户随机分组,同一用户的多次曝光会相关,因此需要使用用户级分析或聚类标准误。

7.5 显著性与业务决策

一个很小的指标变化,在极大的流量下也可能获得统计显著性。上线还要评估模型计算资源、服务延迟、收入与长期用户体验。预先确定主要指标和观察周期,也有助于控制反复检查 p 值造成的错误概率变化。

八、概率预测指标

8.1 LogLoss:衡量概率预测质量

对二分类标签 yi∈{0,1}y_i\in\{0,1\} 和预测概率 pi∈(0,1)p_i\in(0,1),二分类交叉熵为:

LogLoss=−1N∑i=1N[yiln⁡pi+(1−yi)ln⁡(1−pi)].\boxed{\mathrm{LogLoss}= -\frac1N\sum_{i=1}^{N} [y_i\ln p_i+(1-y_i)\ln(1-p_i)].}

若真实结果为点击,预测概率越接近 1,损失越小;若真实结果为未点击,预测概率越接近 0,损失越小。相比 AUC,这一指标直接检查概率数值。

例如,真实标签为 [1,0][1,0]。模型 A 预测 [0.9,0.8][0.9,0.8],模型 B 预测 [0.6,0.4][0.6,0.4]。两者 AUC 都为 1,但:

LogLossA=−12(ln⁡0.9+ln⁡0.2)≈0.8574,\mathrm{LogLoss}_A=-\frac12(\ln0.9+\ln0.2) \approx0.8574, LogLossB=−12(ln⁡0.6+ln⁡0.6)≈0.5108.\mathrm{LogLoss}_B=-\frac12(\ln0.6+\ln0.6) \approx0.5108.

模型 B 的概率预测具有更小的交叉熵。

8.2 NE:相对于基准点击率的损失

NE(Normalized Entropy,归一化熵)使用只预测总体正样本比例的基准模型进行归一化。设总体点击率为 yˉ\bar y,基准二元熵为:

H(yˉ)=−[yˉln⁡yˉ+(1−yˉ)ln⁡(1−yˉ)].H(\bar y)=- [\bar y\ln\bar y+(1-\bar y)\ln(1-\bar y)].

则:

NE=LogLossH(yˉ).\boxed{\mathrm{NE}=\frac{\mathrm{LogLoss}}{H(\bar y)}.}

例如,基准点击率为 10% 时:

H(0.1)≈0.32508.H(0.1)\approx0.32508.

若模型 LogLoss 为 0.26,则:

NE≈0.260.32508≈0.7998.\mathrm{NE}\approx\frac{0.26}{0.32508}\approx0.7998.

NE 小于 1,表示该模型的平均交叉熵低于只输出基准点击率的模型。不同样本分布具有不同的基准熵,跨数据集比较时仍需保持谨慎。[11]

8.3 PCOC、ECE 与 Brier Score

PCOC(Predicted CTR over Observed CTR,预测点击率与实际点击率之比)可以写成:

PCOC=∑ipi∑iyi.\mathrm{PCOC}=\frac{\sum_i p_i}{\sum_i y_i}.

值接近 1 表示预测点击总量与实际点击总量接近。总体比例正确,也可能隐藏不同人群间的误差。

ECE(Expected Calibration Error,期望校准误差)将预测概率分为若干区间,统计每个区间的平均预测概率 conf(Bb)\mathrm{conf}(B_b) 和实际正样本比例 acc(Bb)\mathrm{acc}(B_b):

ECE=∑b=1B∣Bb∣N∣acc(Bb)−conf(Bb)∣.\mathrm{ECE}= \sum_{b=1}^{B}\frac{|B_b|}{N} |\mathrm{acc}(B_b)-\mathrm{conf}(B_b)|.

Brier Score(布里尔分数)计算概率预测与二值结果的平方误差:

Brier=1N∑i=1N(pi−yi)2.\mathrm{Brier}=\frac1N\sum_{i=1}^N(p_i-y_i)^2.

这三种指标可以结合使用:PCOC 检查总量,ECE 观察概率分区的一致性,Brier 体现每个样本的平方误差。[13]

单独打开排序与概率校准

九、分类阈值与 ROC、P-R 曲线

9.1 混淆矩阵与分类指标

当模型输出点击概率时,需要选择阈值才能转为二元预测。根据阈值,可以计算真正例 TP、假正例 FP、真负例 TN 和假负例 FN。

Accuracy=TP+TNTP+FP+TN+FN,\mathrm{Accuracy}=\frac{TP+TN}{TP+FP+TN+FN}, Precision=TPTP+FP,Recall=TPTP+FN,\mathrm{Precision}=\frac{TP}{TP+FP},\qquad \mathrm{Recall}=\frac{TP}{TP+FN}, F1=2 Precision RecallPrecision+Recall.\mathrm{F1}= \frac{2\,\mathrm{Precision}\,\mathrm{Recall}} {\mathrm{Precision}+\mathrm{Recall}}.

当正样本极少时,Accuracy 可能很高,却无法说明模型能够识别正样本。例如,1,000 个样本中只有 10 个正样本,全部预测为负类时 Accuracy=99%,正样本 Recall=0。

Precision、Recall 与 F1 会随着分类阈值变化。AUC 则通过扫描全部阈值评价排序能力。

9.2 P-R 曲线与 AP

P-R(Precision-Recall,精确率-召回率)曲线以 Recall 为横轴、Precision 为纵轴。随着阈值变化,得到不同的 P-R 点。

AP 的经典形式,可以理解为按 Recall 的增量加权累计 Precision:

AP=∑kPk (Rk−Rk−1).\mathrm{AP}=\sum_k P_k\,(R_k-R_{k-1}).

这里按相关结果进入的阈值位置求和。实际工具也可能使用插值积分等不同定义,需要核对实现。[14]

ROC 的横轴 FPR 使用全部负样本作为分母,P-R 的纵轴 Precision 同时受到真正例与假正例数量影响。因此当正样本比例很低时,P-R 曲线通常能够更直接呈现正样本检索的难度。[8]

单独打开分类阈值与 ROC、P-R 曲线

十、覆盖、多样性与新颖性

10.1 覆盖率

设物料库为 II,向全部评估用户推荐过的物料集合为 SS,则物料覆盖率为:

Coverage=∣S∣∣I∣.\mathrm{Coverage}=\frac{|S|}{|I|}.

覆盖率可以反映系统是否长期集中推荐少数物料。它也依赖评估用户数量、时间范围和候选库定义。

10.2 列表内多样性

对于包含 K 个物料的列表,可以使用物料之间的不相似度 d(i,j)d(i,j) 定义:

ILD=2K(K−1)∑1≤i<j≤Kd(i,j).\mathrm{ILD}= \frac{2}{K(K-1)} \sum_{1\le i<j\le K}d(i,j).

不相似度可以来自类别差异、内容向量距离或其他业务特征。高多样性需要同时考虑相关性,避免因追求差异而推荐不符合兴趣的内容。[15]

10.3 新颖性

可以通过物料的历史流行程度衡量新颖性。例如,设 Ppop(i)P_{\mathrm{pop}}(i) 表示物料被消费的相对频率,使用:

Novelty(i)=−log⁡Ppop(i)\mathrm{Novelty}(i)=-\log P_{\mathrm{pop}}(i)

衡量较少被消费物料的新颖程度。低频物料获得较高数值。实际计算需要定义时间窗,并确保概率为正。

十一、连续数值预测的误差

推荐系统还会预测观看时长、成交金额等连续数值。设真实值为 yiy_i,预测值为 y^i\hat y_i。

11.1 MAE 与 RMSE

平均绝对误差:

MAE=1N∑i=1N∣yi−y^i∣.\mathrm{MAE}=\frac1N\sum_{i=1}^N|y_i-\hat y_i|.

均方根误差:

RMSE=1N∑i=1N(yi−y^i)2.\mathrm{RMSE}= \sqrt{\frac1N\sum_{i=1}^N(y_i-\hat y_i)^2}.

假设 5 条记录的误差绝对值为 [1,1,2,2,50][1,1,2,2,50]:

MAE=1+1+2+2+505=11.2,\mathrm{MAE}=\frac{1+1+2+2+50}{5}=11.2, RMSE=1+1+4+4+25005=502≈22.405.\mathrm{RMSE}= \sqrt{\frac{1+1+4+4+2500}{5}} =\sqrt{502}\approx22.405.

RMSE 对特别大的误差赋予更高权重。MAE 的单位与预测目标一致,也便于理解平均绝对误差。

11.2 MAPE 的限制

平均绝对百分比误差:

MAPE=100%N∑i=1N∣yi−y^iyi∣.\mathrm{MAPE}=\frac{100\%}{N} \sum_{i=1}^{N}\left|\frac{y_i-\hat y_i}{y_i}\right|.

例如,真实播放次数为 10,000,预测为 9,500:

∣10000−950010000∣×100%=5%.\left|\frac{10000-9500}{10000}\right|\times100\%=5\%.

MAPE 要求真实值不为零。真实值接近零时,相对误差可能特别大,因此用于播放时长、消费金额等包含零值的任务前,需要检查这一条件。

单独打开RMSE、MAE 与异常误差

十二、可复算的 Python 实现

12.1 AUC、GAUC 与 NDCG

下面的实现适合核对小规模数据。AUC 直接遍历全部正负样本对,时间复杂度为 O(mn)O(mn)。实际大规模评估可使用具有并列分数处理规则的成熟评估库。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
import math
import torch


def pairwise_auc(scores, labels):
positives = [s for s, y in zip(scores, labels) if y == 1]
negatives = [s for s, y in zip(scores, labels) if y == 0]
assert positives and negatives
wins = sum(
1 if p > n else 0.5 if p == n else 0
for p in positives for n in negatives
)
return wins / (len(positives) * len(negatives))


groups = {
"A": ([0.9, 0.8, 0.7, 0.3], [1, 1, 1, 0]),
"B": ([0.6, 0.5, 0.2, 0.1], [0, 0, 0, 1]),
}
gauc = sum(
len(scores) * pairwise_auc(scores, labels)
for scores, labels in groups.values()
) / sum(len(scores) for scores, _ in groups.values())
print("GAUC:", gauc)

gains = torch.tensor([1., 1., 2., 0.], dtype=torch.float64)
rank = torch.arange(1, gains.numel() + 1, dtype=torch.float64)
discount = torch.log2(rank + 1).reciprocal()
dcg = (gains * discount).sum()
idcg = (gains.sort(descending=True).values * discount).sum()
assert idcg > 0
ndcg = dcg / idcg
print("DCG:", dcg.item())
print("NDCG:", ndcg.item())

对应结果:

计算内容 结果
GAUC 0.5
DCG 2.6309297536
NDCG 0.8403030284

12.2 召回 AP、稳定分桶与两比例检验

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
import hashlib
import math


def average_precision_at_k(ranked_items, positives, k):
assert positives and 1 <= k <= len(ranked_items)
hits = 0
total = 0.0
for rank, item in enumerate(ranked_items[:k], 1):
if item in positives:
hits += 1
total += hits / rank
return total / len(positives)


items = ["p1", "p2", "n1", "p3", "n2", "n3", "p4", "n4"]
ap = average_precision_at_k(
items, {"p1", "p2", "p3", "p4"}, 8
)
print("AP:", ap)


def stable_bucket(user_id, layer_id, bucket_count=10000):
assert bucket_count > 0
raw = f"{layer_id}:{user_id}".encode("utf-8")
return int.from_bytes(
hashlib.sha256(raw).digest(), "big"
) % bucket_count


print("Recall bucket:", stable_bucket("user_42", "Recall"))


n_control = n_experiment = 10000
clicks_control, clicks_experiment = 1000, 1100
p_control = clicks_control / n_control
p_experiment = clicks_experiment / n_experiment
pooled = (clicks_control + clicks_experiment) / (
n_control + n_experiment
)
se = math.sqrt(
pooled * (1 - pooled)
* (1 / n_control + 1 / n_experiment)
)
z_score = (p_experiment - p_control) / se
p_value = math.erfc(abs(z_score) / math.sqrt(2))
print("z:", z_score)
print("p-value:", p_value)

上述代码依次得到 AP 约 0.830357、z 值约 2.306635 和 p 值约 0.021075。实验分桶的输入还需要使用稳定的实验标识,确保相同用户在相同实验中的分组保持一致。

十三、实际评估中的统计与工程条件

13.1 数据与指标定义保持一致

比较模型前,需要固定时间划分、测试用户、标签定义、候选集合、K、重复物料处理、并列分数规则及没有正样本的处理方式。对于 GAUC,还需明确用户权重与是否排除单一标签用户。

模型训练损失下降,不保证线上观看时长或收入增加。例如,提高点击概率预测能力,可能提高点击率,却不一定改善内容消费体验。需要同时检查与业务目标对应的指标。

13.2 按用户随机分组时的相关性

真实平台通常按用户随机分组,同一用户的多次曝光可能高度相关。对于随机变量 XiX_i:

Var(∑iXi)=∑iVar(Xi)+2∑i<jCov(Xi,Xj).\mathrm{Var}\left(\sum_iX_i\right) =\sum_i\mathrm{Var}(X_i) +2\sum_{i<j}\mathrm{Cov}(X_i,X_j).

如果同一用户的观测之间存在相关性,直接套用独立曝光公式会遗漏协方差项,可能低估标准误。可以采用用户级聚类标准误、用户级重采样或适当的用户级指标分析。

整体 CTR 是总点击次数除以总曝光次数。直接平均每个用户的 CTR 会改变用户权重,二者应分别命名。

13.3 实验周期、用户群体与长期效果

实验应覆盖主要用户行为周期,并提前确定主要指标、观察时间和终止规则。每日重复检查 p 值并在出现显著结果时立即结束,会改变固定样本检验的错误概率。需要随时检验的业务可以采用具有相应统计保证的序贯方法。

还应分析新老用户、地区及不同内容场景。一个模型可能提高老用户的点击率,同时降低新用户的点击率。细分结果应结合样本量与多重检验问题判断。

在上线决策中,除了 CTR、观看时长和收入,还要观察用户留存、服务响应时间、请求失败率及新增计算成本。统计显著的收益需要与对应业务价值相结合。[3]

参考文献

[1] KRICHENE W, RENDLE S. On Sampled Metrics for Item Recommendation[C]//Proceedings of the ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. 2020: 1748–1757.

[2] SHANI G, GUNAWARDANA A. Evaluating Recommendation Systems[M]//RICCI F, ROKACH L, SHAPIRA B, et al., eds. Recommender Systems Handbook. Boston, MA: Springer, 2011: 257–297. DOI: 10.1007/978-0-387-85820-3_8.

[3] KOHAVI R, TANG D, XU Y. Trustworthy Online Controlled Experiments: A Practical Guide to A/B Testing[M]. Cambridge University Press, 2020. DOI: 10.1017/9781108653985.

[4] JÄRVELIN K, KEKÄLÄINEN J. Cumulated gain-based evaluation of IR techniques[J]. ACM Transactions on Information Systems, 2002, 20(4): 422–446. DOI: 10.1145/582415.582418.

[5] MANNING C D, RAGHAVAN P, SCHÜTZE H. Introduction to Information Retrieval[M]. Cambridge University Press, 2008.

[6] VOORHEES E M. The TREC-8 Question Answering Track Report[C]//The Eighth Text REtrieval Conference (TREC-8). NIST Special Publication 500-246, 2000.

[7] scikit-learn Developers. Metrics and scoring: quantifying the quality of predictions[EB/OL].

[8] FAWCETT T. An introduction to ROC analysis[J]. Pattern Recognition Letters, 2006, 27(8): 861–874. DOI: 10.1016/j.patrec.2005.10.010.

[9] scikit-learn Developers. roc_auc_score[EB/OL].

[10] ZHOU G, SONG C, ZHU X, et al. Deep Interest Network for Click-Through Rate Prediction[C]//Proceedings of the ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. 2018.

[11] HE X, PAN J, JIN O, et al. Practical Lessons from Predicting Clicks on Ads at Facebook[C]//Proceedings of the Eighth International Workshop on Data Mining for Online Advertising. 2014: 1–9. DOI: 10.1145/2648584.2648589.

[12] ZHAI J, LIAO L, LIU X, et al. Actions Speak Louder than Words: Trillion-Parameter Sequential Transducers for Generative Recommendations[C]//Proceedings of the International Conference on Machine Learning. 2024, 235: 58484–58509.

[13] GUO C, PLEISS G, SUN Y, et al. On Calibration of Modern Neural Networks[C]//Proceedings of the International Conference on Machine Learning. 2017, 70: 1321–1330.

[14] scikit-learn Developers. average_precision_score[EB/OL].

[15] VARGAS S, CASTELLS P. Rank and relevance in novelty and diversity metrics for recommender systems[C]//Proceedings of the ACM Conference on Recommender Systems. 2011: 109–116. DOI: 10.1145/2043932.2043955.

评论

评论由 GitHub Giscus 提供。若当前网络无法加载,可 前往 GitHub Discussions 查看或参与讨论。

目录
推荐系统评估指标详解