历史推荐日志能够衡量模型对已发生行为的预测能力;真实流量实验能够衡量模型上线后引起的业务变化。评价一个推荐系统,需要同时理解召回、排序、概率预测、流量分配和统计检验。本篇围绕《互联网大厂推荐算法实战》第 9 章第 1、2 节展开,将教材案例与原文章中的分类、校准、覆盖、多样性和回归指标整合起来。
一、推荐系统评估的对象 1.1 从一次推荐请求理解评估目标 推荐系统通常面对数百万个候选物料。召回模型选择少量可能相关的物料,排序模型为这些候选打分,业务策略决定最终展示列表。整个过程可以分为以下三个问题:
评估阶段
核心问题
代表指标
召回
有多少历史相关物料被找回
Recall@K、Precision@K、MAP、Hit Rate
排序
模型能否把相关或高收益物料排在靠前位置
AUC、GAUC、NDCG、MRR
上线
新模型是否真正改善用户行为与业务效果
CTR、观看时长、留存、A/B 检验
例如,新召回模型能够找到更多用户可能喜欢的视频,但排序模型仍可能把其中最好的视频放到后面。精排模型的 GAUC 增长,也可能没有带来线上观看时长增长。评估目标需要与模型所在阶段相匹配。
1.2 时间划分、标签和候选集合 一种常见离线方案是用连续 3 天或 7 天的历史数据训练,使用紧接着的第 4 天或第 8 天数据评估。时间划分符合线上预测未来行为的方向。比较新旧模型时,应统一训练数据、标签、候选集合和评估方法。
线上旧模型可能长期训练,已经积累了大量用户与物料的嵌入向量。新模型通过短期离线实验后,需要充分使用历史数据训练,并接入最新样本流,才能形成可比的线上实验条件。
正样本可以定义为点击、有效观看、购买或者其他业务反馈。负样本通常来自已曝光但未发生目标行为的记录。点击记录的缺失不代表用户必然缺乏兴趣:未曝光的物料通常无法获得点击反馈。
另外,同样称为 Recall@10 的指标,如果一个模型从全量物料库中召回,另一个模型仅从采样的 101 个候选中召回,那么结果所表达的难度也不同。实验报告应说明候选集合大小、负样本构造、过滤规则和 K 的取值。关于采样评估的局限,可参见 Krichene 与 Rendle 的研究。[1]
1.3 评估的统计单位 一次曝光、一次请求、一个用户都可以成为统计单位。它们对应不同的加权方式。
设用户 A 有 100 个相关物料,模型命中 50 个;用户 B 有 2 个相关物料,模型命中 2 个。
按照物料数量汇总得到微平均召回率:
R m i c r o = 50 + 2 100 + 2 ≈ 0.510. R_{\mathrm{micro}}=\frac{50+2}{100+2}\approx0.510. R micro = 100 + 2 50 + 2 ≈ 0.510.
按照用户分别计算再平均得到宏平均召回率:
R m a c r o = 0.5 + 1 2 = 0.75. R_{\mathrm{macro}}=\frac{0.5+1}{2}=0.75. R macro = 2 0.5 + 1 = 0.75.
微平均使贡献样本较多的用户具有更大的权重;宏平均给予每个用户相同权重。它们回答不同的业务问题。对于没有正样本的用户或请求,应事先规定处理方式,并记录相关数量。
二、AUC 与 GAUC:判断相对排序能力 2.1 ROC 与 AUC 的定义 假设模型输出分数 s ( x ) s(x) s ( x ) ,把分数不低于阈值 t t t 的样本判为正类。定义:
T P R ( t ) = T P ( t ) T P ( t ) + F N ( t ) , F P R ( t ) = F P ( t ) F P ( t ) + T N ( t ) . \mathrm{TPR}(t)=\frac{TP(t)}{TP(t)+FN(t)},\qquad
\mathrm{FPR}(t)=\frac{FP(t)}{FP(t)+TN(t)}. TPR ( t ) = T P ( t ) + F N ( t ) T P ( t ) , FPR ( t ) = F P ( t ) + T N ( t ) F P ( t ) .
T P TP T P 、F P FP F P 、T N TN T N 和 F N FN F N 分别表示真正例、假正例、真负例和假负例数量。改变阈值 t t t ,即可在横轴 FPR、纵轴 TPR 的坐标系中得到 ROC 曲线。
A U C = ∫ 0 1 T P R ( x ) d x . \mathrm{AUC}=\int_0^1\mathrm{TPR}(x)\,\mathrm dx. AUC = ∫ 0 1 TPR ( x ) d x .
AUC 还具有更直接的排序解释:随机抽取一个正样本和一个负样本,模型把正样本分数排在负样本之前的概率。
令正样本数量为 m m m ,负样本数量为 n n n 。当正负样本分数不存在相等情况时:
A U C = 1 m n ∑ i = 1 m ∑ j = 1 n 1 [ s ( x i + ) > s ( x j − ) ] . \mathrm{AUC}=\frac{1}{mn}
\sum_{i=1}^{m}\sum_{j=1}^{n}
\mathbf 1\left[s(x_i^+)>s(x_j^-)\right]. AUC = mn 1 i = 1 ∑ m j = 1 ∑ n 1 [ s ( x i + ) > s ( x j − ) ] .
对于相等分数,常见实现采用半分规则:
A U C = P ( S + > S − ) + 1 2 P ( S + = S − ) . \mathrm{AUC}
=P(S^+>S^-)+\frac12P(S^+=S^-). AUC = P ( S + > S − ) + 2 1 P ( S + = S − ) .
2.2 手算正负样本对 考虑四个视频:
视频
模型分数
点击标签
A
0.90
1
B
0.80
0
C
0.70
1
D
0.20
0
正负样本对共有 2 × 2 = 4 2\times2=4 2 × 2 = 4 组。A 的分数高于 B、D,C 的分数高于 D,只有 C 与 B 的比较失败。因此:
A U C = 3 4 = 0.75. \mathrm{AUC}=\frac{3}{4}=0.75. AUC = 4 3 = 0.75.
这个数字描述的是正负样本的相对次序。即使把模型分数同时进行严格递增的变换,所有正负样本对的顺序仍然保持,AUC 也保持不变。概率预测值是否准确,需要另外考察。
2.3 全局 AUC 的用户混合问题 推荐列表在各个用户内部生成。把不同用户的样本混合计算 AUC,会额外比较不同用户之间的分数。
教材给出两个用户的排序案例。按分数从高到低排列:
[ A + , A + , A + , B − , B − , A − , B − , B + ] . [A^+,A^+,A^+,B^-,B^-,A^-,B^-,B^+]. [ A + , A + , A + , B − , B − , A − , B − , B + ] .
全体有 4 个正样本、4 个负样本。三个 A + A^+ A + 各自优于全部 4 个负样本,B + B^+ B + 没有优于任何负样本:
A U C g l o b a l = 12 16 = 0.75. \mathrm{AUC}_{\mathrm{global}}=\frac{12}{16}=0.75. AUC global = 16 12 = 0.75.
单独看用户:
A U C A = 1 , A U C B = 0. \mathrm{AUC}_A=1,\qquad \mathrm{AUC}_B=0. AUC A = 1 , AUC B = 0.
A 用户的排序全部正确,B 用户的排序全部错误。全局 AUC 隐藏了这种差异。
2.4 分组加权的 GAUC GAUC(Groupwise AUC,分组曲线下面积)分别计算每个用户的 AUC,再进行加权平均:
G A U C = ∑ u ∈ U w u A U C u ∑ u ∈ U w u . \boxed{\mathrm{GAUC}
=\frac{\sum_{u\in U}w_u\,\mathrm{AUC}_u}
{\sum_{u\in U}w_u}.} GAUC = ∑ u ∈ U w u ∑ u ∈ U w u AUC u .
U U U 是参与计算的用户集合,w u w_u w u 是用户权重。按曝光次数加权时,w u = n u w_u=n_u w u = n u 。教材案例中两个用户各有 4 次曝光:
G A U C = 4 × 1 + 4 × 0 4 + 4 = 0.5. \mathrm{GAUC}=\frac{4\times1+4\times0}{4+4}=0.5. GAUC = 4 + 4 4 × 1 + 4 × 0 = 0.5.
曝光次数、观看时长或消费金额可以成为不同业务场景下的权重。权重定义改变,指标代表的目标也会改变。若某位用户只有正样本或只有负样本,该用户的 AUC 无法计算;实际实现必须明确排除及统计规则。
按照一次请求分组,能够更贴近实际竞争的候选列表;按照用户分组,通常能够积累更多样本,降低单次请求样本过少造成的波动。两种做法应明确命名。
三、NDCG 与 MRR:关注推荐列表的位置 3.1 为什么需要位置折扣 AUC 只比较样本对的前后顺序。两个模型具有相同 AUC 时,高价值物料在推荐列表中的具体位置仍可能不同。
例如,两个被点击的视频分别观看 180 秒与 10 秒。把 180 秒视频排在第 1 名通常比排在第 3 名更符合观看时长目标。DCG(Discounted Cumulative Gain,折损累计收益)为不同排名设置不同折扣。
设第 k k k 个位置的收益为 g k g_k g k ,定义:
D C G @ K = ∑ k = 1 K g k log 2 ( k + 1 ) . \boxed{\mathrm{DCG}@K=\sum_{k=1}^{K}
\frac{g_k}{\log_2(k+1)}.} DCG @ K = k = 1 ∑ K log 2 ( k + 1 ) g k .
前四个位置的折扣依次为:
1 , 0.63093 , 0.5 , 0.43068. 1,\quad0.63093,\quad0.5,\quad0.43068. 1 , 0.63093 , 0.5 , 0.43068.
折扣随着排名增加而降低,因此靠前位置的高收益物料贡献更大。
3.2 归一化收益 NDCG 在给定候选和收益标签的条件下,把收益最高的物料放在前面,可以得到最大折扣收益:
I D C G @ K = max π ∑ k = 1 K g π ( k ) log 2 ( k + 1 ) . \mathrm{IDCG}@K=\max_{\pi}
\sum_{k=1}^{K}
\frac{g_{\pi(k)}}{\log_2(k+1)}. IDCG @ K = π max k = 1 ∑ K log 2 ( k + 1 ) g π ( k ) .
因此:
N D C G @ K = D C G @ K I D C G @ K . \boxed{\mathrm{NDCG}@K=\frac{\mathrm{DCG}@K}{\mathrm{IDCG}@K}.} NDCG @ K = IDCG @ K DCG @ K .
当收益非负且 IDCG 为正时,NDCG 位于 0~1 之间。IDCG 为零时,应明确定义如何处理该请求。
教材表 9-1 中,四个物料的真实收益为 [ 2 , 1 , 1 , 0 ] [2,1,1,0] [ 2 , 1 , 1 , 0 ] 。模型预测的排列对应收益 [ 1 , 1 , 2 , 0 ] [1,1,2,0] [ 1 , 1 , 2 , 0 ] 。
D C G @ 4 = 1 + 1 log 2 3 + 2 log 2 4 = 2.63093 , I D C G @ 4 = 2 + 1 log 2 3 + 1 log 2 4 = 3.13093. \begin{aligned}
\mathrm{DCG}@4
&=1+\frac1{\log_2 3}+\frac2{\log_2 4}\\
&=2.63093,\\
\mathrm{IDCG}@4
&=2+\frac1{\log_2 3}+\frac1{\log_2 4}\\
&=3.13093.
\end{aligned} DCG @4 IDCG @4 = 1 + log 2 3 1 + log 2 4 2 = 2.63093 , = 2 + log 2 3 1 + log 2 4 1 = 3.13093.
所以:
N D C G @ 4 = 2.63093 3.13093 ≈ 0.84030. \boxed{\mathrm{NDCG}@4=\frac{2.63093}{3.13093}
\approx0.84030.} NDCG @4 = 3.13093 2.63093 ≈ 0.84030.
3.3 多等级收益的定义 前面的教材案例直接使用 g k g_k g k 表示收益。原文章还介绍了常见的指数收益形式:
g k = 2 r e l k − 1 , D C G @ K = ∑ k = 1 K 2 r e l k − 1 log 2 ( k + 1 ) . g_k=2^{rel_k}-1,\qquad
\mathrm{DCG}@K=\sum_{k=1}^{K}
\frac{2^{rel_k}-1}{\log_2(k+1)}. g k = 2 r e l k − 1 , DCG @ K = k = 1 ∑ K log 2 ( k + 1 ) 2 r e l k − 1 .
例如,相关性等级为 0、1、2、3 时,对应收益为 0、1、3、7。指数收益提高了高等级物料的影响。二值标签下,直接收益与指数收益给出的数值一致;多等级标签下,必须固定收益定义才能比较两个模型。
3.4 MRR:第一个相关结果在哪里 MRR(Mean Reciprocal Rank,平均倒数排名)适合用户通常只寻找一个满意答案的场景。若第一个相关结果位于第 r r r 名,则本次请求的得分是 1 / r 1/r 1/ r 。前 K K K 名均没有命中时,得分为 0:
R R @ K ( u ) = { 1 / r u , 1 ≤ r u ≤ K , 0 , 其他情况 . \mathrm{RR@K}(u)=
\begin{cases}
1/r_u,&1\le r_u\le K,\\
0,&\text{其他情况}.
\end{cases} RR@K ( u ) = { 1/ r u , 0 , 1 ≤ r u ≤ K , 其他情况 .
M R R @ K = 1 ∣ U ∣ ∑ u ∈ U R R @ K ( u ) . \mathrm{MRR@K}=\frac1{|U|}\sum_{u\in U}\mathrm{RR@K}(u). MRR@K = ∣ U ∣ 1 u ∈ U ∑ RR@K ( u ) .
例如,三个用户的首个相关结果分别位于第 1 名、第 4 名与前 5 名之外:
M R R @ 5 = 1 + 1 / 4 + 0 3 ≈ 0.4167. \mathrm{MRR@5}=\frac{1+1/4+0}{3}\approx0.4167. MRR@5 = 3 1 + 1/4 + 0 ≈ 0.4167.
MRR 重点反映首个命中结果的位置。对于用户希望浏览多个相关商品的任务,MAP 和 NDCG 能提供更多列表信息。
四、召回算法的离线评估 4.1 召回样本怎样定义 设第 i i i 次请求对应用户 u i u_i u i ,历史曝光集合为 E i E_i E i ,历史点击集合为 C i C_i C i ,模型召回的前 K K K 个物料集合为 R i K R_i^K R i K 。通常:
C i ⊆ E i . C_i\subseteq E_i. C i ⊆ E i .
历史曝光物料与历史点击物料可以分别作为待找回集合。选用曝光时,指标衡量模型找回历史展示结果的能力;选用点击时,指标衡量模型找回历史正反馈的能力。这两种目标的含义不同。
排序算法通常在已曝光的样本上进行正负分类,召回算法面对的却是完整物料库。未曝光物料的真实反馈难以确定,因此召回评估需要关注正样本命中。
4.2 Precision@K 与 Recall@K 定义命中数量:
h i ( K ) = ∣ R i K ∩ C i ∣ . h_i(K)=|R_i^K\cap C_i|. h i ( K ) = ∣ R i K ∩ C i ∣.
那么:
P r e c i s i o n @ K i = h i ( K ) K \boxed{\mathrm{Precision@K}_i=\frac{h_i(K)}{K}} Precision@K i = K h i ( K )
R e c a l l @ K i = h i ( K ) ∣ C i ∣ . \boxed{\mathrm{Recall@K}_i=\frac{h_i(K)}{|C_i|}.} Recall@K i = ∣ C i ∣ h i ( K ) .
例如,召回结果为 { A , B , C , D , E } \{A,B,C,D,E\} { A , B , C , D , E } ,历史点击集合为 { A , C , F , G } \{A,C,F,G\} { A , C , F , G } 。两者的交集是 { A , C } \{A,C\} { A , C } ,因此:
P r e c i s i o n @ 5 = 2 5 = 0.4 , R e c a l l @ 5 = 2 4 = 0.5. \mathrm{Precision@5}=\frac25=0.4,\qquad
\mathrm{Recall@5}=\frac24=0.5. Precision@5 = 5 2 = 0.4 , Recall@5 = 4 2 = 0.5.
对多个请求分别计算后取平均:
P r e c i s i o n @ K = 1 N ∑ i = 1 N P r e c i s i o n @ K i , R e c a l l @ K = 1 N ∑ i = 1 N R e c a l l @ K i . \mathrm{Precision@K}=\frac1N\sum_{i=1}^{N}\mathrm{Precision@K}_i,
\qquad
\mathrm{Recall@K}=\frac1N\sum_{i=1}^{N}\mathrm{Recall@K}_i. Precision@K = N 1 i = 1 ∑ N Precision@K i , Recall@K = N 1 i = 1 ∑ N Recall@K i .
在固定排序列表上逐步增大 K,Recall@K 不会下降;Precision@K 则取决于新进入列表的物料是否相关。
4.3 AP 与 MAP 的计算 Precision@K 只观察固定的 K,无法描述相关物料具体出现在哪些位置。定义第 k k k 个位置的二元标签 r k ∈ { 0 , 1 } r_k\in\{0,1\} r k ∈ { 0 , 1 } :
P @ k = 1 k ∑ j = 1 k r j . P@k=\frac1k\sum_{j=1}^{k}r_j. P @ k = k 1 j = 1 ∑ k r j .
教材所使用的 AP 定义为:
A P @ K = 1 M ∑ k = 1 K ( P @ k ) r k , \boxed{\mathrm{AP}@K
=\frac1M\sum_{k=1}^{K}(P@k)r_k,} AP @ K = M 1 k = 1 ∑ K ( P @ k ) r k ,
其中 M M M 是此次评估中全部历史正样本的数量。只有 r k = 1 r_k=1 r k = 1 的位置才贡献该位置的精确率。未召回的正样本仍然计入分母。
假设 8 个物料中的正样本位于第 1、2、4、7 名,一共有 4 个正样本:
A P 1 = 1 4 ( 1 + 2 2 + 3 4 + 4 7 ) ≈ 0.83036. \begin{aligned}
\mathrm{AP}_1
&=\frac14\left(1+\frac22+\frac34+\frac47\right)\\
&\approx0.83036.
\end{aligned} AP 1 = 4 1 ( 1 + 2 2 + 4 3 + 7 4 ) ≈ 0.83036.
另一次请求有 5 个正样本,只找回 3 个,命中位置为第 1、3、5 名:
A P 2 = 1 5 ( 1 + 2 3 + 3 5 ) ≈ 0.45333. \mathrm{AP}_2=\frac15\left(1+\frac23+\frac35\right)
\approx0.45333. AP 2 = 5 1 ( 1 + 3 2 + 5 3 ) ≈ 0.45333.
MAP(Mean Average Precision)是多个请求 AP 的平均值:
M A P @ K = 1 N ∑ i = 1 N A P i @ K . \boxed{\mathrm{MAP}@K=\frac1N\sum_{i=1}^N\mathrm{AP}_i@K.} MAP @ K = N 1 i = 1 ∑ N AP i @ K .
本例中:
M A P @ 8 = 0.830357 + 0.453333 2 ≈ 0.641845. \mathrm{MAP}@8=\frac{0.830357+0.453333}{2}
\approx0.641845. MAP @8 = 2 0.830357 + 0.453333 ≈ 0.641845.
原文章还采用过一种截断 AP@K 定义:
A P t r u n c @ K = ∑ k = 1 K ( P @ k ) r k min ( M , K ) . \mathrm{AP}_{\mathrm{trunc}}@K
=\frac{\sum_{k=1}^{K}(P@k)r_k}
{\min(M,K)}. AP trunc @ K = min ( M , K ) ∑ k = 1 K ( P @ k ) r k .
当 M > K M>K M > K 时,它与教材使用的分母 M M M 不同。同一实验必须固定 AP 的归一化约定。
4.4 Hit Rate 的两种统计口径 教材把一条历史点击记录记为 ( u i , v i ) (u_i,v_i) ( u i , v i ) ,检查模型对用户 u i u_i u i 返回的前 K 个物料是否包含点击物料 v i v_i v i :
H i t R a t e @ K = 1 N ∑ i = 1 N 1 [ v i ∈ R K ( u i ) ] . \boxed{\mathrm{HitRate@K}
=\frac1N\sum_{i=1}^N
\mathbf1\left[v_i\in R_K(u_i)\right].} HitRate@K = N 1 i = 1 ∑ N 1 [ v i ∈ R K ( u i ) ] .
如果 5 条点击记录中有 3 条被召回,HitRate@K 就是 3 / 5 = 0.6 3/5=0.6 3/5 = 0.6 。
部分资料还采用请求级定义:只要一次请求的召回列表命中至少一个正样本,就记为 1。它与教材的点击记录级定义具有不同分母,必须在实验报告中注明。
例如,请求 A 有 10 个正样本,命中 9 个;请求 B 有 1 个正样本,命中 0 个。按请求宏平均的 Recall 为 ( 0.9 + 0 ) / 2 = 0.45 (0.9+0)/2=0.45 ( 0.9 + 0 ) /2 = 0.45 ,按点击记录统计的命中比例为 9 / 11 ≈ 0.8182 9/11\approx0.8182 9/11 ≈ 0.8182 。
五、人工评测与持续评估 5.1 检查实际推荐内容 离线指标需要结合人工评测。检查界面可以展示某个用户最近观看、点击的内容,以及召回或排序模型返回的候选列表。重点观察用户兴趣是否匹配、多种兴趣是否被覆盖、不同用户的推荐是否具有个性化,以及内容是否重复、过时或不合适。
教材介绍过 Airbnb 的物料到物料相似召回检查工具。它把源房屋及相关房屋的图片、简介并列展示,便于观察相似性与推荐结果的合理程度。
5.2 Progressive Validation:预测之后更新模型 持续训练模型会随着新的用户行为不断改变参数。渐进式验证(Progressive Validation)采用以下顺序:
模型使用当前参数预测新一批样本。
保存预测值与随后获得的真实反馈,计算评估指标。
使用该批反馈更新模型参数。
记更新前参数为 θ t − 1 \theta_{t-1} θ t − 1 ,新样本为 ( x t , y t ) (x_t,y_t) ( x t , y t ) :
y ^ t = f θ t − 1 ( x t ) , L t = ℓ ( y ^ t , y t ) , \hat y_t=f_{\theta_{t-1}}(x_t),
\qquad
L_t=\ell(\hat y_t,y_t), y ^ t = f θ t − 1 ( x t ) , L t = ℓ ( y ^ t , y t ) ,
θ t = U p d a t e ( θ t − 1 , x t , y t ) . \theta_t=\mathrm{Update}(\theta_{t-1},x_t,y_t). θ t = Update ( θ t − 1 , x t , y t ) .
同一次前向计算可以服务于评估和训练。用于评估的预测值来自尚未学习这批反馈的模型,因此能够更好地反映模型收到反馈之前的预测能力。
在点击、购买等具有反馈延迟的任务中,还要等待标签成熟。持续评估仍会受到线上曝光策略和用户行为变化的影响,应结合数据分布与业务指标检查。
六、在线 A/B 实验 6.1 为什么随机实验能够估计新模型的作用 设 Y i ( 0 ) Y_i(0) Y i ( 0 ) 是用户 i i i 使用旧模型时的指标,Y i ( 1 ) Y_i(1) Y i ( 1 ) 是同一用户使用新模型时的指标。希望估计:
τ = E [ Y i ( 1 ) − Y i ( 0 ) ] . \tau=E[Y_i(1)-Y_i(0)]. τ = E [ Y i ( 1 ) − Y i ( 0 )] .
同一用户在同一实验条件下只能观察其中一种策略结果。A/B 实验将用户随机分配至控制组和实验组。在随机化有效、策略执行一致、用户之间的干扰得到控制等条件下:
τ = E [ Y ∣ Z = 1 ] − E [ Y ∣ Z = 0 ] . \tau=E[Y\mid Z=1]-E[Y\mid Z=0]. τ = E [ Y ∣ Z = 1 ] − E [ Y ∣ Z = 0 ] .
其中 Z = 1 Z=1 Z = 1 表示使用新模型,Z = 0 Z=0 Z = 0 表示使用旧模型。随机分组可以使两组用户的其他特征在统计意义上具有可比性。
6.2 为什么分组需要随机且稳定 假如用户每次刷新都重新随机分组,可能在短时间内交替接收新旧模型的推荐。先前策略会影响用户后续行为,模型作用也会更难解释。
教材采用用户 ID 的稳定哈希方式:
b ( u ) = H ( u ) m o d N . b(u)=H(u)\bmod N. b ( u ) = H ( u ) mod N .
其中 N N N 是桶数量,H H H 是哈希函数。若设置 10,000 个桶,把桶号 0~1,999 分给实验组,就可以安排约 20% 的用户进入实验组。哈希输入相同,用户的桶编号保持不变。
这种方法依赖合适的哈希函数和分组规则。上线还要监控分配后的实际用户比例与数据质量。
6.3 分层重叠:多个实验共同使用流量 推荐系统经常同时开展召回、精排等实验。通过把实验层标识加入哈希输入,可以让每个实验拥有自己的分组:
b ℓ ( u ) = H ( ℓ ∥ u ) m o d N . b_{\ell}(u)=H(\ell\Vert u)\bmod N. b ℓ ( u ) = H ( ℓ ∥ u ) mod N .
这里 ℓ \ell ℓ 是实验层标识,∥ \Vert ∥ 表示拼接。若不同实验的分组近似独立,用户就可以同时进入不同实验的任意组合。
教材给出两个召回实验:X 的启用比例为 20%,Y 的启用比例为 30%。在独立分配条件下:
X 策略
Y 策略
流量比例
关闭
关闭
0.8 × 0.7 = 56 % 0.8\times0.7=56\% 0.8 × 0.7 = 56%
启用
关闭
0.2 × 0.7 = 14 % 0.2\times0.7=14\% 0.2 × 0.7 = 14%
关闭
启用
0.8 × 0.3 = 24 % 0.8\times0.3=24\% 0.8 × 0.3 = 24%
启用
启用
0.2 × 0.3 = 6 % 0.2\times0.3=6\% 0.2 × 0.3 = 6%
从条件概率也能看出分组独立性:
P ( Y = 1 ∣ X = 1 ) = 0.06 0.20 = 0.30 , P(Y=1\mid X=1)=\frac{0.06}{0.20}=0.30, P ( Y = 1 ∣ X = 1 ) = 0.20 0.06 = 0.30 ,
P ( Y = 1 ∣ X = 0 ) = 0.24 0.80 = 0.30. P(Y=1\mid X=0)=\frac{0.24}{0.80}=0.30. P ( Y = 1 ∣ X = 0 ) = 0.80 0.24 = 0.30.
多个模型会同时影响最终推荐结果,因此还需要研究实验之间的交互作用。分层流量能够为实验提供分组基础,实际因果解释仍需要检查干扰与样本分布。
6.4 A/A 与 AABB 检查 A/A 实验让两组用户使用同一模型,用于检查分流、数据记录和指标计算是否符合预期。AABB 设计则将旧模型安排给 A1、A2 两组,将新模型安排给 B1、B2 两组,同时比较模型效果和相同模型之间的随机波动。
即使两组策略相同,统计检验仍可能因抽样波动给出显著结果。例如,显著性水平设置为 5% 时,原假设成立也有约 5% 的概率出现Ⅰ类错误。需要结合整体实验质量判断结果。
七、A/B 实验的假设检验 7.1 原假设和均值差 设控制组指标的总体均值为 μ C \mu_C μ C ,实验组为 μ E \mu_E μ E 。双侧检验写成:
H 0 : μ E = μ C , H 1 : μ E ≠ μ C . H_0:\mu_E=\mu_C,\qquad H_1:\mu_E\neq\mu_C. H 0 : μ E = μ C , H 1 : μ E = μ C .
样本均值之差为:
D = Y ˉ E − Y ˉ C . D=\bar Y_E-\bar Y_C. D = Y ˉ E − Y ˉ C .
如果两组相互独立,且组内观测满足所需的独立性条件,那么:
V a r ( D ) = σ E 2 n E + σ C 2 n C . \mathrm{Var}(D)=\frac{\sigma_E^2}{n_E}+\frac{\sigma_C^2}{n_C}. Var ( D ) = n E σ E 2 + n C σ C 2 .
用样本方差 s E 2 , s C 2 s_E^2,s_C^2 s E 2 , s C 2 估计总体方差,得到标准误:
S E ( D ) = s E 2 n E + s C 2 n C . \mathrm{SE}(D)=
\sqrt{\frac{s_E^2}{n_E}+\frac{s_C^2}{n_C}}. SE ( D ) = n E s E 2 + n C s C 2 .
在适当的大样本正态近似下:
z = Y ˉ E − Y ˉ C s E 2 / n E + s C 2 / n C . \boxed{z=
\frac{\bar Y_E-\bar Y_C}
{\sqrt{s_E^2/n_E+s_C^2/n_C}}.} z = s E 2 / n E + s C 2 / n C Y ˉ E − Y ˉ C .
这个统计量衡量观测到的均值差相当于多少个标准误。原假设成立时,绝对值越大的 z 越少见。
7.2 p 值和显著性水平 令 Φ \Phi Φ 表示标准正态分布的累计分布函数。双侧检验的 p 值为:
p = 2 [ 1 − Φ ( ∣ z ∣ ) ] . \boxed{p=2[1-\Phi(|z|)].} p = 2 [ 1 − Φ ( ∣ z ∣ )] .
p 值表示:在原假设成立时,按照所选检验方法,得到至少如此极端的检验统计量的概率。
当显著性水平 α = 0.05 \alpha=0.05 α = 0.05 时,双侧正态检验的临界值约为:
∣ z ∣ > 1.96. |z|>1.96. ∣ z ∣ > 1.96.
达到这一条件,可以在 5% 显著性水平下拒绝原假设。没有达到时,表示当前证据不足以拒绝原假设。
7.3 CTR 从 10% 提高到 11% 的计算 假设两组各有 10,000 次独立曝光,控制组有 1,000 次点击,实验组有 1,100 次点击:
p ^ C = 0.10 , p ^ E = 0.11. \hat p_C=0.10,\qquad\hat p_E=0.11. p ^ C = 0.10 , p ^ E = 0.11.
CTR 的绝对差异为 1 个百分点,相对提升为 10%。
两比例 z 检验在原假设下使用合并比例:
p ^ = 1000 + 1100 10000 + 10000 = 0.105. \hat p=\frac{1000+1100}{10000+10000}=0.105. p ^ = 10000 + 10000 1000 + 1100 = 0.105.
标准误:
S E 0 = p ^ ( 1 − p ^ ) ( 1 n C + 1 n E ) = 0.105 × 0.895 × 0.0002 ≈ 0.00433532. \begin{aligned}
\mathrm{SE}_0
&=\sqrt{\hat p(1-\hat p)
\left(\frac1{n_C}+\frac1{n_E}\right)}\\
&=\sqrt{0.105\times0.895\times0.0002}\\
&\approx0.00433532.
\end{aligned} SE 0 = p ^ ( 1 − p ^ ) ( n C 1 + n E 1 ) = 0.105 × 0.895 × 0.0002 ≈ 0.00433532.
检验统计量:
z = 0.11 − 0.10 0.00433532 ≈ 2.30663. z=\frac{0.11-0.10}{0.00433532}
\approx2.30663. z = 0.00433532 0.11 − 0.10 ≈ 2.30663.
对应双侧 p 值:
p ≈ 0.02108. \boxed{p\approx0.02108.} p ≈ 0.02108.
因为 0.02108 < 0.05 0.02108<0.05 0.02108 < 0.05 ,在独立曝光的统计假设下,可以拒绝两组点击率相等的原假设。
估计比例差的 95% 置信区间时,使用未合并标准误:
S E = p ^ E ( 1 − p ^ E ) n E + p ^ C ( 1 − p ^ C ) n C . \mathrm{SE}=
\sqrt{\frac{\hat p_E(1-\hat p_E)}{n_E}
+\frac{\hat p_C(1-\hat p_C)}{n_C}}. SE = n E p ^ E ( 1 − p ^ E ) + n C p ^ C ( 1 − p ^ C ) .
由此得到近似区间:
0.01 ± 1.96 S E ≈ [ 0.00150 , 0.01850 ] . 0.01\pm1.96\,\mathrm{SE}
\approx[0.00150,0.01850]. 0.01 ± 1.96 SE ≈ [ 0.00150 , 0.01850 ] .
对应 CTR 增长范围约为 0.15~1.85 个百分点。置信区间的 95% 表示长期重复抽样下的覆盖比例。
7.4 Ⅰ类错误、Ⅱ类错误与检验功效
真实情况
拒绝 H 0 H_0 H 0
未拒绝 H 0 H_0 H 0
H 0 H_0 H 0 成立
Ⅰ类错误
正确判断
H 1 H_1 H 1 成立
正确判断
Ⅱ类错误
Ⅰ类错误的概率由显著性水平控制:
α = P ( 拒绝 H 0 ∣ H 0 成立 ) . \alpha=P(\text{拒绝 }H_0\mid H_0\text{ 成立}). α = P ( 拒绝 H 0 ∣ H 0 成立 ) .
Ⅱ类错误的概率记为:
β = P ( 未拒绝 H 0 ∣ H 1 成立 ) . \beta=P(\text{未拒绝 }H_0\mid H_1\text{ 成立}). β = P ( 未拒绝 H 0 ∣ H 1 成立 ) .
检验功效(Power)为:
P o w e r = 1 − β . \mathrm{Power}=1-\beta. Power = 1 − β .
降低显著性水平通常会提高拒绝原假设的要求。在样本数量与真实效果固定时,检验功效可能降低。增加有效样本数量,可以降低标准误,提高检测真实差异的能力。
假设两组样本数量相同,方差近似为 σ 2 \sigma^2 σ 2 ,希望检测大小为 δ \delta δ 的均值差,则常用的正态近似样本量公式为:
n ≈ 2 ( z 1 − α / 2 + z 1 − β ) 2 σ 2 δ 2 . n\approx
\frac{2(z_{1-\alpha/2}+z_{1-\beta})^2\sigma^2}{\delta^2}. n ≈ δ 2 2 ( z 1 − α /2 + z 1 − β ) 2 σ 2 .
若 α = 0.05 \alpha=0.05 α = 0.05 、Power=0.8、σ 2 = 0.09 \sigma^2=0.09 σ 2 = 0.09 、δ = 0.01 \delta=0.01 δ = 0.01 :
n ≈ 2 ( 1.96 + 0.84 ) 2 × 0.09 0.01 2 = 14112. n\approx
\frac{2(1.96+0.84)^2\times0.09}{0.01^2}
=14112. n ≈ 0.0 1 2 2 ( 1.96 + 0.84 ) 2 × 0.09 = 14112.
每组约需 14,112 个独立观测。实际推荐系统通常按用户随机分组,同一用户的多次曝光会相关,因此需要使用用户级分析或聚类标准误。
7.5 显著性与业务决策 一个很小的指标变化,在极大的流量下也可能获得统计显著性。上线还要评估模型计算资源、服务延迟、收入与长期用户体验。预先确定主要指标和观察周期,也有助于控制反复检查 p 值造成的错误概率变化。
八、概率预测指标 8.1 LogLoss:衡量概率预测质量 对二分类标签 y i ∈ { 0 , 1 } y_i\in\{0,1\} y i ∈ { 0 , 1 } 和预测概率 p i ∈ ( 0 , 1 ) p_i\in(0,1) p i ∈ ( 0 , 1 ) ,二分类交叉熵为:
L o g L o s s = − 1 N ∑ i = 1 N [ y i ln p i + ( 1 − y i ) ln ( 1 − p i ) ] . \boxed{\mathrm{LogLoss}=
-\frac1N\sum_{i=1}^{N}
[y_i\ln p_i+(1-y_i)\ln(1-p_i)].} LogLoss = − N 1 i = 1 ∑ N [ y i ln p i + ( 1 − y i ) ln ( 1 − p i )] .
若真实结果为点击,预测概率越接近 1,损失越小;若真实结果为未点击,预测概率越接近 0,损失越小。相比 AUC,这一指标直接检查概率数值。
例如,真实标签为 [ 1 , 0 ] [1,0] [ 1 , 0 ] 。模型 A 预测 [ 0.9 , 0.8 ] [0.9,0.8] [ 0.9 , 0.8 ] ,模型 B 预测 [ 0.6 , 0.4 ] [0.6,0.4] [ 0.6 , 0.4 ] 。两者 AUC 都为 1,但:
L o g L o s s A = − 1 2 ( ln 0.9 + ln 0.2 ) ≈ 0.8574 , \mathrm{LogLoss}_A=-\frac12(\ln0.9+\ln0.2)
\approx0.8574, LogLoss A = − 2 1 ( ln 0.9 + ln 0.2 ) ≈ 0.8574 ,
L o g L o s s B = − 1 2 ( ln 0.6 + ln 0.6 ) ≈ 0.5108. \mathrm{LogLoss}_B=-\frac12(\ln0.6+\ln0.6)
\approx0.5108. LogLoss B = − 2 1 ( ln 0.6 + ln 0.6 ) ≈ 0.5108.
模型 B 的概率预测具有更小的交叉熵。
8.2 NE:相对于基准点击率的损失 NE(Normalized Entropy,归一化熵)使用只预测总体正样本比例的基准模型进行归一化。设总体点击率为 y ˉ \bar y y ˉ ,基准二元熵为:
H ( y ˉ ) = − [ y ˉ ln y ˉ + ( 1 − y ˉ ) ln ( 1 − y ˉ ) ] . H(\bar y)=-
[\bar y\ln\bar y+(1-\bar y)\ln(1-\bar y)]. H ( y ˉ ) = − [ y ˉ ln y ˉ + ( 1 − y ˉ ) ln ( 1 − y ˉ )] .
则:
N E = L o g L o s s H ( y ˉ ) . \boxed{\mathrm{NE}=\frac{\mathrm{LogLoss}}{H(\bar y)}.} NE = H ( y ˉ ) LogLoss .
例如,基准点击率为 10% 时:
H ( 0.1 ) ≈ 0.32508. H(0.1)\approx0.32508. H ( 0.1 ) ≈ 0.32508.
若模型 LogLoss 为 0.26,则:
N E ≈ 0.26 0.32508 ≈ 0.7998. \mathrm{NE}\approx\frac{0.26}{0.32508}\approx0.7998. NE ≈ 0.32508 0.26 ≈ 0.7998.
NE 小于 1,表示该模型的平均交叉熵低于只输出基准点击率的模型。不同样本分布具有不同的基准熵,跨数据集比较时仍需保持谨慎。[11]
8.3 PCOC、ECE 与 Brier Score PCOC(Predicted CTR over Observed CTR,预测点击率与实际点击率之比)可以写成:
P C O C = ∑ i p i ∑ i y i . \mathrm{PCOC}=\frac{\sum_i p_i}{\sum_i y_i}. PCOC = ∑ i y i ∑ i p i .
值接近 1 表示预测点击总量与实际点击总量接近。总体比例正确,也可能隐藏不同人群间的误差。
ECE(Expected Calibration Error,期望校准误差)将预测概率分为若干区间,统计每个区间的平均预测概率 c o n f ( B b ) \mathrm{conf}(B_b) conf ( B b ) 和实际正样本比例 a c c ( B b ) \mathrm{acc}(B_b) acc ( B b ) :
E C E = ∑ b = 1 B ∣ B b ∣ N ∣ a c c ( B b ) − c o n f ( B b ) ∣ . \mathrm{ECE}=
\sum_{b=1}^{B}\frac{|B_b|}{N}
|\mathrm{acc}(B_b)-\mathrm{conf}(B_b)|. ECE = b = 1 ∑ B N ∣ B b ∣ ∣ acc ( B b ) − conf ( B b ) ∣.
Brier Score(布里尔分数)计算概率预测与二值结果的平方误差:
B r i e r = 1 N ∑ i = 1 N ( p i − y i ) 2 . \mathrm{Brier}=\frac1N\sum_{i=1}^N(p_i-y_i)^2. Brier = N 1 i = 1 ∑ N ( p i − y i ) 2 .
这三种指标可以结合使用:PCOC 检查总量,ECE 观察概率分区的一致性,Brier 体现每个样本的平方误差。[13]
九、分类阈值与 ROC、P-R 曲线 9.1 混淆矩阵与分类指标 当模型输出点击概率时,需要选择阈值才能转为二元预测。根据阈值,可以计算真正例 TP、假正例 FP、真负例 TN 和假负例 FN。
A c c u r a c y = T P + T N T P + F P + T N + F N , \mathrm{Accuracy}=\frac{TP+TN}{TP+FP+TN+FN}, Accuracy = T P + F P + T N + F N T P + T N ,
P r e c i s i o n = T P T P + F P , R e c a l l = T P T P + F N , \mathrm{Precision}=\frac{TP}{TP+FP},\qquad
\mathrm{Recall}=\frac{TP}{TP+FN}, Precision = T P + F P T P , Recall = T P + F N T P ,
F 1 = 2 P r e c i s i o n R e c a l l P r e c i s i o n + R e c a l l . \mathrm{F1}=
\frac{2\,\mathrm{Precision}\,\mathrm{Recall}}
{\mathrm{Precision}+\mathrm{Recall}}. F1 = Precision + Recall 2 Precision Recall .
当正样本极少时,Accuracy 可能很高,却无法说明模型能够识别正样本。例如,1,000 个样本中只有 10 个正样本,全部预测为负类时 Accuracy=99%,正样本 Recall=0。
Precision、Recall 与 F1 会随着分类阈值变化。AUC 则通过扫描全部阈值评价排序能力。
9.2 P-R 曲线与 AP P-R(Precision-Recall,精确率-召回率)曲线以 Recall 为横轴、Precision 为纵轴。随着阈值变化,得到不同的 P-R 点。
AP 的经典形式,可以理解为按 Recall 的增量加权累计 Precision:
A P = ∑ k P k ( R k − R k − 1 ) . \mathrm{AP}=\sum_k P_k\,(R_k-R_{k-1}). AP = k ∑ P k ( R k − R k − 1 ) .
这里按相关结果进入的阈值位置求和。实际工具也可能使用插值积分等不同定义,需要核对实现。[14]
ROC 的横轴 FPR 使用全部负样本作为分母,P-R 的纵轴 Precision 同时受到真正例与假正例数量影响。因此当正样本比例很低时,P-R 曲线通常能够更直接呈现正样本检索的难度。[8]
十、覆盖、多样性与新颖性 10.1 覆盖率 设物料库为 I I I ,向全部评估用户推荐过的物料集合为 S S S ,则物料覆盖率为:
C o v e r a g e = ∣ S ∣ ∣ I ∣ . \mathrm{Coverage}=\frac{|S|}{|I|}. Coverage = ∣ I ∣ ∣ S ∣ .
覆盖率可以反映系统是否长期集中推荐少数物料。它也依赖评估用户数量、时间范围和候选库定义。
10.2 列表内多样性 对于包含 K 个物料的列表,可以使用物料之间的不相似度 d ( i , j ) d(i,j) d ( i , j ) 定义:
I L D = 2 K ( K − 1 ) ∑ 1 ≤ i < j ≤ K d ( i , j ) . \mathrm{ILD}=
\frac{2}{K(K-1)}
\sum_{1\le i<j\le K}d(i,j). ILD = K ( K − 1 ) 2 1 ≤ i < j ≤ K ∑ d ( i , j ) .
不相似度可以来自类别差异、内容向量距离或其他业务特征。高多样性需要同时考虑相关性,避免因追求差异而推荐不符合兴趣的内容。[15]
10.3 新颖性 可以通过物料的历史流行程度衡量新颖性。例如,设 P p o p ( i ) P_{\mathrm{pop}}(i) P pop ( i ) 表示物料被消费的相对频率,使用:
N o v e l t y ( i ) = − log P p o p ( i ) \mathrm{Novelty}(i)=-\log P_{\mathrm{pop}}(i) Novelty ( i ) = − log P pop ( i )
衡量较少被消费物料的新颖程度。低频物料获得较高数值。实际计算需要定义时间窗,并确保概率为正。
十一、连续数值预测的误差 推荐系统还会预测观看时长、成交金额等连续数值。设真实值为 y i y_i y i ,预测值为 y ^ i \hat y_i y ^ i 。
11.1 MAE 与 RMSE 平均绝对误差:
M A E = 1 N ∑ i = 1 N ∣ y i − y ^ i ∣ . \mathrm{MAE}=\frac1N\sum_{i=1}^N|y_i-\hat y_i|. MAE = N 1 i = 1 ∑ N ∣ y i − y ^ i ∣.
均方根误差:
R M S E = 1 N ∑ i = 1 N ( y i − y ^ i ) 2 . \mathrm{RMSE}=
\sqrt{\frac1N\sum_{i=1}^N(y_i-\hat y_i)^2}. RMSE = N 1 i = 1 ∑ N ( y i − y ^ i ) 2 .
假设 5 条记录的误差绝对值为 [ 1 , 1 , 2 , 2 , 50 ] [1,1,2,2,50] [ 1 , 1 , 2 , 2 , 50 ] :
M A E = 1 + 1 + 2 + 2 + 50 5 = 11.2 , \mathrm{MAE}=\frac{1+1+2+2+50}{5}=11.2, MAE = 5 1 + 1 + 2 + 2 + 50 = 11.2 ,
R M S E = 1 + 1 + 4 + 4 + 2500 5 = 502 ≈ 22.405. \mathrm{RMSE}=
\sqrt{\frac{1+1+4+4+2500}{5}}
=\sqrt{502}\approx22.405. RMSE = 5 1 + 1 + 4 + 4 + 2500 = 502 ≈ 22.405.
RMSE 对特别大的误差赋予更高权重。MAE 的单位与预测目标一致,也便于理解平均绝对误差。
11.2 MAPE 的限制 平均绝对百分比误差:
M A P E = 100 % N ∑ i = 1 N ∣ y i − y ^ i y i ∣ . \mathrm{MAPE}=\frac{100\%}{N}
\sum_{i=1}^{N}\left|\frac{y_i-\hat y_i}{y_i}\right|. MAPE = N 100% i = 1 ∑ N y i y i − y ^ i .
例如,真实播放次数为 10,000,预测为 9,500:
∣ 10000 − 9500 10000 ∣ × 100 % = 5 % . \left|\frac{10000-9500}{10000}\right|\times100\%=5\%. 10000 10000 − 9500 × 100% = 5%.
MAPE 要求真实值不为零。真实值接近零时,相对误差可能特别大,因此用于播放时长、消费金额等包含零值的任务前,需要检查这一条件。
十二、可复算的 Python 实现 12.1 AUC、GAUC 与 NDCG 下面的实现适合核对小规模数据。AUC 直接遍历全部正负样本对,时间复杂度为 O ( m n ) O(mn) O ( mn ) 。实际大规模评估可使用具有并列分数处理规则的成熟评估库。
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 import mathimport torchdef pairwise_auc (scores, labels ): positives = [s for s, y in zip (scores, labels) if y == 1 ] negatives = [s for s, y in zip (scores, labels) if y == 0 ] assert positives and negatives wins = sum ( 1 if p > n else 0.5 if p == n else 0 for p in positives for n in negatives ) return wins / (len (positives) * len (negatives)) groups = { "A" : ([0.9 , 0.8 , 0.7 , 0.3 ], [1 , 1 , 1 , 0 ]), "B" : ([0.6 , 0.5 , 0.2 , 0.1 ], [0 , 0 , 0 , 1 ]), } gauc = sum ( len (scores) * pairwise_auc(scores, labels) for scores, labels in groups.values() ) / sum (len (scores) for scores, _ in groups.values()) print ("GAUC:" , gauc)gains = torch.tensor([1. , 1. , 2. , 0. ], dtype=torch.float64) rank = torch.arange(1 , gains.numel() + 1 , dtype=torch.float64) discount = torch.log2(rank + 1 ).reciprocal() dcg = (gains * discount).sum () idcg = (gains.sort(descending=True ).values * discount).sum () assert idcg > 0 ndcg = dcg / idcg print ("DCG:" , dcg.item())print ("NDCG:" , ndcg.item())
对应结果:
计算内容
结果
GAUC
0.5
DCG
2.6309297536
NDCG
0.8403030284
12.2 召回 AP、稳定分桶与两比例检验 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 import hashlibimport mathdef average_precision_at_k (ranked_items, positives, k ): assert positives and 1 <= k <= len (ranked_items) hits = 0 total = 0.0 for rank, item in enumerate (ranked_items[:k], 1 ): if item in positives: hits += 1 total += hits / rank return total / len (positives) items = ["p1" , "p2" , "n1" , "p3" , "n2" , "n3" , "p4" , "n4" ] ap = average_precision_at_k( items, {"p1" , "p2" , "p3" , "p4" }, 8 ) print ("AP:" , ap)def stable_bucket (user_id, layer_id, bucket_count=10000 ): assert bucket_count > 0 raw = f"{layer_id} :{user_id} " .encode("utf-8" ) return int .from_bytes( hashlib.sha256(raw).digest(), "big" ) % bucket_count print ("Recall bucket:" , stable_bucket("user_42" , "Recall" ))n_control = n_experiment = 10000 clicks_control, clicks_experiment = 1000 , 1100 p_control = clicks_control / n_control p_experiment = clicks_experiment / n_experiment pooled = (clicks_control + clicks_experiment) / ( n_control + n_experiment ) se = math.sqrt( pooled * (1 - pooled) * (1 / n_control + 1 / n_experiment) ) z_score = (p_experiment - p_control) / se p_value = math.erfc(abs (z_score) / math.sqrt(2 )) print ("z:" , z_score)print ("p-value:" , p_value)
上述代码依次得到 AP 约 0.830357、z 值约 2.306635 和 p 值约 0.021075。实验分桶的输入还需要使用稳定的实验标识,确保相同用户在相同实验中的分组保持一致。
十三、实际评估中的统计与工程条件 13.1 数据与指标定义保持一致 比较模型前,需要固定时间划分、测试用户、标签定义、候选集合、K、重复物料处理、并列分数规则及没有正样本的处理方式。对于 GAUC,还需明确用户权重与是否排除单一标签用户。
模型训练损失下降,不保证线上观看时长或收入增加。例如,提高点击概率预测能力,可能提高点击率,却不一定改善内容消费体验。需要同时检查与业务目标对应的指标。
13.2 按用户随机分组时的相关性 真实平台通常按用户随机分组,同一用户的多次曝光可能高度相关。对于随机变量 X i X_i X i :
V a r ( ∑ i X i ) = ∑ i V a r ( X i ) + 2 ∑ i < j C o v ( X i , X j ) . \mathrm{Var}\left(\sum_iX_i\right)
=\sum_i\mathrm{Var}(X_i)
+2\sum_{i<j}\mathrm{Cov}(X_i,X_j). Var ( i ∑ X i ) = i ∑ Var ( X i ) + 2 i < j ∑ Cov ( X i , X j ) .
如果同一用户的观测之间存在相关性,直接套用独立曝光公式会遗漏协方差项,可能低估标准误。可以采用用户级聚类标准误、用户级重采样或适当的用户级指标分析。
整体 CTR 是总点击次数除以总曝光次数。直接平均每个用户的 CTR 会改变用户权重,二者应分别命名。
13.3 实验周期、用户群体与长期效果 实验应覆盖主要用户行为周期,并提前确定主要指标、观察时间和终止规则。每日重复检查 p 值并在出现显著结果时立即结束,会改变固定样本检验的错误概率。需要随时检验的业务可以采用具有相应统计保证的序贯方法。
还应分析新老用户、地区及不同内容场景。一个模型可能提高老用户的点击率,同时降低新用户的点击率。细分结果应结合样本量与多重检验问题判断。
在上线决策中,除了 CTR、观看时长和收入,还要观察用户留存、服务响应时间、请求失败率及新增计算成本。统计显著的收益需要与对应业务价值相结合。[3]
参考文献 [1] KRICHENE W, RENDLE S. On Sampled Metrics for Item Recommendation [C]//Proceedings of the ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. 2020: 1748–1757.
[2] SHANI G, GUNAWARDANA A. Evaluating Recommendation Systems [M]//RICCI F, ROKACH L, SHAPIRA B, et al., eds. Recommender Systems Handbook. Boston, MA: Springer, 2011: 257–297. DOI: 10.1007/978-0-387-85820-3_8.
[3] KOHAVI R, TANG D, XU Y. Trustworthy Online Controlled Experiments: A Practical Guide to A/B Testing [M]. Cambridge University Press, 2020. DOI: 10.1017/9781108653985.
[4] JÄRVELIN K, KEKÄLÄINEN J. Cumulated gain-based evaluation of IR techniques [J]. ACM Transactions on Information Systems, 2002, 20(4): 422–446. DOI: 10.1145/582415.582418.
[5] MANNING C D, RAGHAVAN P, SCHÜTZE H. Introduction to Information Retrieval [M]. Cambridge University Press, 2008.
[6] VOORHEES E M. The TREC-8 Question Answering Track Report [C]//The Eighth Text REtrieval Conference (TREC-8). NIST Special Publication 500-246, 2000.
[7] scikit-learn Developers. Metrics and scoring: quantifying the quality of predictions [EB/OL].
[8] FAWCETT T. An introduction to ROC analysis [J]. Pattern Recognition Letters, 2006, 27(8): 861–874. DOI: 10.1016/j.patrec.2005.10.010.
[9] scikit-learn Developers. roc_auc_score [EB/OL].
[10] ZHOU G, SONG C, ZHU X, et al. Deep Interest Network for Click-Through Rate Prediction [C]//Proceedings of the ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. 2018.
[11] HE X, PAN J, JIN O, et al. Practical Lessons from Predicting Clicks on Ads at Facebook [C]//Proceedings of the Eighth International Workshop on Data Mining for Online Advertising. 2014: 1–9. DOI: 10.1145/2648584.2648589.
[12] ZHAI J, LIAO L, LIU X, et al. Actions Speak Louder than Words: Trillion-Parameter Sequential Transducers for Generative Recommendations [C]//Proceedings of the International Conference on Machine Learning. 2024, 235: 58484–58509.
[13] GUO C, PLEISS G, SUN Y, et al. On Calibration of Modern Neural Networks [C]//Proceedings of the International Conference on Machine Learning. 2017, 70: 1321–1330.
[14] scikit-learn Developers. average_precision_score [EB/OL].
[15] VARGAS S, CASTELLS P. Rank and relevance in novelty and diversity metrics for recommender systems [C]//Proceedings of the ACM Conference on Recommender Systems. 2011: 109–116. DOI: 10.1145/2043932.2043955.
评论由 GitHub Giscus 提供。若当前网络无法加载,可 前往 GitHub Discussions 查看或参与讨论。