推荐系统模型与技术进展（2023—2026）

本文梳理截至 2026 年 10 月公开的代表性推荐系统研究，重点解释模型为什么出现、解决什么问题，以及不同技术路线之间的关系。文中模型规模、收益和部署效果均来自相应论文或机构披露，不能跨数据集直接比较。

1 从一次推荐开始

打开一个短视频应用时，系统面对的问题其实很具体：在成千上万条候选内容里，哪些内容值得展示给当前用户？同一个视频给不同用户可能有完全不同的效果；同一个用户在早晨和晚上，兴趣也可能发生变化。

一个简化的推荐流程可以分成三步。

1. 召回：从大量内容中找出一小批值得进一步考虑的候选。例如，从数百万条视频中寻找几千条。
2. 排序：对候选视频逐一估计点击、有效观看、转化等行为的概率，得到更精细的分数。
3. 重排与反馈：考虑多样性、时效性、内容约束等，再展示结果，并通过新的用户行为更新模型。

这里最重要的是，召回与排序可以使用不同模型，也可以逐渐由统一模型处理。2023—2026 年的许多研究，正是在尝试打通以前分开处理的信息和步骤。

假设现在要推荐一部电影。排序模型可能同时看到：用户喜欢科幻题材；当前电影属于科幻；用户昨晚看完一部太空纪录片；当前是周末；电影来自用户最近频繁观看的作者。每一项信息都不够完整。模型需要学习这些信息怎样共同影响推荐结果。

可以把预测任务写成：

$$\hat p=\Pr(y=1\mid u,i,c,S_u;\theta).$$

其中，$u$ 代表用户属性，$i$ 代表候选内容，$c$ 是时间、设备等场景信息，$S_u$ 是用户过去的行为序列，$\theta$ 是需要训练的模型参数。若 $y=1$ 表示“完成一次有效观看”，模型就学习预测有效观看概率。

1.1 五条主要技术路线

近年的研究可以按照所解决的问题理解：

• 特征交互与大规模排序：怎样把用户、商品、场景之间的复杂组合学得更好？代表模型包括 Wukong、RankMixer、TokenMixer-Large 和 UniMixer。
• 长序列与统一建模：怎样理解大量历史行为，并让当前候选与过去的兴趣持续交流？代表模型包括 HSTU、LONGER、HyFormer、MixFormer、ULTRA-HSTU、WHALE、SIF、DP-Rec 和 CONGA。
• 生成式召回与语义编码：能否让模型直接生成表示商品的编码？代表模型包括 TIGER、LETTER、LIGER、ReSID、MDGR 和 GLASS。
• 端到端生成式推荐：能否用生成模型承担更完整的召回、排序和推荐列表构建？代表研究包括 OneRec、OneRec-V2、OpenOneRec 与 TGR。
• 推荐基础模型、语言理解与推理：怎样利用跨任务预训练、语言模型、记忆和强化学习？代表研究包括 HLLM、PLUM、GEM / Kunlun、SAGE 和 INTEGER。

图一：2023—2026 推荐系统的五条技术路线

图一根据主要研究问题与代表论文重新绘制，同一模型可能属于多个方向。可单独查看大图。

2 特征交互：为什么模型要学习字段之间的关系

2.1 从一个数值例子开始

一个用户喜欢科幻电影，并不意味着她喜欢所有电影；一部电影属于科幻，也不意味着所有人都喜欢它。推荐系统要学到的是“用户偏好与候选类别匹配”这一共同条件。

假设用户科幻偏好为 $x_u$，电影科幻属性为 $x_i$。只用加法的线性模型写为 $z=w_ux_u+w_ix_i+b$。加入二阶交互后：

$$z=w_ux_u+w_ix_i+w_{ui}x_ux_i+b,\qquad \hat p=\sigma(z)=\frac{1}{1+\exp(-z)}.$$

令 $w_u=w_i=0.35,w_{ui}=1.2,b=0,x_u=x_i=1$，有 $z=1.9$、$\hat p\approx0.870$；如果取消交互，即令 $w_{ui}=0$，概率变成 $\sigma(0.7)\approx0.668$。这里只是教学参数，用来显示单独考虑两个字段与考虑它们的匹配关系并不相同。

单独打开交互演示

上方组件允许改变用户偏好、候选属性和交互系数。它不是 Wukong 或 RankMixer 的真实权重，而是理解特征交互的最简单例子。

2.2 FM：为稀疏特征提供共享表示

Factorization Machine（FM） 的基本思想，是为每个特征分配一个可学习向量 $v_i$，通过向量内积学习二阶关系：

$$\hat y=w_0+\sum_{i=1}^{F}w_ix_i+ \sum_{i<j}\langle v_i,v_j\rangle x_ix_j.$$

为什么要使用内积而不是为所有特征对单独训练一个参数？因为类别 ID 很稀疏：某个用户与某个视频可能只共同出现过几次，却与其他视频、用户形成大量间接关联。通过共享 $v_i$，模型可以从其他样本迁移统计信息。

从 FM 到 DeepFM、DCN 等模型，研究重点逐渐转为如何有效提取更高阶的特征组合，而不是手工列出所有字段配对。

图二：特征交互架构之间的关系

图二比较 Wukong、RankMixer 与 UniMixer 的计算重点。图是依据原论文机制重新绘制的概念图，并非逐个算子完全一致的官方网络结构。可单独查看大图。

2.3 Wukong：让已经产生的交互继续参与交互

Meta 的 Wukong（ICML 2024） 由堆叠的 Factorization Machine Block（FMB）和 Linear Compress Block（LCB）等结构构成。与只计算一次二阶项的模型不同，它把当前层的交互输出送到更深层，研究网络深度和宽度怎样改善质量。

设 $X\in\mathbb R^{F\times d}$ 表示 $F$ 组特征，每组长度为 $d$。论文中的一种压缩式交互可写为：

$$\operatorname{FM}(X)=XX^\top Y =X(X^\top Y),\qquad Y\in\mathbb R^{F\times r}.$$

第一种计算顺序会产生 $F\times F$ 的字段关系矩阵；第二种先计算 $X^\top Y$，可以减少中间矩阵存储。$Y$ 是学习到的压缩投影，$r$ 控制交互结果的宽度。

其特征变换还包括：

$$\operatorname{FMB}(X)= \operatorname{Reshape}\bigl( \operatorname{MLP}(\operatorname{LN}( \operatorname{Flatten}(\operatorname{FM}(X))))\bigr),$$ $$\operatorname{LCB}(X)=WX.$$

这两类输出共同构成下一层输入。直观地说，模型可以先学习“喜欢科幻 × 视频属于科幻”，再把结果与作者、时间、近期播放等字段继续组合，形成更复杂的关系。Wukong 在论文中讨论了扩大模型后损失与计算量的经验性 Scaling Law，不能把这一现象理解为任意数据、任意规模下的数学保证。

2.4 RankMixer：用确定性重排让字段互相接触

字节跳动的 RankMixer（2025） 面对的挑战是：大量异构字段的 Attention 需要计算每对 Token 的相似度，这些字段又不像自然语言那样处于统一词向量空间。于是 RankMixer 采用固定的 Head 重排，配合位置独立的 FFN。

把特征映射为 $T$ 个 Token，得到 $X\in\mathbb R^{T\times D}$。将第 $t$ 个 Token 切成 $H$ 段：

$$x_t=[x_t^{(1)};\ldots;x_t^{(H)}], \qquad x_t^{(h)}\in\mathbb R^{D/H}.$$

再把不同 Token 中相同 Head 编号的段拼在一起：

$$s^{(h)}=\operatorname{Concat} (x_1^{(h)},x_2^{(h)},\ldots,x_T^{(h)}).$$

这是一项固定的数据重排操作，不涉及先计算 $QK^\top$。论文的基本结构令 $H=T$，使重排后的矩阵仍为 $T\times D$，方便残差连接：

$$S=\operatorname{LN}(\operatorname{TokenMix}(X)+X).$$

更关键的可学习部分是 Per-token FFN（每个 Token 使用独立参数）：

$$v_t=W_{2,t}\operatorname{GELU}(W_{1,t}s_t+b_{1,t})+b_{2,t},$$ $$X_{\mathrm{next}}=\operatorname{LN}(V+S).$$

举例来说，如果一个 Token 主要容纳用户画像，另一个主要容纳候选商品字段，它们在全局信息交换后，仍使用不同 FFN 变换。如此兼顾跨组信息和不同字段的异质性。

RankMixer 还引入 Sparse MoE（稀疏专家混合），通过路由决定哪些专家参与某个 Token 的计算：

$$g_{tj}=\operatorname{ReLU}([h(s_t)]_j),\qquad v_t=\sum_{j=1}^{E}g_{tj}E_{tj}(s_t).$$

如果某个门值为零，对应专家这一条计算路径没有贡献。论文中的 Dense-training / Sparse-inference 设计进一步缓解训练时有些专家更新太少的问题。该论文报告工业环境的 MFU 由 4.5% 增至 45%，但这是一组特定硬件和生产模型的对照结果，不应直接当成一般训练加速倍数。

2.5 TokenMixer-Large：让深层 TokenMixer 保持稳定

TokenMixer-Large（2026） 不是简单把 RankMixer 的层数增加十倍。研究者指出原有架构存在混合前后维度安排、深层梯度传播和专家计算等问题，引入 Mixing-and-Reverting、跨层残差、辅助损失及 Sparse-Pertoken MoE。

一段简化的信息流是：

$$X_{\mathrm{mix}}=\operatorname{Mix}(X),\qquad X_{\mathrm{revert}}=\operatorname{Revert}(X_{\mathrm{mix}}).$$

随后采用更适合深层网络的归一化和 Per-token SwiGLU：

$$\operatorname{pSwiGLU}_t(x)=W_{\mathrm{down},t}\left[\operatorname{SiLU}(W_{\mathrm{gate},t}x)\odot(W_{\mathrm{up},t}x)\right].$$

其意义是让信息在混合到不同 Head 后还能回到对应位置，通过残差保留稳定的梯度通道，并让更大的专家网络以较低的每样本计算量服务。论文报告在线约 7B、离线约 15B 参数规模；参数数量并不等于必须在同等硬件上复现。

2.6 UniMixer：把固定的“洗牌”转成能学习的操作

快手的 UniMixer（2026） 从数学上分析固定 TokenMixer 与 Attention、FM 的关系。

将输入展平后，TokenMixer 的重排可以表示为：

$$\operatorname{TokenMix}(X) =\operatorname{Reshape} (W_{\mathrm{perm}}\operatorname{vec}(X)).$$

$W_{\mathrm{perm}}$ 是置换矩阵，每一行和每一列恰有一个非零元素。它能够重排数据，却不能根据训练数据调整重排强度。论文指出该矩阵可通过 Kronecker 积表示：

$$W_{\mathrm{perm}}=G\otimes I.$$

从这一结构出发，UniMixer 设计参数化的混合机制，并用局部与全局混合进一步控制计算成本。可以把变化理解为：RankMixer 规定不同来源的哪些坐标接触，UniMixer 允许重要混合关系进一步通过训练学习。它的 UniMixing-Lite 则侧重降低参数和 FLOPs。

这四篇论文最重要的区别是研究焦点。 Wukong 追求更复杂的高阶特征交互；RankMixer 将计算改成规则的 Token Mixing + 独立 FFN；TokenMixer-Large 改善深层网络与稀疏计算；UniMixer 研究可学习且有结构约束的混合。哪一个适合某个数据集，仍需要在相同输入、预算和评估指标下实验。

3 用户行为序列：为什么 HSTU 不只是普通 Attention

3.1 先定义什么是一次历史行为

如果用户先后看完一条纪录片、跳过一段烹饪视频、收藏一条足球视频，可以把历史写成：

$$H_u=(a_1,a_2,\ldots,a_L),\qquad a_t=(i_t,\operatorname{action}_t,\operatorname{time}_t,c_t).$$

$i_t$ 是历史商品，动作可以是观看、跳过或点赞，时间表示事件发生的先后，$c_t$ 是当时设备和场景等补充信息。真正的训练样本必须只使用目标行为之前的历史，避免未来信息泄漏。

把历史表示成矩阵 $X\in\mathbb R^{L\times D}$ 后，普通 Transformer 的自注意力可以写成：

$$\operatorname{Attn}(Q,K,V)= \operatorname{softmax} \left(\frac{QK^\top}{\sqrt d}+M\right)V.$$

$M$ 通常包含因果掩码，防止当前位置读取未来行为。如果 $L=10000$，单个 Attention Head 完整计算两两相关性涉及 $10^8$ 个位置，因此长序列还必须考虑时间与存储成本。

3.2 HSTU：保留重复兴趣的强度信号

Meta 的 HSTU（ICML 2024） 是 Hierarchical Sequential Transduction Unit。论文将每个 Block 分成三部分：Pointwise Projection、Spatial Aggregation、Pointwise Transformation。

原论文第 3.1 节给出的公式为：

$$U,V,Q,K=\operatorname{Split} \bigl(\operatorname{SiLU}(f_1(X))\bigr),$$ $$Z=\operatorname{SiLU}(QK^\top+B_{\mathrm{pos,time}})V,$$ $$Y=f_2\left(\operatorname{LN}(Z)\odot U\right).$$

其中 $B_{\mathrm{pos,time}}$ 包含位置和时间偏置，$U$ 为参与最终逐元素门控的向量，$\odot$ 表示对应坐标相乘。真实序列计算还要处理因果限制和 padding Mask。

HSTU 最值得理解的细节：它的 Spatial Aggregation 不像普通 Transformer 那样对全部历史使用 Softmax 归一化。 Softmax 要让一行权重和为 1；如果某种兴趣重复出现多次，归一化可能弱化“多次出现”所包含的偏好强度。HSTU 选择对匹配分数执行 SiLU，并在结果聚合后用 LayerNorm 稳定数值。

这不意味着它一定优于 Softmax；原论文是在流式、高维、非平稳推荐数据中提出该归纳偏好，并配合计算系统优化进行实验。后面 WHALE 的 Fusion Cross-Attention 使用 Softmax，那是另一模块的设计，不能混淆。

3.3 ULTRA-HSTU：只计算真正需要的历史关系

ULTRA-HSTU（2026） 进一步研究超长行为序列中的稀疏 Attention。其 Semi-Local Attention 使用局部和全局两类相关区域，避免每条行为都与完整历史两两匹配。

给定长度 $L$、局部窗口 $K_1$ 和全局窗口 $K_2$，论文讨论的 Attention 复杂度为：

$$O((K_1+K_2)L),$$

与全注意力 $O(L^2)$ 相比，当两个窗口远小于 $L$ 时有明显的理论节省。例如历史长度 $L=10000$，若总窗口为 $200$，需要考虑的匹配位置数量级由 $10^8$ 降到约 $2\times10^6$。真实 GPU 速度还会受算子实现、批次大小和设备带宽影响。

论文也研究分布式训练负载均衡、序列组织与低精度实现。更长的用户历史并不自动带来质量提升，历史信号与训练预算都要同时评估。

3.4 长序列的三类处理思路

把一万条历史全部删除，只保留最后一百条，是截断；把连续看同一主题的行为合并，是压缩；为重要兴趣保存可更新状态，是长期记忆。它们都节省计算，但丢失信息的方式不同。

LONGER（2025） 探索 Global Token、Token Merge 和混合 Attention 等方式，其大致信息流可概括为：

$$H'=\operatorname{Merge}(\operatorname{Encode}(H)),\qquad |H'|<|H|.$$

以上是帮助理解的抽象式，而非 LONGER 网络的逐算子复刻。

DP-Rec（2026） 借鉴 Dynamic Patching，根据行为序列中信息变化的强弱确定片段边界，再用 Patch Encoder 表示相邻片段。示例中的边界可写为：

$$b_t=\mathbf 1[s_t>\tau].$$

$s_t$ 是教学演示中的行为变化分数，$\tau$ 是阈值；原论文实际使用 contrastive-entropy surprise，不是直接对视频类别设置这个阈值。论文关心在固定计算预算下保存更多长历史信息。

CONGA（RecSys 2026） 进一步探索 RoPE、KromHC 以及 TITANS 风格的 Neural Memory。它可以从更新与读取两个动作理解：

$$m_t=\operatorname{Update}(m_{t-1},a_t),\qquad z=\operatorname{Read}(m_t,q).$$

$m_t$ 是可学习的记忆状态，$q$ 是当前查询。这仅是记忆模型的功能性表达，不是 CONGA 论文的完整权重更新方程。要使用它还需回答如何避免旧记忆污染当前兴趣。

单独打开交互演示

动态序列分组演示：通过更改阈值，观察行为片段如何发生变化。这里只模拟动态分段的概念，不等于 DP-Rec 原始算法。

4 统一建模：候选内容怎样反复读取历史

4.1 浅层融合为什么可能不够

较早的推荐网络经常先把一段历史压成一个向量，然后再与当前商品的特征拼接：

$$h_u=\operatorname{Pool}(\operatorname{SequenceEncoder}(H_u)), \qquad \hat p=\sigma(f_\theta(u,i,c,h_u)).$$

这种方法实现容易、推理开销可控，但如果 $h_u$ 是固定的历史摘要，当前是科幻候选还是足球候选，模型拿到的可能始终是同一条汇总向量。更深入的网络希望做到：当前候选决定从历史里找什么；在多层计算中，得到的新证据反过来影响后续特征交互。

4.2 WHALE：Wukong 查询 HSTU，不是简单把两个输出拼在一起

Meta 的 WHALE（RecSys 2026） 把大规模非序列特征交互 Wukong 与时间行为序列 HSTU 放在同一网络中。每个 WHALE Layer 均包含 Wukong Module、HSTU Module 和 Attention-based Fusion Module。

假设该层共有 $N$ 个非序列特征 Token，历史长度为 $L$，共同模型维度为 $D$。Wukong 输出：

$$H_w^{(\ell)}=\operatorname{Wukong}^{(\ell)} (X_{\mathrm{ns}}^{(\ell)}) \in\mathbb R^{N\times D}.$$

HSTU 输出：

$$H_s^{(\ell)}=\operatorname{HSTU}^{(\ell)} (X_s^{(\ell)}) \in\mathbb R^{L\times D}.$$

这两个输出首先分别经过 LayerNorm，再映射成 Attention 所需的查询、键和值：

$$Q^{(\ell)}=\operatorname{LN}(H_w^{(\ell)})W_Q^{(\ell)},$$ $$K^{(\ell)}=\operatorname{LN}(H_s^{(\ell)})W_K^{(\ell)}, \qquad V^{(\ell)}=\operatorname{LN}(H_s^{(\ell)})W_V^{(\ell)}.$$

论文公式 (4) 的融合输出是：

$$A^{(\ell)}= \operatorname{softmax} \left(\frac{Q^{(\ell)}K^{(\ell)\top}}{\sqrt D}\right) V^{(\ell)}\in\mathbb R^{N\times D}.$$

仔细观察：$Q$ 有 $N$ 行，而 $K,V$ 有 $L$ 行，所以 Attention 分数形状是 $N\times L$。每个 Wukong 特征交互 Token 都能独立向历史询问哪些行为相关；历史不必提前被压成一个固定向量。

图三：WHALE 的 Wukong、HSTU 与 Cross-Attention 的连接

图三根据 WHALE Figure 2 和方法部分重新绘制，是帮助观察信息流的简图。Wukong 产生 Query，HSTU 提供 Key、Value。这里的 Softmax 属于融合模块，不等同于 HSTU 本身的点式聚合。可单独查看大图。

例如，当前候选是科幻电影，假设它与三条历史行为的分数为 $(2,1,0)$，Softmax 后的权重约为：

$$(\alpha_1,\alpha_2,\alpha_3) =(0.665,0.245,0.090).$$

如果候选换成足球集锦，Query 会随当前候选改变，三个权重可能重新分配。这里用的是人为设定的三条分数，作用是帮助理解 Query 的条件性，不代表训练好的 WHALE 内部数值。

单独打开交互演示

WHALE 注意力演示：改变当前候选和 Softmax 温度，观察同一组历史信息的不同权重。它只演示融合 Attention 的基本计算，不包含整套 Wukong 和 HSTU 参数。

WHALE 并没有在 Attention 之后结束计算。原论文第 (5) 式把查询得到的历史信息与原 Wukong 输出拼接，线性投影后做残差相加：

$$\bar A^{(\ell)} =H_w^{(\ell)}+ [H_w^{(\ell)};A^{(\ell)}]W_F^{(\ell)}, \quad W_F^{(\ell)}\in\mathbb R^{2D\times D}.$$

再通过 SwiGLU 前馈网络进行门控细化：

$$H_f^{(\ell)} =\bar A^{(\ell)} +\operatorname{SwiGLU} (\operatorname{LN}(\bar A^{(\ell)})).$$

融合结果传入下一层 Wukong，HSTU 输出继续沿序列分支传播。这样，一个已经结合历史证据的特征 Token，还能在更深层继续做交互和历史检索。

这个结构的效果必须由实验而不是架构直觉证明。 WHALE 论文 Table 1 的 NE Regression：完整模型为参考 $0$，Shallow-hybrid Fusion 为 $0.25\%$，将 Attention 替换成历史均值池化为 $0.23\%$，移除融合 MLP 为 $0.11\%$，移除 SwiGLU FFN 为 $0.08\%$。这些数字表示在论文特定工业数据中，相比完整 WHALE 的质量退化，不是公开数据上可以保证的增益。

4.3 HyFormer：先形成多个 Query，再分层强化

HyFormer（2026） 也试图充分使用长历史，但它特别强调“怎样为历史生成有用的 Query”。

Query Generation 首先组合非序列字段和历史序列摘要：

$$G=\operatorname{Concat} (F_1,\ldots,F_M,\operatorname{MeanPool}(H_u)),$$ $$Q=[\operatorname{FFN}_1(G);\ldots;\operatorname{FFN}_N(G)].$$

然后 Query Decoding 读取长序列产生的 Key、Value：

$$\widetilde Q^{(\ell)} =\operatorname{CrossAttn} (Q^{(\ell)},K_s^{(\ell)},V_s^{(\ell)}).$$

紧接着，Query Boosting 用类似 MLP-Mixer 的网络更新查询之间的关系，让下一层查询具有更多由字段组合得到的信息。可以把它理解成多次“提问—读取—重新组织问题”。不同于 WHALE 保持 Wukong 和 HSTU 两条明确命名的主干，HyFormer 更突出 Query 生成、解码和增强的交替结构。论文还研究减少 Query 数量与灵活选择序列编码策略来控制推理成本。

4.4 MixFormer：将特征混合与历史读取组织成统一 Block

字节跳动的 MixFormer（KDD 2026） 每层包括 Query Mixer、Cross-Attention 和 Output Fusion。它先将用户、候选和场景字段嵌入后拼接，并切分成固定长度的 Feature Head：

$$e_{\mathrm{ns}}=[e_1;\ldots;e_M], \qquad x_j=W_j e_{\mathrm{ns}}[d(j-1):dj].$$

然后对 Head 做参数量很低的重排混合及独立 FFN：

$$P=\operatorname{HeadMixing} (\operatorname{Norm}(X))+X,$$ $$q_j=\operatorname{SwiGLUFFN}_j (\operatorname{Norm}(p_j))+p_j.$$

得到的 Query 与行为历史通过 Cross-Attention 结合，再进入 Output Fusion，重复堆叠形成更深网络。与 RankMixer 类似，HeadMixing 有固定重排的味道；与 WHALE 类似，它允许当前特征反复读取历史。区别是 MixFormer 在统一的 Query Mixer 主干上组织两类计算，还讨论可以缓存或分摊的用户侧计算。

4.5 SIF：把完整的历史推荐样本当作 Token

美团的 SIF（Sample Is Feature，RecSys 2026） 进一步讨论历史行为本身的信息粒度。如果昨天某次推荐只被记录为“看过视频 A”，可能丢失昨天发生推荐时的用户状态、设备、曝光位置和其他上下文。

该方向可以用历史样本级编码理解：

$$z_t=\operatorname{SampleEncoder} (u_t,i_t,c_t,y_t),\qquad H_u^{\mathrm{sample}}=(z_1,\ldots,z_L).$$

这是概念性抽象式，并非 SIF 论文的完整官方训练式。它的研究问题在于从一次完整推荐样本中提炼历史 Token，而不仅保留历史视频编号。采用这种思路复现模型时，必须检查公开数据是否真实提供这些时间对应的历史上下文，不能用当前时刻的用户画像冒充过去的用户状态。

4.6 如何判断“统一建模”是否确实有帮助

WHALE、HyFormer、MixFormer 和 SIF 虽然共享一些动机，核心差异却很清晰：

模型	首要创新	重点输入	核心检查
WHALE	Wukong + HSTU 多层融合	字段 Token + 行为序列	Cross-Attention、融合 MLP 与浅层基线的消融
HyFormer	Query Decoding 与 Boosting	多个语义 Query + 历史 KV	Query 数量、更新深度、长序列成本
MixFormer	统一 Query Mixer Block	特征 Head + 历史序列	混合方式、缓存计算、扩展效率
SIF	历史样本级 Token	历史曝光及上下文	历史信息是否完整、是否存在时间泄漏

完整历史长度、字段丰富程度、item ID 稀疏度和实验参数预算，都可能改变这些模型的相对表现。不能只凭模型发表年份或工业实验的增益百分比来决定谁一定最好。

5 生成式召回：模型能不能直接“写出”商品

5.1 向量检索是怎样工作的

传统双塔召回把用户与商品都转成向量：

$$e_u=f_\theta(H_u),\qquad e_i=g_\phi(i),\qquad s(u,i)=e_u^\top e_i.$$

假设用户向量 $e_u=(1,2)$，两件商品向量分别为 $(2,1)$、$(-1,1)$，其点积分数是 $4$ 和 $1$。若向量来自有效训练，较大分数常表示更匹配。系统通过向量索引寻找分数高的商品，而不必逐一运行深度排序模型。

生成式召回改变的是寻找候选的方式：模型根据用户历史，直接预测代表商品身份的离散符号。要理解它，必须先理解 Semantic ID 从哪里来。

5.2 TIGER：RQ-VAE 怎样得到 Semantic ID

Google 的 TIGER（2023） 使用 RQ-VAE，即 Residual-Quantized Variational Autoencoder，把连续的商品内容向量编码成离散符号串。

第一步是得到商品表示：

$$z=E(x)\in\mathbb R^d,\qquad r_0=z.$$

第二步是在第 $k$ 层码本 $C_k=\{e_{k,1},\ldots,e_{k,K}\}$ 中，选择最接近当前残差的向量：

$$c_k=\arg\min_j\|r_k-e_{k,j}\|_2^2,\qquad r_{k+1}=r_k-e_{k,c_k}.$$

为什么每一层都要减去一个向量？可以把它理解为逐次修正近似误差：第一次得到粗表示，第二次拟合剩余差别，接下来的层继续补足细节。如果选择的码本向量是 $e_{1,12}$、$e_{2,08}$、$e_{3,31}$，就可以形成类似 $(12,08,31)$ 的编码。数字是码本索引，不是人工定义的电影题材标签。

论文还需要处理不同商品拥有相同编码的冲突，不能以为任意产生的离散串都恰好对应唯一的商品。

第三步是让 Transformer 根据用户历史，自回归生成目标商品的编码：

$$p_\theta(c_1,\ldots,c_m\mid H_u) =\prod_{k=1}^{m} p_\theta(c_k\mid c_{<k},H_u).$$

训练时最小化目标编码的负对数似然：

$$\mathcal L_{\mathrm{AR}}= -\sum_{k=1}^{m} \log p_\theta(c_k^\star\mid c_{<k}^\star,H_u).$$

这里 $c_k^\star$ 是真实下一个商品的编码。生成完成后，需要将合法的编码映射回商品 ID，过滤不存在、不可展示或不符合业务条件的结果。

图四：TIGER 商品编码与 OneRec 列表生成的区别

图四为依据 TIGER 和 OneRec 的研究问题绘制的示意图：商品先得到离散编码，随后推荐生成模型以历史作为条件产生结果。可单独查看大图。

单独打开交互演示

Semantic ID 交互演示：选择不同的示意商品，逐步生成编码。请注意示意概率不是 TIGER 的实际输出。

5.3 LETTER：语义相似与协同相似不总是同一回事

TIGER 的编码可以利用文本或其他内容语义。可是一本计算机书和一台编程键盘，语义描述并不相似，却可能被同一类用户共同购买。商品的内容语义与协同关系提供两种不同的相似性。

LETTER（2024） 研究如何让离散编码同时照顾语义保留、协同信号与编码质量。从优化目标的角度，可以用下面的抽象式帮助理解：

$$\mathcal L_{\mathrm{encoder}} =\mathcal L_{\mathrm{semantic}} +\lambda\mathcal L_{\mathrm{collaborative}} +\mu\mathcal L_{\mathrm{regularization}}.$$

这里是研究动机的示意分解，不能当作 LETTER 原论文每项损失的准确命名与实现。如果某一编码器只忠实还原商品文案，却完全无法区分常被共同观看的商品，其生成结果未必具备最佳推荐效果。

5.4 LIGER：离散生成和连续向量检索可以互补

LIGER（2024） 探索生成式检索与稠密向量检索的关系。离散编码便于组织结构化的生成搜索，连续向量则可以衡量更细的几何相似性。

为了理解不同候选来源如何共存，可以用抽象的多路检索写法：

$$\mathcal C_u= \mathcal C_{\mathrm{generative}}(u) \cup \mathcal C_{\mathrm{dense}}(u).$$

$\mathcal C_u$ 是最终候选集合，右边两项是由生成模型和向量检索分别提供的候选。该集合式仅表示两种方式可能互补，不是 LIGER 的完整论文算法。工程中还要处理候选去重、两路分数可比性、覆盖率与运行成本。

5.5 ReSID：编码器也应考虑最终推荐目标

ReSID（2026） 关注推荐任务导向的 Semantic ID 设计，包括 FAMAE、GAOQ 等机制。核心问题可以概括为：怎样同时获得有效的离散编码和适合预测用户偏好的表示？

便于理解的目标式是：

$$\min_{\phi}\left[ \mathcal L_{\mathrm{representation}}(\phi) +\lambda\mathcal L_{\mathrm{recommendation}}(\phi) \right].$$

这里没有宣称原文直接使用这个二项公式；它说明编码质量不能只靠重建误差评判。若论文提供具体量化器、码本优化和推荐监督，严格复现时必须使用原文定义，不能用该示意式替换。

5.6 MDGR：从逐个预测改成有条件地恢复遮盖位置

TIGER 是自回归生成：第一个编码生成后，才能依赖它生成第二个。MDGR（2026） 则探索 Masked Diffusion Generative Recommendation。

假设目标 Semantic ID 为 $(12,08,31,05)$。模型可能先看到 $(12,\mathrm{MASK},31,\mathrm{MASK})$，根据用户历史与未遮盖的部分推断第二、第四个位置。论文不止做固定比例 Mask，还按照训练阶段和样本信息调整遮挡，并采用 warm-up 加并行预测的解码策略。

其论文核心损失可以写成：

$$\mathcal L_{\mathrm{mask}}= \mathbb E_{\tau,x_\tau} \left[ -\sum_{k\in\mathcal M_\tau} \log p_\theta(c_k^\star\mid x_\tau,\tau,H_u) \right].$$

$\mathcal M_\tau$ 是时间 $\tau$ 处被遮盖的位置集合，$x_\tau$ 是受到遮盖污染的 Semantic ID。与固定自回归顺序相比，它允许模型利用不同位置之间更灵活的信息关系。但并行恢复可能会出现位置之间的不一致，仍需要合法编码检查和合适的解码策略。

5.7 GLASS：先确定粗兴趣，再定位具体商品

GLASS（RecSys 2026） 研究 Semantic ID 的粗粒度前缀与细粒度后续编码，怎样分别利用用户兴趣。前面的编码可能代表宽泛的内容方向，后面的编码区分具体商品。

以抽象形式表示这个研究思路：

$$p_\theta(c\mid H_u) =p_\theta(c_1\mid H_u^{\mathrm{global}}) \prod_{k=2}^{m} p_\theta(c_k\mid c_{<k},H_u^{(k)}).$$

$H_u^{(k)}$ 表示生成第 $k$ 段编码时可选择不同粒度的历史信息。这一表达仅说明分阶段条件生成的直觉，不等于 GLASS 官方完整网络方程。

5.8 Meta GenRecs：生成词表需要长期稳定

Meta 的 GenRecs Tokenization 技术文章（2026） 从工业角度讨论商品语义 Token 的词表稳定性。

可以把 Tokenizer 理解成：

$$g(i)=(c_1,\ldots,c_m).$$

但是系统上线后还会不断加入新商品、删除旧商品。如果词表随每次重训变化得太快，历史编码就可能失去原有含义；如果新商品无法及时映射到合法编码，会直接影响召回覆盖率。因此，推荐用 Semantic ID 的难题不仅是训练好生成模型，还包括维护可靠、稳定、可更新的商品词表。

6 端到端生成推荐：为什么要一次考虑多条内容

6.1 从独立打分到列表建模

常见精排对候选商品分别预测点击或有效观看，再按综合分数排序。这样很高效，却忽略了展示结果之间的关系：如果前五条都是同一个作者的相似视频，第六条再展示一条同类内容的价值可能下降。

考虑最终列表 $S=(i_1,\ldots,i_K)$，更完整的推荐目标可能是：

$$p_\theta(S\mid H_u) =\prod_{j=1}^{K}p_\theta(i_j\mid i_{<j},H_u).$$

前面已经推荐的物品 $i_{<j}$ 会影响第 $j$ 个结果。列表中相邻内容的连贯性、多样性，以及位置效应，都可能在模型中体现。需要注意，真实商品可能由多个 Semantic ID Token 组成，生成目标要进一步展开到 Token 级。

6.2 OneRec：Session-wise Generation 加偏好优化

快手的 OneRec（2025） 研究用 Encoder–Decoder 将用户历史转成条件信息，再生成一组推荐视频。论文的 Session 是一次请求返回的若干短视频，而不是普通时间序列中的单一下一物品。

历史先经过编码：

$$H=\operatorname{Encoder}(H_u).$$

Decoder 随后根据历史及已经生成的编码，逐步产生目标 Session。在实际训练中，推荐视频可以用多个语义 ID 表示，模型也加入 Sparse MoE 提高容量。

OneRec 不只做生成，还使用 Iterative Preference Alignment（IPA）。其 Direct Preference Optimization（DPO）方向可以写作：

$$\mathcal L_{\mathrm{DPO}}= -\mathbb E\log\sigma\left[ \beta\left( \log\frac{\pi_\theta(S^+\mid H_u)}{\pi_{\mathrm{ref}}(S^+\mid H_u)} -\log\frac{\pi_\theta(S^-\mid H_u)}{\pi_{\mathrm{ref}}(S^-\mid H_u)} \right)\right].$$

$S^+$ 是偏好较高的 Session，$S^-$ 是偏好较低的 Session；$\pi_{\mathrm{ref}}$ 是参考策略。直觉上，模型学习相对于参考策略更倾向于高质量列表。现实中无法对同一用户请求同时展示两个列表并得到完整反馈，因此论文设计 Reward Model 及采样流程构造训练偏好对。

原论文报告在快手主场景中观看时长提高 1.6%。这是论文所述生产系统的结果，不能保证本地公开数据复现同一增幅。

6.3 OneRec-V2：生成很高效，历史编码却可能最费钱

OneRec-V2 Technical Report（2025） 指出此前的 Encoder–Decoder 架构有大量预算花在历史信息的编码上。它提出 Lazy Decoder-Only 等设计，并修改策略优化，目标是减少重复计算、改善训练效率。

一次请求的计算成本可以拆成：

$$C_{\mathrm{total}}= C_{\mathrm{history}}+ C_{\mathrm{decoding}}+ C_{\mathrm{overhead}}.$$

这个式子只是解释性的成本分解，不是论文发明的新理论。它强调，即使每一步生成很快，若每次都对长历史执行昂贵的编码，整个系统仍然很慢。原文给出的成本下降比例有特定参照架构和配置，不能用于估计任意本地模型的训练时间。

6.4 OpenOneRec：开放模型还需要适当的评估

OpenOneRec Technical Report（2025） 提供开放的模型、训练方案和评测资源，希望研究生成式推荐、内容理解和指令能力之间的关系。

一个涉及多个任务的训练系统，可能具有这样的概念性目标：

$$\mathcal L= \lambda_r\mathcal L_{\mathrm{recommendation}}+ \lambda_i\mathcal L_{\mathrm{instruction}}+ \lambda_a\mathcal L_{\mathrm{auxiliary}}.$$

这不是 OpenOneRec 原文完整损失的逐项还原。它用于说明推荐任务和指令任务可能由不同数据及损失监督。只增加自然语言对话训练，并不保证下一物品召回的效果保持不变，因此开放基准必须同时报告推荐准确度和语言能力。

6.5 TGR：区分“用生成范式排序”和“真正生成列表”

腾讯的 TGR Technical Report（2026） 给出了值得注意的概念区分：

• TGR-GenRank 保留原来的级联推荐流程，以 CCFormer 等模型改进 Ranker，主要输出仍是逐物品的概率分数。
• TGR-GenRec 探索直接生成推荐列表，进一步连接召回、排序和重排目标。
• TGR-Reason 研究知识与推理能力如何帮助推荐决策。

两类输出的形式明显不同：

$$\mathrm{GenRank}:\quad \hat p_{u,i} =\Pr(y_{u,i}=1\mid u,i,H_u,c),$$ $$\mathrm{GenRec}:\quad S^\star=\arg\max_S p_\theta(S\mid H_u,c).$$

第二个公式是说明生成目标的抽象决策式，具体推理过程还受候选约束与解码策略限制。TGR 论文明确指出，GenRank 使用 Transformer 与生成范式的一些训练设计，却没有因此变成端到端列表生成。这种任务层面的差异，比简单按“模型有没有 Transformer”分类更重要。

7 推荐基础模型：内容知识、行为与跨任务迁移

7.1 HLLM：用一个模型理解商品，用另一个模型理解用户

字节跳动的 HLLM（2024） 包含 Item LLM 与 User LLM。Item LLM 阅读商品文本和其他内容，得到商品的语义表示：

$$e_i= \operatorname{ItemLLM}(\operatorname{Text}(i))_{[\mathrm{ITEM}]}.$$

User LLM 接受这些商品表示组成的时间序列，并学习预测下一件商品的表示：

$$h_t=\operatorname{UserLLM}(e_{i_1},\ldots,e_{i_t}), \qquad \hat e_{t+1}=g_\theta(h_t).$$

这种分层设计避免把“理解一本书的内容”和“预测某个用户是否会读它”混成同一任务。Item LLM 更偏重商品语义，User LLM 更偏重历史兴趣。

成本也要分开考虑：如果每次服务请求都重新编码数千件历史商品，费用可能很高。HLLM 因此研究预计算商品向量、缓存与分阶段训练。原论文在一项生产设置中还比较了是否缓存 Item LLM 特征对质量和成本的影响。

7.2 PLUM：怎样把语言模型转成推荐生成器

Google / YouTube 的 PLUM（2025） 研究预训练语言模型在推荐中的迁移。模型一方面已经通过预训练学习文本与知识结构，另一方面仍需要理解用户行为序列与视频 Semantic ID 之间的预测关系。

可将它的连续训练阶段理解为：

$$\theta_{\mathrm{CPT}} =\arg\min_\theta\mathcal L_{\mathrm{CPT}}(\theta),$$ $$\theta_{\mathrm{rec}} =\arg\min_{\theta\leftarrow\theta_{\mathrm{CPT}}} \mathcal L_{\mathrm{SID}}(\theta).$$

式中的箭头表示推荐训练从前一阶段权重继续开始，并不意味着两个目标在一次梯度更新里同时执行。重要的研究问题是：来自通用预训练的知识，是否能通过适当的持续预训练和推荐监督，变成可衡量的召回收益？

7.3 PinFM：通用用户行为表示能否重复使用

Pinterest PinFM（2025） 探索通过大规模行为数据预训练基础模型，为不同推荐目标共享表征。

一种解释性的多任务形式为：

$$h_u=f_{\theta_{\mathrm{shared}}}(H_u), \qquad \hat y_k=g_{\phi_k}(h_u).$$

$\theta_{\mathrm{shared}}$ 学习用户的一般行为特征；$g_{\phi_k}$ 是不同任务所用的预测头。问题在于不同场景的数据分布、标签定义、候选空间可能相差很大，过度共享也可能产生负迁移。

7.4 GEM / Kunlun：把基础模型的能力用于大规模广告推荐

Meta GEM / Kunlun（2026） 介绍大规模广告基础模型、长历史建模、跨场景迁移与模型系统联合设计，涉及 Attention、Summarization、Cross Interaction 等环节。

可以用功能性的抽象式理解数据怎样流动：

$$h_u=\operatorname{Summarize}(H_u), \qquad z=\operatorname{CrossInteract}(h_u,e_i,e_c), \qquad \hat p=\sigma(f_\theta(z)).$$

这不是 GEM / Kunlun 公开了可直接复现的完整公式，只用于解释其中几类计算功能。其技术文章还涉及大规模训练与服务策略；缺少工业数据、特征和系统实现时，不能宣称完全复现该模型。

7.5 推荐推理和强化学习：优化整个列表

如果一次推荐十条视频，每条视频单独得分都很高，也不意味着十条合起来一定优秀。过度重复、同类内容扎堆和不符合当前语言需求都可能影响最终体验。

一个列表级奖励可以概念性写成：

$$R(S,u)=\sum_{j=1}^{K}r(u,i_j) -\lambda\operatorname{Redundancy}(S).$$

$R$ 是总效用，第二项惩罚内容重复。公式是举例，实际产品还可能同时优化长期观看、用户满意度及约束指标。

SAGE（RecSys 2026） 研究生成式推荐中的列表级反馈与强化学习，目标可以用强化学习的一般形式表达为：

$$\max_\theta \mathbb E_{S\sim\pi_\theta(\cdot\mid H_u)}[R(S,u)].$$

这表示调整生成列表的策略，使期望奖励提高；实际奖励估计和策略更新方式依原论文而定。

OneRec-Think（2025） 与 R²ec（2025） 探索推理信息怎样进入推荐决策。可以从条件生成的角度理解：

$$p_\theta(i,r\mid H_u,q)=p_\theta(r\mid H_u,q)\,p_\theta(i\mid r,H_u,q).$$

这里 $r$ 表示可能显式输出或在内部学习的推理信息，$q$ 是当前用户需求。这是概念上的概率分解，并非说每篇论文都采用相同的可见推理文本。

7.6 INTEGER：用户改变要求，模型要知道何时重新推荐

INTEGER（2026） 将生成式推荐扩展到多轮交互。例如最初推荐科幻片后，用户说“要节奏慢一点、最好是一部悬疑片”。模型需要同时考虑长期历史和这轮新增的要求。

论文通过 Learned Routing Token 决定是继续聊天还是开始推荐，并通过 History Re-anchoring 把历史重新放在商品 ID 生成之前。可用下面的条件结构理解：

$$\Pr(\mathrm{recommend}\mid H_u,D_t), \qquad p_\theta(i\mid H_u,D_t,\mathrm{recommend}).$$

$D_t$ 是截至当前轮的对话历史。模型除了输出符合当前语言要求的商品，还必须维持从真实历史互动中学到的行为偏好。INTEGER 的研究也关注对话训练造成的推荐知识遗忘问题。

这些方向的共同挑战是：语言模型能说出合理解释，不等于推荐行为预测真的更好；增加推理步骤，也不一定能抵消额外计算与延迟。

8 这些模型应该怎样比较

“哪个模型更好”必须先补上一个条件：在哪种推荐任务、使用哪些字段、在多大计算预算之下更好？ WHALE 的工业 NE、TIGER 的 Recall@K、OneRec 的观看时长，以及 HSTU 的训练吞吐量，不能直接排成一个排行榜。

研究路线	模型的关键输入	主要输出	应关注的证据
Wukong、RankMixer、UniMixer	用户、候选、上下文字段	点击、有效观看概率	字段公平性、AUC、NE、FLOPs
HSTU、ULTRA-HSTU、DP-Rec	按时间排列的历史	用户状态或后续行为分数	历史有效长度、吞吐量、精度
WHALE、HyFormer、MixFormer	非序列 Token 与历史序列	排序概率	多层融合对照、参数量与延迟
TIGER、LETTER、ReSID、MDGR	商品编码、用户历史	Semantic ID	合法编码率、Recall@K、NDCG
OneRec、TGR-GenRec	历史与偏好反馈	推荐列表	列表多样性、奖励、P99 延迟
HLLM、PLUM、PinFM、GEM	内容和跨场景行为	表示、编码或排序分数	预训练收益、迁移能力和成本
SAGE、INTEGER	列表反馈、对话新需求	优化后的列表或交互建议	长期奖励与多轮意图满足

8.1 概率任务：AUC、LogLoss、NE 各回答不同问题

AUC 衡量模型把正样本排在负样本前面的能力，基本上不关心单个概率是否校准。LogLoss 则直接惩罚错误且过度自信的概率：

$$\operatorname{LogLoss} =-\frac1N\sum_{n=1}^{N} \left[y_n\log\hat p_n+ (1-y_n)\log(1-\hat p_n)\right].$$

设测试集中正例比例为 $\bar y$，常见的 Normalized Entropy（NE）为：

$$\operatorname{NE} =\frac{\operatorname{LogLoss}} {-\bar y\log\bar y-(1-\bar y)\log(1-\bar y)}.$$

分母是仅预测常数 $\bar y$ 时的平均交叉熵。这使不同正例率下的损失较容易解释，但 NE 定义和计算口径仍应与论文保持一致；不同数据集 NE 不能简单比较。

例如模型 A 的 AUC 高于 B，并不意味着 A 对每个样本给出的概率都更准确。若把 A 的概率从 $0.8$ 过分放大到 $0.999$，排序可能不变，但某个正样本实际为负时 LogLoss 会明显增大。

8.2 召回任务：找到相关物品与排到前面不是一回事

设某个用户在测试集中共有四件真实相关物品，推荐前 10 个结果命中其中两件，则：

$$\operatorname{Recall@10}=\frac{2}{4}=0.5.$$

如果这两件出现在第一、第二位，用户通常比它们出现在第九、第十位更容易看到。NDCG 用位置折扣处理这个问题：

$$\operatorname{DCG@K}= \sum_{j=1}^{K} \frac{2^{rel_j}-1}{\log_2(j+1)}, \qquad \operatorname{NDCG@K} =\frac{\operatorname{DCG@K}}{\operatorname{IDCG@K}}.$$

$rel_j$ 是第 $j$ 个结果的相关等级，IDCG 是理想排序下的 DCG。对生成式召回，还要统计生成出的 Semantic ID 是否真正对应有效商品。

8.3 工业效果与论文消融需要分开读

同一实验表中常同时出现三类结果。第一类是完整模型相对旧基线的提升；第二类是删掉某一模块后的退化；第三类是线上业务指标变化。它们不可以互相替代。

以 WHALE 为例，浅层融合的 NE Regression 为 $0.25\%$，说明在该论文实验下，使用完整 WHALE 比去掉逐层融合机制的方案更好。这并不是说“只要写出 WHALE 代码，NE 必然下降 0.25%”。

此外，+0.5% 可能代表相对提升，也可能代表增加 0.5 个百分点。论文表格若未说明，不能自行转换。若要核实推荐网络真的改善结果，需要相同时间切分、相同特征和尽可能匹配的参数与训练预算。

8.4 计算效率同样是技术贡献

模型参数量、FLOPs、真实训练吞吐量、峰值 GPU 显存和线上 P99 延迟是五种不同的成本统计。增加稀疏专家数量可以提高总参数量而不一定按比例增加每个请求的 FLOPs；理论 FLOPs 降低也不意味着实际 GPU 时间一定同比下降。

经验 Scaling Law 有时可用近似式：

$$\mathcal L(C)\approx\mathcal L_\infty+aC^{-\alpha}$$

描述损失随计算预算 $C$ 的变化，其中 $a$、$\alpha$ 要由实际实验拟合。这只是经验关系，不能拿来保证在数据很稀疏的小型公开集上，扩大网络一定有效。

在选择复现数据时，还应同时核验：时间戳是否可信、历史事件是否有遗漏、正负反馈如何定义、Item ID 是否极度稀疏、训练样本的历史覆盖率如何，以及冷启动样本是否独立评估。

9 参考文献

文献按正文首次引用顺序编号，检索截至 2026 年 10 月。已正式发表的论文标注会议或期刊出处；尚未正式发表的工作标注为 arXiv 预印本；工业技术博客单独注明。

[1] Steffen Rendle. 2010. Factorization Machines. In Proceedings of the 2010 IEEE International Conference on Data Mining (ICDM). 995–1000. https://doi.org/10.1109/ICDM.2010.127

[2] Huifeng Guo, Ruiming Tang, Yunming Ye, Zhenguo Li, Xiuqiang He. 2017. DeepFM: A Factorization-Machine based Neural Network for CTR Prediction. In Proceedings of the 26th International Joint Conference on Artificial Intelligence (IJCAI). arXiv:1703.04247

[3] Ruoxi Wang, Bin Fu, Gang Fu, Mingliang Wang. 2017. Deep & Cross Network for Ad Click Predictions. In Proceedings of the ADKDD’17. arXiv:1708.05123

[4] Buyun Zhang, Liang Luo, Yuxin Chen, et al. 2024. Wukong: Towards a Scaling Law for Large-Scale Recommendation. In Proceedings of the 41st International Conference on Machine Learning (ICML), PMLR 235. arXiv:2403.02545

[5] Jie Zhu, Zhifang Fan, Xiaoxie Zhu, et al. 2025. RankMixer: Scaling Up Ranking Models in Industrial Recommenders. arXiv preprint. arXiv:2507.15551

[6] Yuchen Jiang, Jie Zhu, Xintian Han, et al. 2026. TokenMixer-Large: Scaling Up Large Ranking Models in Industrial Recommenders. In Proceedings of the 32nd ACM SIGKDD Conference on Knowledge Discovery and Data Mining (KDD ‘26). https://doi.org/10.1145/3770855.3818494

[7] Mingming Ha, Guanchen Wang, Linxun Chen, et al. 2026. UniMixer: A Unified Architecture for Scaling Laws in Recommendation Systems. arXiv preprint. arXiv:2604.00590

[8] Jiaqi Zhai, Lucy Liao, Xing Liu, et al. 2024. Actions Speak Louder than Words: Trillion-Parameter Sequential Transducers for Generative Recommendations (HSTU). In Proceedings of the 41st International Conference on Machine Learning (ICML), PMLR 235. arXiv:2402.17152. Code: meta-recsys/generative-recommenders

[9] Qin Ding, Kevin Course, Linjian Ma, et al. 2026. Bending the Scaling Law Curve in Large-Scale Recommendation Systems (ULTRA-HSTU). arXiv preprint. arXiv:2602.16986

[10] Zheng Chai, Qin Ren, Xijun Xiao, et al. 2025. LONGER: Scaling Up Long Sequence Modeling in Industrial Recommenders. In Proceedings of the 19th ACM Conference on Recommender Systems (RecSys ‘25). arXiv:2505.04421

[11] Dwipam Katariya, Thomas Caputo, Akshat Shreemali, et al. 2026. DP-Rec: Towards Dynamic Patching for Efficient Long-Sequence Recommendation. In Proceedings of the 20th ACM Conference on Recommender Systems (RecSys ‘26). arXiv:2609.32215

[12] Hoang Vu Le, Tuong Bach Hy Nguyen, Bac Le. 2026. CONGA: Continual Neural Gated Architecture for Long-History Sequential Recommendation. In Proceedings of the 20th ACM Conference on Recommender Systems (RecSys ‘26). https://recsys.acm.org/recsys26/session-2/

[13] Renqin Cai, Dawei Sun, Yuanjun Yao, et al. 2026. WHALE: A Scalable Unified Model for Recommendation with Wukong-HSTU Architecture. arXiv preprint. arXiv:2607.17017

[14] Yunwen Huang, Shiyong Hong, Xijun Xiao, et al. 2026. HyFormer: Revisiting the Roles of Sequence Modeling and Feature Interaction in CTR Prediction. arXiv preprint. arXiv:2601.12681

[15] Xu Huang, Hao Zhang, Zhifang Fan, et al. 2026. MixFormer: Co-Scaling Up Dense and Sequence in Industrial Recommenders. In Proceedings of the 32nd ACM SIGKDD Conference on Knowledge Discovery and Data Mining (KDD ‘26). https://doi.org/10.1145/3770855.3818447

[16] Shuli Wang, Junwei Yin, Changhao Li, et al. 2026. Sample Is Feature: Beyond Item-Level, Toward Sample-Level Tokens for Unified Large Recommender Models (SIF). In Proceedings of the 20th ACM Conference on Recommender Systems (RecSys ‘26). https://recsys.acm.org/recsys26/session-5/

[17] Shashank Rajput, Nikhil Mehta, Anima Singh, et al. 2023. Recommender Systems with Generative Retrieval (TIGER). In Advances in Neural Information Processing Systems 36 (NeurIPS 2023). arXiv:2305.05065

[18] Wenjie Wang, Honghui Bao, Xinyu Lin, et al. 2024. Learnable Item Tokenization for Generative Recommendation (LETTER). In Proceedings of the 33rd ACM International Conference on Information and Knowledge Management (CIKM ‘24). arXiv:2405.07314

[19] Liu Yang, Fabian Paischer, Kaveh Hassani, et al. 2024. Unifying Generative and Dense Retrieval for Sequential Recommendation (LIGER). arXiv preprint. arXiv:2411.18814

[20] Yu Liang, Zhongjin Zhang, Yuxuan Zhu, et al. 2026. Rethinking Generative Recommender Tokenizer: Recsys-Native Encoding and Semantic Quantization Beyond LLMs (ReSID). arXiv preprint. arXiv:2602.02338. Code: FuCongResearchSquad/ReSID

[21] Lingyu Mu, Hao Deng, Haibo Xing, et al. 2026. Masked Diffusion Generative Recommendation (MDGR). arXiv preprint. arXiv:2601.19501

[22] Shiteng Cao, Junda She, Ji Liu, et al. 2026. Coarse-to-Fine Long-term Interest Modeling for Generative Recommendation (GLASS). In Proceedings of the 20th ACM Conference on Recommender Systems (RecSys ‘26). arXiv:2602.05663

[23] Carl Hu, Justin Johnson, et al. 2026. GenRecs Tokenization: Transforming Ads Recommendation at Meta with Stable Model Vocabulary. Engineering at Meta (technical blog), October 19, 2026. https://engineering.fb.com/2026/10/19/ml-applications/genrecs-tokenization-transforming-ads-recommendation-at-meta-with-stable-model-vocabulary/

[24] Jiaxin Deng, Shiyao Wang, Kuo Cai, et al. 2025. OneRec: Unifying Retrieve and Rank with Generative Recommender and Iterative Preference Alignment. arXiv preprint. arXiv:2502.18965

[25] Guorui Zhou, Hengrui Hu, Hongtao Cheng, et al. 2025. OneRec-V2 Technical Report. arXiv preprint. arXiv:2508.20900

[26] Guorui Zhou, Honghui Bao, Jiaming Huang, et al. 2025. OpenOneRec Technical Report. arXiv preprint. arXiv:2512.24762

[27] TGR Team, Lei Cheng, Haonan Hu, et al. 2026. TGR: Advancing Industrial Recommendation from Generative-Paradigm Ranking toward Unified Generation and Reasoning. arXiv preprint. arXiv:2609.00986

[28] Junyi Chen, Lu Chi, Bingyue Peng, Zehuan Yuan. 2024. HLLM: Enhancing Sequential Recommendations via Hierarchical Large Language Models for Item and User Modeling. arXiv preprint. arXiv:2409.12740

[29] Ruining He, Lukasz Heldt, Lichan Hong, et al. 2026. PLUM: Adapting Pre-trained Language Models for Industrial-scale Generative Recommendations. In Proceedings of the ACM Web Conference 2026 (WWW ‘26). https://doi.org/10.1145/3774904.3792802

[30] Xiangyi Chen, Kousik Rajesh, Matthew Lawhon, et al. 2025. PinFM: Foundation Model for User Activity Sequences at a Billion-scale Visual Discovery Platform. arXiv preprint. arXiv:2507.12704

[31] Huayu Li, Darren Liu, et al. 2026. Meta’s Generative Ads Model (GEM): Scaling the Central Model and Compute Engine for Frontier Ads AI. Engineering at Meta (technical blog), October 13, 2026. https://engineering.fb.com/2026/10/13/ml-applications/generative-ads-model-gem-scaling-frontier-ads-ai/

[32] Yu Xie, Xing Kai Ren, Ying Qi, Hu Yao. 2026. SAGE: Sequence-level Adaptive Gradient Evolution for Generative Recommendation. arXiv preprint. arXiv:2601.21452

[33] Zhanyu Liu, Shiyao Wang, Xingmei Wang, et al. 2026. OneRec-Think: In-Text Reasoning for Generative Recommendation. In Proceedings of the 64th Annual Meeting of the Association for Computational Linguistics (ACL 2026). https://aclanthology.org/2026.acl-long.123

[34] Runyang You, Yongqi Li, Xinyu Lin, et al. 2025. R²ec: Towards Large Recommender Models with Reasoning. In Advances in Neural Information Processing Systems 38 (NeurIPS 2025). arXiv:2505.16994

[35] Yu-Chen Den, Zhi Rui Tam, Yung-Yu Shih, et al. 2026. Adapting Generative Recommenders for Multi-Turn Interaction (INTEGER). arXiv preprint. arXiv:2610.08136

[36] Chengkai Huang, Hongtao Huang, Tong Yu, et al. 2025. A Survey of Foundation Model-Powered Recommender Systems: From Feature-Based, Generative to Agentic Paradigms. arXiv preprint. arXiv:2504.16420