神经网络中的门控机制

神经网络中的门控机制

Jackknifer
Jackknifer 博主

从记忆更新、特征选择和专家路由,理解乘性调制及其在 HSTU 中的应用

先想象一个音乐推荐场景。

一个用户平时听爵士、古典、金属、播客、环境音,也听一些华语流行。现在系统要判断:要不要把一张冷爵士专辑推给他?如果模型把所有历史偏好都等权地送进打分层,那么他过去对金属和播客的强偏好也会一起涌进来,和当前的爵士候选混在一起。历史越丰富,这种干扰越明显。

一个自然的解决办法,是给每一类历史兴趣装一个独立的“音量推子”:当前候选是冷爵士,就把爵士、古典、环境音的推子推高,把金属、播客的推子拉低;候选换成金属专辑,推子位置就反过来。每个推子只控制一个特征维度,推多少由当前上下文决定。

这就是门控(Gating)最核心的动作。它听起来像某种复杂的网络结构,实际却更接近调音台上的增益控制:用一条控制信号,去调节另一条信息流中每个通道的通过量。


一、先纠正一个比喻:门控不是开关,而是增益控制

“门控”这个名字很容易让人联想到逻辑门:要么开,要么关。但在神经网络里,绝大多数门控并不是二值的。它们更像音频设备里的 VCA(Voltage-Controlled Amplifier,压控放大器):控制电压决定增益,增益可以是 0.1、1、2,甚至可以是负数。神经网络把“控制电压”换成了一个由输入算出来的向量,把“增益曲线”换成了一个可学习的激活函数。

用公式写,假设被控制的信息是 h(x)h(x),控制信号是 g(x)g(x),那么:

y=g(x)⊙h(x)y = g(x) \odot h(x)

这里的 ⊙\odot 是逐元素相乘。g(x)g(x) 不是一个固定参数,而是由输入 xx 实时计算出来的向量。输入变了,增益就变了;候选从冷爵士换成金属,推子的位置也跟着换。

为了更精确地讨论,本文把特征向量的一个维度称为一个“通道”。这个通道是广义的:在 CNN 里它可以是 channel,在 Transformer 里它可以是 hidden dimension,在推荐模型里它可以是某个兴趣或特征维度。

增益值有不同的工作区间,和调音台非常像:

增益值 音频里的说法 对信息的作用
gi≈0g_i \approx 0 静音(mute) 把第 ii 个通道压到接近零,屏蔽噪声
0<gi<10 < g_i < 1 衰减(attenuate) 只让一部分信息通过
gi=1g_i = 1 单位增益(unity) 原样保留
gi>1g_i > 1 提升(boost) 放大重要特征
gi<0g_i < 0 反相(polarity invert) 翻转符号,反向调制

这张表说明了两件事。第一,门控不一定被限制在 0 到 1 之间。Sigmoid 门确实只能衰减或保留,但 SiLU、ReLU 这类门可以大于 1;SiLU 还可以为负。第二,“关门”是否产生精确零,取决于门函数。Sigmoid 和 SiLU 在有限的非零输入下通常只会趋近于零;ReLU 在输入小于等于零时能够产生精确零。离散掩码也能够产生精确零。所以“门”只是一个方便的隐喻,真正准确的词是“增益”。

这也带来一个重要的实践提醒:不要直接把门控值当成特征重要性。一个通道的增益很大,可能只是控制信号在这一维上的响应很强;一个通道的增益为负,也不代表这个特征“不重要”,它可能是在做反相。门控值是一个受控制信号尺度、特征相关性和训练动态影响的乘性系数,不是因果解释。


用一组三维数据理解增益

假设输入表示为 h=[2,0.5,−1]h=[2,0.5,-1],由当前上下文计算出的门值为 g=[0.1,2,−0.4]g=[0.1,2,-0.4]。逐元素相乘:

y=g⊙h=[0.1×2,  2×0.5,  (−0.4)×(−1)]=[0.2,1,0.4].y=g\odot h =[0.1\times2,\;2\times0.5,\;(-0.4)\times(-1)] =[0.2,1,0.4].

第一维保留 10%,第二维增加到原来的 2 倍,第三维发生符号反转。这里的数值只是演示乘法的作用,未经过模型训练。

如果门由线性层与 Sigmoid 生成:

g(x)=σ(Wgx+bg),y=σ(Wgx+bg)⊙(Whx+bh),g(x)=\sigma(W_gx+b_g),\qquad y=\sigma(W_gx+b_g)\odot(W_hx+b_h),

那么两个投影都参与学习。只改变 xx,门值和内容分支就可能同时变化。模型通过训练数据决定什么时候需要调整各个通道。

设 x∈Rdx\in\mathbb R^d、隐藏宽度为 mm,则 Wg,Wh∈Rm×dW_g,W_h\in\mathbb R^{m\times d},门向量与内容向量均在 Rm\mathbb R^m,所以逐元素乘法有明确的维度对应关系。

二、乘法的意义:可微的条件计算

加法是平移,乘法是缩放

传统的融合层大多基于加法:

y=x+Δy = x + \Delta

若 Δ\Delta 是固定偏置,加法是在当前坐标系中平移。但若 Δ\Delta 也依赖输入,加法同样能够精确抵消原特征,例如令 Δi(x)=−xi\Delta_i(x)=-x_i。因此不能说加法“只能往别的维度加分”;门控的特点是显式用一个输入相关的比例调制内容,而不是加法在数学上无法抑制信息。

乘法改变的是坐标的尺度:

y=g⊙xy = g \odot x

当 gig_i 接近 0 时,第 ii 维被压到接近消失;当 gig_i 大于 1 时,第 ii 维被放大;当 gig_i 为负时,第 ii 维被翻转。乘性门控把“内容”和“通过比例”显式分开,提供了一种便于学习条件调制的结构偏置。 它是否优于输入相关的加性变换,仍需在相近预算下实验比较,不能由这个形式直接推出。

对角矩阵视角

如果把 h(x)h(x) 看成一个 dd 维向量,逐元素乘 g(x)g(x) 等价于乘一个对角矩阵:

y=diag⁡(g(x)) h(x)y = \operatorname{diag}(g(x))\, h(x)

对于固定的 xx,这是一个线性变换;但 g(x)g(x) 本身依赖输入,所以整体是非线性的、动态的。这个视角把门控从“某种神秘结构”还原成了一个很具体的操作:一个输入相关的对角缩放矩阵。 它对当前坐标系的各维分别缩放;如果增益不相同,向量的整体方向也可能随之改变。对角矩阵本身不混合不同坐标的信息,跨通道的线性组合由其他变换完成。

软门控是可微的条件计算

二值门控使用 gi∈{0,1}g_i \in \{0,1\} 选择信息路径。阈值或离散采样会使选择操作缺少通常意义下的连续导数,因此需要专门的梯度估计或连续松弛方法。值得注意的是,仅仅把计算结果乘以零,并不会自动省去这条路径上的运算;真正节省计算需要相应的条件执行和稀疏实现。

软门控把 0/1 放松成连续值,让“开”和“关”之间有一条可微的过渡带。这样一来,网络可以在训练中逐渐学会“往哪边拧”,而不是一次性做离散决定。门控的本质,可以说是一种可微的条件计算(differentiable conditional computation):用乘法近似 if/else,用连续增益近似开关。

离散选择通常需要梯度估计或松弛,但不同方法不能混为一谈:Gumbel-Softmax 在有限温度下给出连续类别松弛,可配合直通方式形成硬前向;Straight-Through Estimator 用替代梯度跨过离散操作,通常有偏;Hard Concrete 是带端点概率质量的截断连续分布,可以产生精确零,也可以产生区间内的值。梯度偏差、方差和稀疏程度取决于具体估计器与温度,不能笼统断言所有硬门控的方差都更大。[1][2][3]

门控也是特征交互

门控不只做筛选,它还做交互。两个信息流逐元素相乘,比如 m⊙um \odot u,得到的不再是简单的叠加,而是每一维上的乘性交互:uu 的每个通道都在问 mm 的对应通道“你有多重要”,然后给它一个增益。

这和推荐系统中的特征交叉有联系。FM 使用成对交互项,DCN 通过交叉层学习特征组合。门控让两条表示在相同坐标上发生乘性交互。若门信号本身由混合投影产生,网络还能够间接学习跨输入维度的交互。HSTU 把注意力汇总出来的历史表示 MM 和门信号 UU 逐元素相乘,做的就是这件事。

逐元素门控本身不做非对角的跨通道线性组合,但不同维度的缩放可以改变向量整体方向;产生门值的网络也可能已经混合输入。门控提供条件调制,其他投影则负责进一步组合。


三、一扇门的四个设计轴

不同的门控结构,看起来公式五花八门,其实主要在四个轴上做选择:控制信号从哪里来、增益曲线长什么样、门控粒度有多细、门放在什么位置。

设计轴 要回答的问题 常见选择
控制信号 谁来决定增益? 当前输入、候选物品、上下文、全局池化、另一个模态
增益曲线 增益的范围和形状是什么? Sigmoid、Tanh、ReLU、SiLU、GELU、Hard Concrete
门控粒度 一个增益控制多大的范围? 标量、通道、注意力头、序列位置、整层
放置位置 门控作用在哪条信息流上? 输入、输出、记忆状态、残差分支、注意力输出、FFN

1. 控制信号从哪里来

门控最核心的一点是:门必须由某个有信息量的信号算出来。 如果控制信号和输入无关,门就退化成一个固定参数,失去了“条件选择”的意义。

在 LSTM 中,门由当前输入 xtx_t 和上一时刻隐藏状态 ht−1h_{t-1} 共同计算;在 SE 模块中,门由全局平均池化得到的通道统计量计算;在 FiLM 中,门由另一个模态或条件向量计算;在 HSTU 中,门由当前 token 的表示经过逐点变换和 SiLU 得到。

一个常见的架构选择是目标感知门控:用当前候选物品或查询去生成控制信号,去调制用户历史。这样,同一个用户面对不同候选时,历史信息的通过方式不同。这个思路在推荐、检索和多模态融合中都很常见。

2. 增益曲线:Sigmoid 不是唯一答案

增益曲线由门函数决定。它决定了增益的取值范围和梯度性质,是门控设计里最容易被低估的一环。

函数 取值范围 关键性质 常见用途
Sigmoid (0,1)(0,1) 平滑、饱和、导数最大 0.25 LSTM 门、通道门、需要稳定有界比例的场景
Tanh (−1,1)(-1,1) 零中心、饱和、可正可负 候选记忆、早期的有符号门控
ReLU [0,+∞)[0,+\infty) 稀疏、非平滑、可能使部分通道长期处于零输出状态 廉价的非负门控
SiLU 约 [−0.28,+∞)[-0.28,+\infty) 平滑、非单调、可正可负、无上界 HSTU、SwiGLU
GELU 约 [−0.17,+∞)[-0.17,+\infty) 平滑、非单调 Transformer FFN 中的门控变体
Hard Concrete [0,1][0,1],端点可有非零概率质量 可产生精确零或一,也可取内部连续值 稀疏门控、结构化剪枝

Sigmoid 是最经典的门函数:它把任意实数压到 (0,1)(0,1),天然适合表示“通过比例”。它的缺点是两端饱和,梯度容易消失;而且它无法表达“放大”和“反相”。LSTM 仍然大量使用 Sigmoid,是因为记忆门需要稳定的有界比例,而且 LSTM 的加法记忆通道本身提供了梯度高速公路。

SiLU 则是另一种思路:

SiLU⁡(z)=z⋅σ(z)\operatorname{SiLU}(z) = z \cdot \sigma(z)

它本身就是一个“自门控”:输入 zz 乘以自己的 Sigmoid。它在负半轴平滑地趋近于 0,在正半轴没有上界;在 z≈−1.278z \approx -1.278 附近有一个很小的负值谷底,然后随着 zz 继续减小而趋近 0。它处处平滑,在正半轴不会像 Sigmoid 那样迅速饱和,而且允许增益超过 1。代价是它的输出没有上界,也可能为负,所以需要配合归一化、残差和合适的初始化来控制数值。[4]

门值、增益和输出可以在下面的交互组件中动态计算。

单独打开门函数与增益

门函数的导数决定训练信号

令 σ(z)=1/(1+e−z)\sigma(z)=1/(1+e^{-z})。Sigmoid 的导数可以直接由商的求导法则得到:

σ′(z)=e−z(1+e−z)2=σ(z)(1−σ(z)).\sigma'(z) =\frac{e^{-z}}{(1+e^{-z})^2} =\sigma(z)(1-\sigma(z)).

由于 0<σ(z)<10<\sigma(z)<1,导数最大为 1/41/4,在 z=0z=0 时取得。输入远离零点时,Sigmoid 的导数趋近零。

SiLU 使用 SiLU⁡(z)=zσ(z)\operatorname{SiLU}(z)=z\sigma(z)。使用乘积求导法则:

SiLU⁡′(z)=σ(z)+zσ(z)(1−σ(z)).\operatorname{SiLU}'(z) =\sigma(z)+z\sigma(z)(1-\sigma(z)).

在 z=0z=0 时,SiLU 的值为零,导数为 1/21/2。这意味着门的输出恰好为零时,门投影仍可能通过导数获得训练信号。

输入 zz Sigmoid 增益 SiLU 增益
−2-2 0.11920.1192 −0.2384-0.2384
00 0.50000.5000 00
11 0.73110.7311 0.73110.7311
22 0.88080.8808 1.76161.7616

选择函数时,需要关注任务要求的增益范围、初始输入分布和梯度传播。Sigmoid 适合需要有界比例的门。SiLU 适合需要放大和符号调制的通道,并要求注意输出尺度。

3. 门控粒度:控制“多少”还是控制“哪一维”

同样是乘法,门控可以作用在不同粒度上:

粒度 一个增益控制的范围 表达力 典型例子
标量门 整个向量共用一个系数 最弱,只控制整体强度 简单的门控残差
通道门 每个特征维度一个系数 强,可做逐维选择 LSTM、GLU、SE、HSTU
头/专家门 每个注意力头或专家一个系数 中等,适合路由 多头门控、MoE
位置/token 门 每个序列位置一个系数 强,可选择历史位置 序列选择、记忆读取
层/块门 每个残差分支一个系数 弱到中等,控制深度 LayerScale、门控残差

标量门和向量门的差别,不是“多一点参数”,而是“能不能做特征选择”。一个标量门只能把整段历史一起放大或一起缩小;如果历史里既有爵士又有金属,标量门无法只保留爵士。通道门才能做到“这一维开、那一维关”。

4. 放置位置:门放在哪里,决定它控制什么

同一套门控公式,放在不同位置,作用完全不同。

放在输入侧,门控筛选进入当前层的特征;放在输出侧,门控筛选当前层暴露给下一层的特征;放在记忆状态上,门控控制信息的留存时间;放在残差分支上,门控控制“变换”与“恒等”的比例;放在注意力输出上,门控调制汇总后的上下文;放在 FFN 的隐藏层上,门控做逐维特征选择。

HSTU 选择把门放在注意力汇总之后,这个位置很关键:它不直接筛选历史位置,而是对“已经汇总好的历史摘要”做通道级条件化。注意力负责“从哪里取信息”,门控负责“取回来的信息里,哪些维度值得保留”。


四、门控的谱系:它到底在控制什么

门控不是某一个模型独有的技巧,而是一族设计模式。与其按时间背模型,不如按“它控制什么”来理解。大致可以分为五类:记忆、深度、特征、上下文和路由。HSTU 则可以看作特征门控与上下文门控在序列模型里的组合,下一节会单独展开。

1. 记忆门控:LSTM 与 GRU

LSTM 是门控记忆的早期代表。下面写的是现代常用的带遗忘门 LSTM:1997 年原始 LSTM 与后来加入遗忘门的扩展应区分引用,不能把下面所有门都归入最初的版本。[5][6]

ft=σ(Wf[ht−1;xt]+bf),it=σ(Wi[ht−1;xt]+bi)f_t = \sigma(W_f[h_{t-1};x_t]+b_f),\quad i_t = \sigma(W_i[h_{t-1};x_t]+b_i) c~t=tanh⁡(Wc[ht−1;xt]+bc),ct=ft⊙ct−1+it⊙c~t\tilde c_t = \tanh(W_c[h_{t-1};x_t]+b_c),\quad c_t = f_t \odot c_{t-1} + i_t \odot \tilde c_t ot=σ(Wo[ht−1;xt]+bo),ht=ot⊙tanh⁡(ct)o_t = \sigma(W_o[h_{t-1};x_t]+b_o),\quad h_t = o_t \odot \tanh(c_t)

遗忘门 ftf_t 决定旧记忆保留多少,输入门 iti_t 决定新信息写入多少,输出门 oto_t 决定当前记忆暴露多少。这里的关键不只是“有三个门”,而是门控制的加法记忆通道:

ct=ft⊙ct−1+it⊙c~tc_t = f_t \odot c_{t-1} + i_t \odot \tilde c_t

如果 ftf_t 接近 1,旧记忆可以沿着 ctc_t 一路传下去,梯度也可以沿着这条路径流动很远;如果 ftf_t 接近 0,旧记忆被切断。门控在这里的作用,是让网络自己学习“记多久、忘多少、现在说不说”。

GRU 使用更新门与重置门来控制状态。本文采用“ztz_t 越大越偏向新候选”的记号;有些文献把更新门定义为旧状态的保留比例,公式中的 ztz_t 与 1−zt1-z_t 会交换,含义需对照定义。[7]

zt=σ(Wz[ht−1;xt]),rt=σ(Wr[ht−1;xt])z_t = \sigma(W_z[h_{t-1};x_t]),\quad r_t = \sigma(W_r[h_{t-1};x_t]) h~t=tanh⁡(Wh[rt⊙ht−1;xt]),ht=(1−zt)⊙ht−1+zt⊙h~t\tilde h_t = \tanh(W_h[r_t \odot h_{t-1};x_t]),\quad h_t = (1-z_t)\odot h_{t-1} + z_t \odot \tilde h_t

更新门控制旧状态和新候选之间的比例,重置门控制计算候选时要用多少过去信息。GRU 通常使用较少的门控参数,运行速度取决于网络规模和具体实现;它沿用相同的门控思想:用输入相关的系数,控制记忆的保留和更新。

下面的交互组件展示 LSTM 在不同遗忘门下的记忆和梯度。

单独打开LSTM 记忆更新

从记忆公式推导长期梯度

对于 LSTM,固定各时刻的门值和候选更新,考察记忆单元的直接传递路径:

ct=ft⊙ct−1+it⊙c~t.c_t=f_t\odot c_{t-1}+i_t\odot\tilde c_t.

沿着该路径,第 jj 个记忆维度有:

∂ct,j∂ct−k,j∣直接路径=∏r=t−k+1tfr,j.\left.\frac{\partial c_{t,j}}{\partial c_{t-k,j}}\right|_{\text{直接路径}} =\prod_{r=t-k+1}^{t}f_{r,j}.

如果连续 10 个时刻的遗忘门均为 0.990.99,直接路径的梯度系数为 0.9910≈0.90440.99^{10}\approx0.9044。如果均为 0.50.5,系数为 0.510≈0.000980.5^{10}\approx0.00098。这说明遗忘门能通过训练学习记忆的持续时间。

这里计算的是直接记忆路径的导数。完整的 LSTM 还存在通过隐藏状态和各个门函数传播的梯度,需要使用完整的计算图求导。

数值上,令上一时刻记忆 ct−1=0.8c_{t-1}=0.8,遗忘门 ft=0.9f_t=0.9,输入门 it=0.25i_t=0.25,候选记忆 c~t=0.4\tilde c_t=0.4,则:

ct=0.9×0.8+0.25×0.4=0.82.c_t=0.9\times0.8+0.25\times0.4=0.82.

旧信息贡献为 0.720.72,新信息贡献为 0.100.10。门值描述各条路径贡献的比例,最终记忆可以超出 [−1,1][-1,1]。

GRU 的更新门存在两种常用记号习惯。本文使用 ht=(1−zt)⊙ht−1+zt⊙h~th_t=(1-z_t)\odot h_{t-1}+z_t\odot\tilde h_t,因此 ztz_t 越大,新候选的比例越高。一些文献和代码使用相反的门值约定,阅读实现时应直接核对更新公式。

2. 深度门控:Highway 与 LayerScale

门控不只用于时间维度,也可以用于深度维度。Highway Network 的形式是:[8]

y=(1−g)⊙x+g⊙H(x)y = (1-g)\odot x + g \odot H(x)

其中 gg 是由输入学习的变换门。当 g=0g=0 时,这一层退化为恒等映射;当 g=1g=1 时,完全使用变换分支。ResNet 同样利用恒等捷径,但其形式是 y=x+F(x)y=x+F(x),不是把上述互补门 gg 设成 1 所得到的结果。Highway 显式学习两条分支的比例,标准 ResNet 则始终保留恒等分支。[9]

LayerScale 使用逐通道、初始化为小值的可学习残差缩放;ReZero 使用初始化为零的可学习标量,让残差块在初始时更接近恒等映射。二者的参数粒度与初始化不同,不宜统称为同一种“小门”。这些缩放参数会随训练更新,但在给定模型中不随当前样本改变,因此不同于样本条件化的动态门控。[10][11]

3. 特征门控:GLU 与 SwiGLU

Gated Linear Unit(GLU)是特征级乘性门控的一种典型形式,而不是门控特征选择的唯一或最早形式:[12]

H=xW+b,G=σ(xV+c),y=H⊙GH = xW+b,\quad G = \sigma(xV+c),\quad y = H \odot G

一个线性变换产生“内容”,另一个线性变换产生“门”,两者逐元素相乘。GLU 最初用于语言建模,后来在 Transformer 的 FFN 中演化出 GEGLU、SwiGLU 等变体。SwiGLU 把 Sigmoid 换成 SiLU:[4]

SwiGLU⁡(x)=SiLU⁡(xW1)⊙xW2\operatorname{SwiGLU}(x) = \operatorname{SiLU}(xW_1) \odot xW_2

然后再接一个输出投影。在输入、输出维度与中间宽度相同时,SwiGLU 有三组主要投影,而普通 FFN 有两组,主要投影的参数和乘加量约增加一半,不能笼统说成“略增”。Shazeer 的实验通过缩小中间宽度进行预算匹配,报告了所测任务上的改进;这不等于任意任务上都更强。两条分支的乘法提供了输入相关的特征调制,普通 FFN 也仍然是非线性、输入相关的变换。[4]

为什么 SwiGLU 有三组投影

普通的两层前馈网络可写成:

FFN⁡(x)=ReLU⁡(xW1)W2,\operatorname{FFN}(x)=\operatorname{ReLU}(xW_1)W_2,

其中 x∈Rdx\in\mathbb R^d,W1∈Rd×mW_1\in\mathbb R^{d\times m},W2∈Rm×dW_2\in\mathbb R^{m\times d}。忽略偏置,总参数量为 2dm2dm。

SwiGLU 则使用:

a=xWa,b=xWb,SwiGLU⁡(x)=(SiLU⁡(a)⊙b)Wo.a=xW_a,\qquad b=xW_b,\qquad \operatorname{SwiGLU}(x)=(\operatorname{SiLU}(a)\odot b)W_o.

它的三组矩阵形状分别为 d×m′d\times m'、d×m′d\times m' 和 m′×dm'\times d,忽略偏置后的参数量为 3dm′3dm'。如果希望与普通 FFN 具有相近的投影参数量,可以选取:

3dm′=2dm⟹m′=23m.3dm'=2dm\quad\Longrightarrow\quad m'=\frac23m.

所以在相同隐藏宽度下,SwiGLU 使用更多投影参数;在公平比较中,常通过调整中间宽度,使参数量和主要乘法次数接近。Shazeer 的原论文就采用了这种比较方式。

例如,令两个分支的结果为 a=[−2,1]a=[-2,1] 和 b=[3,4]b=[3,4],那么:

SiLU⁡(a)≈[−0.2384,0.7311],\operatorname{SiLU}(a) \approx[-0.2384,0.7311], SiLU⁡(a)⊙b≈[−0.7152,2.9244].\operatorname{SiLU}(a)\odot b \approx[-0.7152,2.9244].

第一维的门值为负,因此内容的符号发生反转;第二维保留约 73.1% 的内容。输出投影 WoW_o 可以继续组合这两个中间维度。

4. 上下文门控:SE 与 FiLM

在计算机视觉里,Squeeze-and-Excitation(SE)模块把全局上下文压成一个通道描述符,再生成通道门:[13]

s=σ(W2ReLU⁡(W1GAP⁡(X))),Y=s⊙Xs = \sigma(W_2 \operatorname{ReLU}(W_1 \operatorname{GAP}(X))),\quad Y = s \odot X

它让网络根据整张图的全局信息,决定哪些通道更重要。FiLM 则更进一步,用外部条件 cc 生成逐特征的缩放和偏移:

Y=γ(c)⊙X+β(c)Y = \gamma(c) \odot X + \beta(c)

这和门控非常接近:γ(c)\gamma(c) 是一个条件相关的乘性调制,β(c)\beta(c) 是加性偏移。FiLM 常用在多模态、视觉问答和条件生成中,因为它可以让一个模态去调制另一个模态的特征。[14]

5. 路由门控:MoE 是另一种“门”

前面说的门控,基本都是在特征维度上做逐元素乘法。但“门控”这个词还覆盖另一类结构:路由门控。

在 Mixture of Experts(MoE)中,门控网络会为每个 token 计算一组专家权重,决定把它送给哪些专家处理。这里的门不再是 g⊙hg\odot h,而是一个分配向量:[15][16]

p=softmax⁡(Wgx),y=∑i∈TopK⁡(p)piEi(x)p = \operatorname{softmax}(W_g x),\quad y = \sum_{i \in \operatorname{TopK}(p)} p_i E_i(x)

其中 TopK 选中的权重通常还会重新归一化。它选择的是子网络,而不是特征通道。路由门控常见的问题是“专家坍缩”:所有 token 都挤向少数几个专家,其他专家得不到训练。解决思路包括负载均衡损失、容量限制、噪声注入等。它和逐元素门控的“门全关/门全开”是同一类病:门失去了区分能力。


五、HSTU:注意力之后,为什么还要一扇门

公式

HSTU(Hierarchical Sequential Transduction Unit)是 Meta 在 2024 年提出的推荐序列模型。它把推荐问题重新表述为对用户行为序列的生成式下一 token 预测,并用一个统一的模块替代传统推荐系统中大量手工设计的特征交互层。[17]

下面使用显式带固定长度缩放的教学实现展示 HSTU 的信息流。原论文第 3 节公式 (1)–(3) 的空间汇总式写为 SiLU⁡(QK⊤+R)V\operatorname{SiLU}(QK^\top+R)V,未在该式中显式列出 1/N1/N;参考实现还会引入具体的掩码、尺度处理和归一化。这里保留 1/N1/N 是为了与下文数值演示一致,不能将它误写成原论文必含的一项。[17][18]

U,V,Q,K=Split⁡(SiLU⁡(f1(X)))U,V,Q,K = \operatorname{Split}(\operatorname{SiLU}(f_1(X))) A=1NMask⁡ ⁣(SiLU⁡(QK⊤+R))A = \frac{1}{N}\operatorname{Mask}\!\left(\operatorname{SiLU}(QK^\top + R)\right) Y=f2(Norm⁡(AV)⊙U)Y = f_2\left(\operatorname{Norm}(AV)\odot U\right)

其中 XX 是序列 token 的表示,f1,f2f_1,f_2 是逐点线性变换,RR 是相对位置和时间偏置,NN 是长度归一化系数,Mask⁡\operatorname{Mask} 表示注意力有效位置的掩码,Norm⁡\operatorname{Norm} 是逐位置的通道归一化,UU 是门信号。可以把它画成下面这样:

1
2
3
4
5
6
7
8
9
10
11
12
13
flowchart TD
X[输入序列 X] --> P[线性投影 f1 与 SiLU]
P --> Split[得到 U、V、Q、K]
Split --> Scores[QK 转置乘积与相对位置时间信息]
Scores --> Attention[SiLU、因果掩码与长度归一化]
Split --> V[取值向量 V]
Attention --> Context[注意力汇总 AV]
V --> Context
Context --> Norm[逐位置通道归一化]
Split --> U[门向量 U]
Norm --> Gate[逐元素乘法]
U --> Gate
Gate --> Output[输出投影 f2]

注意力选位置,门控选通道

理解 HSTU 的关键,是把注意力和门控分开看。

一个典型的 Transformer 注意力可以写成:

αij=softmax⁡j(qi⊤kj),yi=∑jαijvj\alpha_{ij}=\operatorname{softmax}_j(q_i^\top k_j),\quad y_i=\sum_j \alpha_{ij}v_j

注意力权重 αij\alpha_{ij} 在所有历史位置上做归一化,所有权重之和为 1。它的作用是“从哪些位置取信息”,并把取到的信息混合起来。

门控则不同。它作用在特征维度上,不要求所有维度之和为 1,也不需要混合位置。它的作用是“每个通道通过多少”。用调音台来类比:注意力决定“听哪些乐器”,门控决定“混合后的音乐里,每个频段的增益”。

所以 HSTU 的结构不是“用门控代替注意力”,而是“注意力先汇总,门控再整形”。注意力负责把历史压成一个上下文表示,门控负责把这个表示调整成当前候选需要的样子。两者是串联关系,不是替代关系。

U(X)U(X) 到底从哪里来

很多科普会把 U(X)U(X) 说成“由当前候选物品算出来的门”。这个说法便于理解,但严格来说,在 HSTU 原式中,UU 和 Q、K、V 一样,都是同一个输入序列 XX 的逐点变换,并不是单独拿候选物品算出来的。

只是在排序或打分时,目标位置的输入表示通常包含了候选物品和上下文信息,所以我们可以把该位置的 UU 近似理解为“候选条件下的门”。如果模型采用显式的 target-aware 或 cross-attention 结构,门也可以直接由候选物品计算;但那是另一种架构,不能和 HSTU 原式混为一谈。[17]

这个区别很重要。它意味着 HSTU 的门控不是简单的“候选物品 × 用户历史”,而是“当前 token 表示 × 注意力汇总表示”。前者是外部条件注入,后者是序列内部的条件计算。两者都能做目标感知,但信息流不同。

为什么是 SiLU

如果只看“门”的比喻,Sigmoid 似乎更自然:0 到 1 之间,像阀门开度。HSTU 原文采用 SiLU;下面从函数性质给出三点教学分析,不是原论文逐项验证过的选型因果解释。[17]

第一,SiLU 允许放大。Sigmoid 的增益最大只有 1,只能保留或衰减,不能把强相关特征进一步放大。推荐场景里,某些历史信号(比如刚刚听过同一位乐手的另一张专辑)可能比普通历史更重要,SiLU 的正半轴无上界,给了模型这种“加压”的能力。

第二,SiLU 在正半轴不会像 Sigmoid 那样迅速饱和。Sigmoid 在两端梯度接近 0;SiLU 在正半轴保持非零梯度,在负半轴也有一个平滑的过渡。对于很深的序列模型,这有助于优化,但它的导数也可能超过 1,放大风险仍然要靠归一化和残差来控制。

第三,SiLU 和 SwiGLU 的结构相呼应。HSTU 的 M⊙UM\odot U 中,UU 是 SiLU⁡(f1(X))\operatorname{SiLU}(f_1(X)) 拆分出来的门控分支(忽略偏置和拆分细节),这和一个 SwiGLU 变体在形式上非常接近:一条分支提供内容,另一条分支提供 SiLU 门控。区别在于,HSTU 门控的是归一化后的注意力输出,而不是普通 FFN 的隐藏层。

但 SiLU 也不是没有代价。它的输出没有上界,可能很大;它还可能为负,导致输出符号翻转。因此 HSTU 在门控之前先做 LayerNorm,把 MM 的尺度控制住,并在模块外层使用残差连接。这些都是为了让无界门控在深层网络中保持稳定。

HSTU 的完整维度和逐步计算

设序列长度为 LL,模型宽度为 dd,门控和注意力值的中间宽度为 dvd_v。为了突出一次计算,下面使用单个注意力头。对于全部输入 X∈RL×dX\in\mathbb R^{L\times d}:

U,V∈RL×dv,Q,K∈RL×dq.U,V\in\mathbb R^{L\times d_v}, \qquad Q,K\in\mathbb R^{L\times d_q}.

查询与键的乘积 QK⊤QK^\top 具有 L×LL\times L 的形状。加入相对位置和时间信息 RR,对有效历史位置应用因果掩码,再逐元素执行 SiLU:

Sij=qi⊤kj+Rij,Aij={SiLU⁡(Sij)/N,j≤i,0,j>i.S_{ij}=q_i^\top k_j+R_{ij}, \qquad A_{ij}= \begin{cases} \operatorname{SiLU}(S_{ij})/N,&j\le i,\\ 0,&j>i. \end{cases}

这里 NN 是本节示意实现约定的固定长度缩放系数,下文取 N=2N=2 的数值例子沿用这一约定。原论文的空间汇总式未显式写出 1/N1/N;不能把固定长度缩放与 Softmax 的逐行概率归一化混同。AijA_{ij} 允许为负,且每行的和不固定为 1。[17][18]

令 M=AV∈RL×dvM=AV\in\mathbb R^{L\times d_v}。在每个序列位置独立归一化通道向量,再与对应位置的 UU 相乘,最后映射回模型宽度:

Yi=f2(LayerNorm⁡(Mi)⊙Ui),Yi∈Rd.Y_i=f_2\left(\operatorname{LayerNorm}(M_i)\odot U_i\right), \qquad Y_i\in\mathbb R^d.

完整层还包含残差连接。为了明确门控发生的位置,以上公式只展开层内部的核心分支。

用两个历史位置计算一次 HSTU 门控

以下为教学计算,暂时设相对偏置为零、采用因果掩码、N=2N=2,并省略多个注意力头。第二个位置的查询为 q2=1q_2=1,两个键为 k1=1k_1=1、k2=2k_2=2。两个值向量分别为:

v1=[1,2],v2=[3,1].v_1=[1,2],\qquad v_2=[3,1].

第二个位置对两个历史位置的原始分数分别为 1 和 2。经过 SiLU 和长度归一化:

A2,:=12[SiLU⁡(1),SiLU⁡(2)]≈[0.3655,0.8808].A_{2,:} =\frac12[\operatorname{SiLU}(1),\operatorname{SiLU}(2)] \approx[0.3655,0.8808].

注意力汇总结果为:

M2=0.3655[1,2]+0.8808[3,1]≈[3.0079,1.6119].M_2=0.3655[1,2]+0.8808[3,1] \approx[3.0079,1.6119].

对这两个通道执行不带可学习缩放和平移的 LayerNorm,忽略极小的数值稳定项,得到:

LayerNorm⁡(M2)≈[1,−1].\operatorname{LayerNorm}(M_2)\approx[1,-1].

假设目标位置的门向量为 U2=[1.2,0.1]U_2=[1.2,0.1],那么乘法后的结果是:

[1,−1]⊙[1.2,0.1]=[1.2,−0.1].[1,-1]\odot[1.2,0.1]=[1.2,-0.1].

最后的 f2f_2 决定这两个通道如何映射回模型表示。这个例子同时展示了两种不同的选择:AA 在历史位置维度上汇总,UU 在汇总后的特征维度上调整增益。

这个计算采用教学用的 Q,K,V,UQ,K,V,U 数值,并未表示 HSTU 训练后的真实参数。完整实现中的 U,Q,K,VU,Q,K,V 来自同一个输入投影及其 SiLU 激活。

一个音乐推荐的数值例子

回到开头的音乐场景。假设历史汇总向量 MM 已经过带有可学习缩放和位移参数的 LayerNorm。为便于解释,六个维度暂时分别代表爵士、古典、金属、播客、环境音和华语流行。带仿射参数的归一化输出可以全部为正。门控值 UU 由当前目标位置的表示计算得到。

下面的数值是教学示意,不是模型真实输出,但足以说明门控在做什么:

特征维度 历史摘要 MM 冷爵士门控 UjazzU_{\text{jazz}} 冷爵士输出 金属门控 UmetalU_{\text{metal}} 金属输出
爵士 0.8 1.6 1.28 0.05 0.04
古典 0.6 1.1 0.66 0.10 0.06
金属 0.9 0.01 0.009 1.5 1.35
播客 0.5 0.02 0.01 0.02 0.01
环境音 0.7 1.2 0.84 0.20 0.14
华语流行 0.4 0.30 0.12 0.60 0.24

先看冷爵士这一列。用户历史里的爵士偏好是 0.8,增益 1.6,输出变成 1.28,被放大了 60%;古典和环境音也被适度放大;金属偏好原本高达 0.9,但增益只有 0.01,输出被压到 0.009,只剩下原来的 1%;播客几乎被关死;华语流行被适度衰减。

再看金属这一列。同一份历史 MM,增益图案完全反转:金属维度被放大到 1.35,爵士和古典被压到 0.04、0.06,环境音也被压低,华语流行适度通过。

历史没有变,变的是当前目标;门控让同一段历史对不同候选产生不同的“投影”。

如果某个增益值为负,输出不仅被压制,还会翻转符号。比如某个维度的历史摘要为 0.8,SiLU 增益为 −0.2-0.2,输出就是 −0.16-0.16。SiLU 的负值约在 −0.278-0.278 到 0 之间。这不等于“关门”,而是“把信息反着送进去”。负增益增加了表达力,但也让“门”的比喻失效;分析门控分布时,最好同时看幅值和符号,而不是只看绝对值。

顺带澄清:PAA 不是门控

HSTU 的注意力本身也不是普通的 Softmax 注意力。它对 QK⊤+RQK^\top+R 逐元素做 SiLU,再以逐点方式归一化注意力输出,论文中称为 Pointwise Aggregated Attention(PAA)。原论文给出的动机包括保留“相关历史数量”所反映的偏好强度,以及适应流式推荐中非平稳的物品词表。整体计算效率还依赖稀疏性利用与算子实现,不能单独归因于省去 Softmax 归一化。[17]

门控和 PAA 是两个独立的设计,不要因为两者都用了 SiLU 就把它们当成同一件事。PAA 改变的是注意力的打分与归一化方式;门控改变的是注意力输出每个通道的增益。一个是“怎么读历史”,一个是“读到的历史怎么用”。


六、门控为什么难训

梯度有两条路

门控不是手写规则,而是通过反向传播学出来的。理解它的梯度,能解释很多训练中的现象。

先看最简单的形式 y=g⊙xy=g\odot x,其中 gg 暂时看作独立于 xx 的门。对损失 LL 求导:

∂L∂x=g⊙∂L∂y,∂L∂g=x⊙∂L∂y\frac{\partial L}{\partial x}=g\odot\frac{\partial L}{\partial y}, \quad \frac{\partial L}{\partial g}=x\odot\frac{\partial L}{\partial y}

第一个式子说明,门控值直接控制梯度回传的强度:gg 接近 0,上游梯度被压小;gg 大于 1,上游梯度被放大。第二个式子说明,门控自己的梯度与它所控制特征的幅值有关:如果某一维特征很大,而下游误差也大,门控就会收到更强的更新信号;如果这一维是噪声,门控的梯度在大量样本上可能相互抵消,从而逐渐关闭。

但门控值通常不是独立的,它由输入经过线性层和激活函数算出来。此时还要加上“通过门信号反传”的第二条路径。对于 y=g(x)⊙xy=g(x)\odot x,完整梯度可以写成:

∂L∂x=∂L∂y⊙g+(∂g∂x)⊤(x⊙∂L∂y)\frac{\partial L}{\partial x} = \frac{\partial L}{\partial y}\odot g + \left(\frac{\partial g}{\partial x}\right)^\top \left(x\odot \frac{\partial L}{\partial y}\right)

其中 ∂g/∂x\partial g/\partial x 是门函数的雅可比矩阵;如果门是逐元素激活,它就退化为对角矩阵。第二项让门控能够根据特征本身调整开合。但也带来了新的风险:如果门函数进入饱和区,∂g/∂x\partial g/\partial x 很小,门控就很难学会打开;如果门控一开始就接近 0,第一项也会把梯度堵住。两者叠加,就出现了所谓的“门控坍缩”。

门值为零时,哪些参数还能学习

考虑 y=ϕ(Wgx)⊙hθ(x)y=\phi(W_gx)\odot h_\theta(x),其中 ϕ\phi 是门函数,WgW_g 是门投影参数,θ\theta 是内容分支参数。记上游梯度为 δ=∂L/∂y\delta=\partial L/\partial y,那么:

∂L∂θ=(∂hθ∂θ)⊤(δ⊙g).\frac{\partial L}{\partial\theta} =\left(\frac{\partial h_\theta}{\partial\theta}\right)^\top \left(\delta\odot g\right).

而对门投影参数的梯度由链式法则得到:

∂L∂Wg=[(δ⊙hθ(x))⊙ϕ′(Wgx)]x⊤,\frac{\partial L}{\partial W_g} =\left[\left(\delta\odot h_\theta(x)\right) \odot\phi'(W_gx)\right]x^\top,

其中列向量约定适用于该式,维度与 WgW_g 保持一致。当 g=0g=0 时,内容分支通过此乘法位置收到的梯度为零;若 ϕ′(Wgx)≠0\phi'(W_gx)\ne0 且内容和上游梯度均非零,门投影仍可更新。

特别地,SiLU⁡(0)=0\operatorname{SiLU}(0)=0,但 SiLU⁡′(0)=1/2\operatorname{SiLU}'(0)=1/2。因此将门投影初始化为零,会使该乘法分支的初始输出为零,同时保留门参数的潜在梯度。训练能否顺利恢复,还取决于后续投影、损失信号和模型其他路径。

这也解释了为什么仅凭门值靠近零,就直接判定模型无法训练并不准确。需要同时检查门函数的导数、内容分支梯度以及整层的残差连接。

门控坍缩:门值长期接近零或缺少变化

训练门控网络时,最常见的失败模式有两种。

一种是门值长期接近零。门控值普遍接近 0,残差分支几乎不起作用,模型退化成恒等映射或浅层模型。原因可能是初始化不合适、学习率过大、缺少残差、或者门控前的特征尺度过大导致激活饱和。对于 SiLU 门,如果门控投影初始化为全零,U=SiLU⁡(0)=0U=\operatorname{SiLU}(0)=0,门控分支的初始输出为零。此时门参数仍可能获得梯度,因为 SiLU⁡′(0)=0.5\operatorname{SiLU}'(0)=0.5;但内容分支通过该乘法位置的梯度为零。残差连接为信息和梯度提供了另外的传播路径。

另一种是门值长期接近固定增益。门控值普遍接近 1,甚至很大,所有特征都通过,门控失去选择作用。原因可能是缺少稀疏正则、门控信号太强、或者任务本身确实需要保留大部分信息。门全开不一定坏,但如果你希望门控带来选择性,就需要检查它是否真的在区分样本。

监控门控分布是排查问题的第一步。训练时建议记录每层门值的均值、标准差、分位数、近零比例、负值比例及长期关闭的通道。若某些通道长期为零,应先检查预激活、初始化、学习率和梯度路径;不能一概增加稀疏正则,因为它可能让关闭更加严重。这些是诊断建议,不是所有门控网络通用的调参结论。

初始化:让门一开始处于合理状态

不同的门函数需要不同的初始化策略。

对于 Sigmoid 遗忘门,一个常见的做法是把偏置初始化为正值(例如 1),让网络一开始倾向于记住而不是遗忘;输入门的偏置可以初始化为负值,让新信息一开始少量写入。这不是固定规则,但背后的直觉很清楚:先把记忆通道打开,再让网络学会何时关闭。

对于 SiLU 门,情况不同。SiLU⁡(0)=0\operatorname{SiLU}(0)=0,所以如果门控投影的输出初始为 0,门控分支一开始就是关闭的。此时残差连接非常重要:它保证即使门控分支暂时没有贡献,信息仍然可以流动。另一种做法是给门控投影一个非零的小初始化,让门一开始处于半开状态,但要注意不要破坏训练的稳定性。

归一化也很关键。HSTU 的门控前归一化作用在注意力内容分支 MM 上,控制的是该分支尺度,并不直接限制另一分支 UU 的门值。对于自己的模型,可以分别检查内容与门信号的尺度,再决定对哪一条分支归一化或使用有界变换。[17]

硬门控:什么时候需要真正的 0 和 1

连续门通常便于优化;Sigmoid 在有限输入下不产生精确零,但 ReLU、Hard Concrete 等可以,因此“软门都不能关到零”并不准确。需要真正离散的选择时,可考虑 Gumbel-Softmax 松弛及其硬前向变体、直通估计器等。Hard Concrete 则在连续区间上保留端点质量,并非每次只取 0/1。稀疏掩码也不自动构成可靠解释或带来硬件加速。[1][2][3]

离散或稀疏门控的取舍涉及梯度估计偏差、温度、正则强度和稀疏执行开销,不存在统一的“方差更大”结论。只有实际跳过专家或通道的计算、且稀疏执行收益超过调度成本,才可能节省计算;应以任务需求和测量结果决定是否引入。

症状 可能原因 处理思路
门值几乎全为 0 初始化不合适、学习率过大、缺少残差、激活饱和 检查初始化,加入残差,降低学习率,先归一化再算门
门值几乎全为 1 缺少稀疏正则、门信号过强、任务本身不需要选择 加稀疏惩罚,降低门信号尺度,检查是否真的需要门控
门值随训练剧烈震荡 无界门控、特征尺度过大、学习率过高 LayerNorm、权重衰减、梯度裁剪、有界门函数
门值分布不随样本变化 控制信号没有信息、门控位置不对 换控制信号,做 shuffle 消融,检查门是否真正条件化
少数通道长期关闭 激活饱和、初始化偏差、梯度受阻 检查预激活与梯度,调整初始化和学习率;不要直接增加稀疏惩罚

七、工程实践:给模型装一个调音台

先做最小实验,不要一上来就堆结构

如果你要在自己的模型里加入门控,不建议一上来就设计一个复杂的门控网络。先选一条最需要条件选择的信息流,做一个最小的门控融合,观察它是否真的带来提升。

可以先问四个问题。第一,你要控制哪条信息流:历史、当前物品、跨模态特征,还是 FFN 隐藏层?第二,门信号从哪里来:同输入、候选物品、用户上下文,还是全局统计?第三,你要多细的粒度:标量、通道、头、位置,还是整层?第四,你需要有界增益还是无界增益:稳定优先用 Sigmoid,表达力优先用 SiLU?

一个最小可用的门控融合可以写成下面这样。它不是 HSTU 的完整实现,但保留了“控制信号—增益—残差/融合”的核心模式:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
import torch
import torch.nn as nn
import torch.nn.functional as F


class GatedFusion(nn.Module):
def __init__(self, d_model):
super().__init__()
self.norm = nn.LayerNorm(d_model)
self.gate = nn.Linear(2 * d_model, d_model)

def forward(self, history, candidate):
h = self.norm(history)
c = self.norm(candidate)

# 有界门:在 history 和 candidate 之间逐坐标做凸插值
g = torch.sigmoid(self.gate(torch.cat([h, c], dim=-1)))
fused = g * h + (1 - g) * c

# 如果希望做无界增益,可以把上面两行换成:
# g = F.silu(self.gate(torch.cat([h, c], dim=-1)))
# fused = g * h

return fused

这段代码里,self.norm 控制特征尺度,self.gate 产生控制信号。Sigmoid 版本是一个凸组合,适合在两个表示之间做插值;SiLU 版本是无界增益,适合保留、放大或反相。两种版本没有绝对优劣,取决于你要的是“融合比例”还是“通道增益”。

监控与消融

训练时,建议记录每一层门控值的均值、标准差、分位数、接近 0 的比例、负值比例,以及每个通道是否长期关闭。如果门值始终集中在 0.5 附近,可以用样本间的差异和性能消融检验条件性;如果门值全都接近 0,可能是初始化或学习率的问题;如果大量门值大于 1,检查是否需要归一化。

做消融时,至少比较三组:固定门控为 1(相当于没有门控)、随机门控、学习门控。还可以做一次 shuffle 消融:把 batch 内的门控信号打乱,如果性能几乎不变,说明门控没有真正利用上下文,只是一个多余的参数。

什么时候不该用门控

门控不是越复杂越好。如果一条信息流不存在明显的条件选择,简单的残差连接或 LayerNorm 可能就够了。如果门信号本身没有信息,门控只会增加参数和训练难度。如果数据量很小,门控容易坍缩,反而不如固定融合稳定。如果你需要严格的可解释性,门控值也不是因果重要性,不能直接拿来做解释。

一个很实用的判断标准是:如果没有门控,模型是否真的会把两类完全不同的输入一视同仁? 如果答案是“会”,门控可能值得一试;如果答案是“不会”,先检查数据和基线,不要急着加结构。


八、常见误解:门控不是什么

常见误解 更准确的说法
门控就是注意力 注意力通常在位置维度上做归一化并混合信息;门控通常在特征维度上做逐元素调制,不负责混合位置
门控就是激活函数 激活函数是固定的逐点非线性;门控是用一个信号去调制另一个信号。SiLU 本身是自门控,但不能代表所有门控
门控就是 Dropout Dropout 是训练时的随机掩码,推理时通常关闭;门控是学习出来的、推理时通常仍然生效的调制。即使使用随机硬门控,门也是被学习的,而 Dropout 是固定的随机正则
门控一定在 0 到 1 之间 Sigmoid 门才是有界的;SiLU、ReLU 门可以大于 1,SiLU 还可以为负
门控值就是特征重要性 门控值受特征尺度、相关性和训练动态影响,不能直接当因果重要性;负值还会翻转符号
门控没有额外成本 门控需要额外的投影、归一化和调参,还可能带来坍缩和不稳定;它不是免费的午餐

还有一点值得强调:门控不是“加一个乘法”这么简单。 乘法的位置、控制信号的来源、增益曲线的形状、训练时的稳定性,都会决定它是有用的条件计算,还是多余的参数。一个总是等于 1 的门,等价于没有门;一个总是等于 0 的门,等价于删掉分支;一个不随输入变化的门,等价于固定缩放。只有当门真的随上下文变化,并且这种变化对任务有帮助时,门控才是有意义的。


需要区分的三个数学问题

门控值是否能解释特征重要性? 门值表示一个当前坐标上的乘性系数。若后面接线性变换,多个通道还会共同影响最终预测。解释任务需要进一步考察内容幅度、下游权重以及改变输入带来的预测变化。

门控是否能减少计算量? 普通的 g⊙hg\odot h 需要先算出 gg 与 hh,再执行乘法。单个门值接近零,并不会自动跳过前面的投影或注意力。只有路由到部分专家、执行稀疏计算或配合条件执行机制,才可能减少部分运算。

门控是否总能改善模型? 门控增加了参数与乘性耦合,需要通过相同数据划分、相近计算预算和多次独立训练进行比较。性能改善来自门控和任务数据的共同作用,不能仅由公式推断。

九、结语:好门控的三个标准

如果把整篇文章压缩成三个标准,大概是这样的。

第一,有信息。门信号必须携带当前上下文的信息,不能是一个与输入无关的固定参数。否则,门控只是换了一种写法的线性层。

第二,有区分。门控值应该在样本之间、通道之间发生变化。如果所有门都集中在同一个值附近,说明网络没有学会选择;如果少数通道长期关闭,说明门控可能已经坍缩。

第三,有稳定。无界门控需要归一化、残差和合适的初始化来兜底;有界门控需要避免饱和和梯度消失。好的门控不是“开得越大越好”,而是“在该开的时候开,在该关的时候关,并且训练得动”。

回到 HSTU 的公式:

Y=f2(Norm⁡(AV)⊙U)Y = f_2\left(\operatorname{Norm}(AV)\odot U\right)

注意力先回答“从哪里取信息”,LayerNorm 把取回的信息整理到稳定尺度,SiLU 门控再回答“哪些通道值得保留、放大还是抑制”。这一步乘法看起来简单,却把“当前目标”与“历史上下文”以逐维、可学习的方式耦合在了一起。

所以,下次再看到“门控”这个词,不必把它想成一扇神秘的门。它更像是一排由网络自己控制的调音推子:每个推子负责一个特征通道,网络根据当前输入,决定把每个推子推到多大。门控让模型不必对所有输入一视同仁,而是学会在正确的条件下,把正确的通道推到正确的位置。


参考文献

[1] JANG E, GU S, POOLE B. Categorical Reparameterization with Gumbel-Softmax[C]//International Conference on Learning Representations. 2017.

[2] BENGIO Y, LÉONARD N, COURVILLE A. Estimating or Propagating Gradients Through Stochastic Neurons for Conditional Computation[EB/OL]. arXiv:1308.3432, 2013.

[3] LOUIZOS C, WELLING M, KINGMA D P. Learning Sparse Neural Networks through L0L_0 Regularization[C]//International Conference on Learning Representations. 2018.

[4] SHAZEER N. GLU Variants Improve Transformer[EB/OL]. arXiv:2002.05202, 2020.

[5] HOCHREITER S, SCHMIDHUBER J. Long Short-Term Memory[J]. Neural Computation, 1997, 9(8): 1735–1780. DOI: 10.1162/neco.1997.9.8.1735.

[6] GERS F A, SCHMIDHUBER J, CUMMINS F. Learning to Forget: Continual Prediction with LSTM[J]. Neural Computation, 2000, 12(10): 2451–2471. DOI: 10.1162/089976600300015015.

[7] CHO K, VAN MERRIENBOER B, GULCEHRE C, et al. Learning Phrase Representations using RNN Encoder-Decoder for Statistical Machine Translation[C]//Proceedings of the Conference on Empirical Methods in Natural Language Processing. 2014.

[8] SRIVASTAVA R K, GREFF K, SCHMIDHUBER J. Highway Networks[EB/OL]. arXiv:1505.00387, 2015.

[9] HE K, ZHANG X, REN S, et al. Deep Residual Learning for Image Recognition[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2016.

[10] TOUVRON H, CORD M, SABLAYROLLES A, et al. Going deeper with Image Transformers[C]//Proceedings of the IEEE/CVF International Conference on Computer Vision. 2021.

[11] BACHLECHNER T, MAJUMDER B P, MAO H, et al. ReZero is all you need: fast convergence at large depth[C]//Proceedings of the Thirty-Seventh Conference on Uncertainty in Artificial Intelligence. 2021, 161: 1352–1361.

[12] DAUPHIN Y N, FAN A, AULI M, et al. Language Modeling with Gated Convolutional Networks[C]//Proceedings of the International Conference on Machine Learning. 2017, 70: 933–941.

[13] HU J, SHEN L, SUN G. Squeeze-and-Excitation Networks[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2018: 7132–7141.

[14] PEREZ E, STRUB F, DE VRIES H, et al. FiLM: Visual Reasoning with a General Conditioning Layer[C]//Proceedings of the AAAI Conference on Artificial Intelligence. 2018, 32(1).

[15] SHAZEER N, MIRHOSEINI A, MAZIARZ K, et al. Outrageously Large Neural Networks: The Sparsely-Gated Mixture-of-Experts Layer[C]//International Conference on Learning Representations. 2017.

[16] FEDUS W, ZOPH B, SHAZEER N. Switch Transformers: Scaling to Trillion Parameter Models with Simple and Efficient Sparsity[J]. Journal of Machine Learning Research, 2022, 23(120): 1–39.

[17] ZHAI J, LIAO L, LIU X, et al. Actions Speak Louder than Words: Trillion-Parameter Sequential Transducers for Generative Recommendations[C]//Proceedings of the International Conference on Machine Learning. 2024, 235: 58484–58509.

[18] Meta. Generative Recommenders — HSTU reference implementation[CP/OL].

评论

评论由 GitHub Giscus 提供。若当前网络无法加载,可 前往 GitHub Discussions 查看或参与讨论。

目录
神经网络中的门控机制