Sparse Attention 与 MoE 的原理及比较

Sparse Attention 与 MoE 的原理及比较

Jackknifer
Jackknifer 博主

Transformer 的 Attention(注意力机制)负责在不同 Token 之间交换信息;FFN(前馈神经网络)负责进一步变换每个 Token 的表示。Sparse Attention(稀疏注意力)与 MoE(Mixture of Experts,混合专家模型)分别改变这两部分的计算方式。本文结合矩阵、数值例子和交互演示,解释它们的数学原理、计算成本、实现限制以及在长序列和推荐系统中的作用。[1]

1. Transformer 中的两类计算

设一段输入包含 nn 个 Token,每个 Token 的向量长度为 dd。将它们排成矩阵:

X=[x1⊤;x2⊤;…;xn⊤]∈Rn×d.X=[x_1^\top;x_2^\top;\ldots;x_n^\top]\in\mathbb R^{n\times d}.

在常见的 Pre-LN Transformer Block 中,两个主要计算模块可以写成:[2]

H=X+Attention⁡(LN⁡(X)),Y=H+FFN⁡(LN⁡(H)).H=X+\operatorname{Attention}(\operatorname{LN}(X)),\qquad Y=H+\operatorname{FFN}(\operatorname{LN}(H)).

Attention 让当前位置汇总其他位置的信息。FFN 对每个位置分别执行非线性变换。通常,各个位置共享 FFN 的参数。

如果序列非常长,Attention 需要处理大量 Token 之间的关系。如果继续增加 FFN 的宽度,模型需要储存并执行更多参数。Sparse Attention 通过选择部分注意力连接控制长序列成本;MoE 则通过选择部分专家网络扩展参数容量。

2. 完整注意力怎样计算

2.1 Query、Key 和 Value

单个注意力头先进行三个线性变换:[1]

Q=XWQ,K=XWK,V=XWV.Q=XW_Q,\qquad K=XW_K,\qquad V=XW_V.

假设 Q,K∈Rn×dkQ,K\in\mathbb R^{n\times d_k},V∈Rn×dvV\in\mathbb R^{n\times d_v}。注意力分数矩阵为:

S=QK⊤dk∈Rn×n.S=\frac{QK^\top}{\sqrt{d_k}}\in\mathbb R^{n\times n}.

其中,第 ii 行、第 jj 列的分数为:

Sij=qi⊤kjdk.S_{ij}=\frac{q_i^\top k_j}{\sqrt{d_k}}.

对每一行进行 Softmax(指数归一化),得到:

aij=exp⁡(Sij)∑r=1nexp⁡(Sir).a_{ij}=\frac{\exp(S_{ij})}{\sum_{r=1}^n\exp(S_{ir})}.

第 ii 个 Token 的输出为:

yi=∑j=1naijvj.y_i=\sum_{j=1}^n a_{ij}v_j.

因此,矩阵形式为:

Attention⁡(Q,K,V)=softmax⁡(QK⊤dk)V.\boxed{\operatorname{Attention}(Q,K,V)=\operatorname{softmax}\left(\frac{QK^\top}{\sqrt{d_k}}\right)V}.

分母中的 dk\sqrt{d_k} 用于控制内积分数的尺度,减轻维度增加时 Softmax 权重过于集中的情况。

2.2 为什么长序列成本高

完整双向注意力需要构造 n×nn\times n 个分数。仅考虑注意力分数,其数量随 n2n^2 增长。

Token 数量 nn 注意力分数数量
1,000 1,000,000
10,000 100,000,000
100,000 10,000,000,000

QK⊤QK^\top 的主要乘法次数约与 n2dkn^2d_k 成正比,权重与 VV 相乘的成本约与 n2dvn^2d_v 成正比。当 dkd_k 和 dvd_v 的数量级相近时,通常写为 O(n2dk)O(n^2d_k)。

这一结论描述注意力分数及其汇总计算。实际程序是否分配完整的注意力矩阵,还取决于采用的计算实现。例如,使用分块计算可以减少中间结果的显存占用,但通常仍会计算全部允许的注意力连接。[3]

3. Sparse Attention 怎样减少连接

3.1 从全部连接到指定集合

令 N(i)\mathcal N(i) 表示第 ii 个 Token 允许关注的位置集合。Sparse Attention 的输出可写成:[4]

yi=∑j∈N(i)aijvj.\boxed{y_i=\sum_{j\in\mathcal N(i)}a_{ij}v_j}.

只对允许的位置进行 Softmax,权重为:

aij=exp⁡(Sij)∑r∈N(i)exp⁡(Sir),j∈N(i).a_{ij}=\frac{\exp(S_{ij})}{\sum_{r\in\mathcal N(i)}\exp(S_{ir})},\qquad j\in\mathcal N(i).

也可以用掩码 MM 来描述:

Mij={0,j∈N(i),−∞,j∉N(i),A=softmax⁡(S+M).M_{ij}=\begin{cases}0,&j\in\mathcal N(i),\\-\infty,&j\notin\mathcal N(i),\end{cases}\qquad A=\operatorname{softmax}(S+M).

被禁止的位置对应的注意力权重为零。每个查询位置都需要至少一个可用的键,才能计算 Softmax。

3.2 滑动窗口注意力

最容易理解的结构是 Sliding Window Attention(滑动窗口注意力)。在双向场景中,设窗口半径为 rr:[5]

N(i)={j:∣i−j∣≤r}.\mathcal N(i)=\{j:|i-j|\le r\}.

例如,序列有 5 个 Token,r=1r=1,则位置 3 只关注位置 2、3、4。全部 25 个矩阵位置中,只有 13 个有效连接。

自回归语言模型还需要遵守因果限制,即位置 ii 只能关注已出现的位置。如果最多允许最近 ww 个位置,可以写成:

N(i)={j:max⁡(1,i−w+1)≤j≤i}.\mathcal N(i)=\{j:\max(1,i-w+1)\le j\le i\}.

当 n≥wn\ge w 时,所有有效连接数量为:

∑i=1nmin⁡(i,w)=w(w+1)2+(n−w)w.\sum_{i=1}^n\min(i,w)=\frac{w(w+1)}{2}+(n-w)w.

如果每个位置最多连接 ww 个位置,并且底层计算能直接跳过无关位置,则注意力主要计算量约为:

O(nwdk).\boxed{O(nwd_k)}.

当 ww 远小于 nn 时,连接数量可以从平方增长变为近似线性增长。

3.3 交互演示:注意力连接矩阵

下面的组件包含完整双向注意力、因果注意力、局部窗口、全局与局部结合,以及动态 Top-3 连接示例。可以调整序列长度、窗口半径与查询位置,观察注意力矩阵、有效连接数量、Softmax 权重和示例输出。

单独打开Sparse Attention 连接矩阵与加权计算

3.4 一个数值例子

假设某个查询位置只允许关注三个 Token,注意力分数为:

s=[2,0,1].s=[2,0,1].

Softmax 结果为:

a=[e2e2+e0+e1,e0e2+e0+e1,e1e2+e0+e1]≈[0.6652,0.0900,0.2447].a=\left[\frac{e^2}{e^2+e^0+e^1},\frac{e^0}{e^2+e^0+e^1},\frac{e^1}{e^2+e^0+e^1}\right]\approx[0.6652,0.0900,0.2447].

为了便于计算,令三个 Value 都为标量:

v=[2,4,6].v=[2,4,6].

得到:

y≈0.6652×2+0.0900×4+0.2447×6≈3.1590.y\approx0.6652\times2+0.0900\times4+0.2447\times6\approx3.1590.

实际模型的 Value 通常是向量,加权求和会对每个向量坐标进行相同的计算。

3.5 其他常见连接方式

局部与全局结合。 一部分特殊 Token 与较大范围交换信息,其余 Token 主要处理局部关系。远距离信息可以通过全局连接传递。用于自回归模型时,全局连接同样需要符合因果规则。[5][6]

块稀疏注意力。 Block Sparse Attention(块稀疏注意力)先把长序列划分为若干区块,然后规定允许互相关注的区块。这样可以将计算组织为较规则的矩阵运算。[4]

动态稀疏注意力。 Dynamic Sparse Attention(动态稀疏注意力)根据当前输入选择连接。例如,每个 Query 选择匹配分数最高的 kk 个 Key。需要特别注意,若选择过程仍然完整计算 QK⊤QK^\top,就可能保留平方级的分数计算成本。

稀疏结构也有信息传递方面的代价。局部窗口限制单层的直接可见范围;距离较远的 Token 可能需要经过多层才能交换信息。实际收益还受到内核实现、显存访问和连接形状影响。

4. 普通 FFN 与 MoE

4.1 普通 FFN 的参数规模

一个常见的两层 FFN 为:

FFN⁡(x)=W2ϕ(W1x+b1)+b2.\operatorname{FFN}(x)=W_2\phi(W_1x+b_1)+b_2.

令输入维度为 dd,隐藏层维度为 dffd_{\mathrm{ff}},则:

W1∈Rdff×d,W2∈Rd×dff.W_1\in\mathbb R^{d_{\mathrm{ff}}\times d},\qquad W_2\in\mathbb R^{d\times d_{\mathrm{ff}}}.

忽略平移参数,主要权重数量为:

PFFN=2ddff.P_{\mathrm{FFN}}=2dd_{\mathrm{ff}}.

例如,d=512d=512、dff=2048d_{\mathrm{ff}}=2048 时,有:

PFFN=2×512×2048=2,097,152.P_{\mathrm{FFN}}=2\times512\times2048=2,097,152.

普通 FFN 会对每个 Token 执行相同结构的计算,并在不同 Token 之间共享这一层的参数。

4.2 MoE 的结构

MoE(Mixture of Experts,混合专家模型)通常把一个 FFN 模块替换为多个 Expert(专家网络)和一个 Router(路由器)。[7]

设共有 EE 个专家:

f1(x),f2(x),…,fE(x).f_1(x),f_2(x),\ldots,f_E(x).

Router 读取当前 Token 的表示,产生每个专家的选择分数。对于稀疏 MoE,每个 Token 只激活少量专家。例如,8 个专家采用 Top-2 路由时,每个 Token 只调用其中两个专家的前馈计算。

专家的具体用途由训练过程学习得到。不同专家可能形成不同的特征处理能力,但无法据此认定每个专家都对应一种明确的人类知识领域。

4.3 Router 的数学计算

设输入 x∈Rdx\in\mathbb R^d,Router 的线性映射为:

z=Wrx+br,Wr∈RE×d.z=W_rx+b_r,\qquad W_r\in\mathbb R^{E\times d}.

使用 Softmax 得到专家分数:

pe(x)=exp⁡(ze)∑j=1Eexp⁡(zj).p_e(x)=\frac{\exp(z_e)}{\sum_{j=1}^E\exp(z_j)}.

令 S(x)S(x) 表示分数最大的 kk 个专家的集合。对于采用重新归一化的 Top-kk 路由:

p~e(x)=pe(x)∑j∈S(x)pj(x),e∈S(x).\widetilde p_e(x)=\frac{p_e(x)}{\sum_{j\in S(x)}p_j(x)},\qquad e\in S(x).

MoE 的输出为:

MoE⁡(x)=∑e∈S(x)p~e(x)fe(x).\boxed{\operatorname{MoE}(x)=\sum_{e\in S(x)}\widetilde p_e(x)f_e(x)}.

这是一种常见的教学形式。实际模型还可能采用不同的路由函数、权重处理、共享专家或负载分配规则。[8][9]

4.4 Top-2 的完整数值计算

假设 4 个专家的 Router 概率为:

p=[0.65,0.10,0.20,0.05].p=[0.65,0.10,0.20,0.05].

Top-2 选择第 1、3 个专家。重新归一化:

p~1=0.650.85=1317≈0.7647,p~3=0.200.85=417≈0.2353.\widetilde p_1=\frac{0.65}{0.85}=\frac{13}{17}\approx0.7647, \qquad \widetilde p_3=\frac{0.20}{0.85}=\frac4{17}\approx0.2353.

假设它们的输出为:

f1(x)=[2,0]⊤,f3(x)=[0,4]⊤.f_1(x)=[2,0]^\top,\qquad f_3(x)=[0,4]^\top.

合并得到:

y=1317[2,0]⊤+417[0,4]⊤=[26/17,16/17]⊤≈[1.5294,0.9412]⊤.y=\frac{13}{17}[2,0]^\top+\frac4{17}[0,4]^\top =[26/17,16/17]^\top\approx[1.5294,0.9412]^\top.

对于另一个 Token,Router 可能选择完全不同的两个专家。

4.5 交互演示:专家路由与加权合并

在下面的组件中,可以改变专家数量、Top-kk 和输入 Token。选中专家的概率会重新归一化,同时更新输出向量。不同 Token 使用不同的 Router 分数,因而可能激活不同专家。

单独打开MoE Router 与专家加权

4.6 参数数量与计算量

假设每个专家都是具有相同 dd 和 dffd_{\mathrm{ff}} 的两层 FFN。共有 EE 个专家时,专家权重总量约为:

PMoE≈2Eddff.\boxed{P_{\mathrm{MoE}}\approx2Edd_{\mathrm{ff}}}.

如果每个 Token 激活 kk 个专家,则每个 Token 的主要专家前馈乘法次数与以下表达式成正比:

CMoE,token∝2kddff.\boxed{C_{\mathrm{MoE,token}}\propto2kdd_{\mathrm{ff}}}.

总参数规模随 EE 增加,每个 Token 的专家前馈计算量主要随 kk 增加。因此,MoE 可以在扩大专家参数容量的同时,限制每个 Token 实际执行的专家数量。

例如,E=8E=8、k=2k=2,专家激活比例为 25%25\%。这个比例只描述专家调用数量,无法直接代表整个 Transformer 的计算占比。

如果每个专家都与原普通 FFN 一样大,Top-2 的主要专家计算量约为原普通 FFN 的两倍。MoE 的优势应结合具有相近总参数量的稠密网络来比较。

4.7 负载均衡和设备通信

Router 可能把大多数 Token 送往少数专家,使部分专家繁忙、其他专家训练不足。因此,MoE 需要考虑 Load Balancing(负载均衡)。[7][9]

一种常见方法是在任务损失中增加辅助项:

L=Ltask+λLbalance.\mathcal L=\mathcal L_{\mathrm{task}}+\lambda\mathcal L_{\mathrm{balance}}.

λ\lambda 控制负载均衡约束的权重。不同模型也可以采用其他路由调整方式。

如果专家分布在不同 GPU 上,Token 还需要发送到所选专家所在设备,并在计算完成后返回。这样会产生通信和调度成本。MoE 仍需储存全部专家参数,显存占用与每个 Token 实际使用的专家数量是两个不同的问题。

5. 两种方法怎样比较

维度 Sparse Attention MoE
主要作用位置 Attention 模块 通常为 FFN 模块
选择对象 允许关注的 Token 需要调用的专家网络
主要目标 降低长序列注意力成本 扩大参数容量并控制专家计算
关键数量 序列长度 nn、每个位置的连接数 ww 专家总数 EE、激活专家数 kk
主要问题 远距离信息与连接选择 负载均衡、显存和通信
动态性 取决于具体连接规则 常见路由根据 Token 表示动态选择

两个方法都体现了有选择地计算,但选择的对象不同。

Sparse Attention 对 Token 的 Value 进行加权:

yi=∑j∈N(i)aijvj.y_i=\sum_{j\in\mathcal N(i)}a_{ij}v_j.

MoE 对 Expert 的输出进行加权:

y=∑e∈S(x)p~e(x)fe(x).y=\sum_{e\in S(x)}\widetilde p_e(x)f_e(x).

需要区分连接稀疏与专家激活稀疏。前者减少 Token 之间参与注意力计算的连接;后者减少每个 Token 实际执行的专家网络。

此外,动态选择可能本身产生计算开销。动态稀疏注意力若需要完整计算所有候选连接,其选择成本仍可能很高。MoE 即使给所有专家计算 Router 分数,也可以只运行选中的专家前馈网络。

6. 两种方法如何结合

Sparse Attention 与 MoE 可以出现在同一个 Transformer Block 中。下面是将两类机制组合的教学结构,不是在声称所引 Sparse Transformer 或 Switch 原论文都使用了这一完整组合:

H=X+SparseAttention⁡(LN⁡(X)),H=X+\operatorname{SparseAttention}(\operatorname{LN}(X)), Y=H+MoE⁡(LN⁡(H)).Y=H+\operatorname{MoE}(\operatorname{LN}(H)).

第一个模块让 Token 有选择地交换信息。第二个模块根据已经汇总上下文的 Token 表示,选择少量专家继续处理。

在长文本任务中,注意力连接决定当前位置可以直接使用哪些文本位置的信息;专家路由决定该 Token 经过哪些前馈变换。这两个过程共同影响模型的表示能力和计算成本。

7. 推荐系统中的应用

推荐系统可能需要处理用户长时间积累的点击、观看、搜索和购买行为。如果把行为编码为长序列,完整 Attention 的连接数量会随序列长度平方增长。[10]

Sparse Attention 可以限制每个行为位置关注的范围,也可以根据当前候选内容设计动态连接。但用户兴趣可能与较久以前的行为有关,选择策略需要通过实际预测任务验证。

推荐排序模型还需处理用户属性、内容属性、历史行为和场景信息。MoE 可以根据输入表示选择不同专家,学习多种特征变换方式。这里的专家分工应通过训练和分析确定。[11]

在实验中,需要分别记录注意力连接数量、长序列效果和计算耗时,以及 MoE 的专家利用率、参数总量、激活参数与设备通信成本。对比应使用相同的数据划分与评价指标,才能判断每项技术的实际贡献。

8. 理解方法时需要注意的边界

Sparse Attention 的连接数量可以减少,但计算收益需要底层程序确实跳过被禁止的位置。局部稀疏结构也可能限制远距离信息传递。

MoE 可以提高模型总参数容量,但全部专家仍需要存储。路由、负载均衡和设备通信都会影响实际速度与训练稳定性。

两种方法可以联合使用,分别控制长序列注意力连接和专家网络的激活数量。理解这两类选择对象,以及它们各自的计算复杂度,有助于进一步分析长上下文 Transformer 和大规模 MoE 模型。

参考文献

[1] VASWANI A, SHAZEER N, PARMAR N, et al. Attention Is All You Need[C]//Advances in Neural Information Processing Systems. 2017, 30.

[2] XIONG R, YANG Y, HE D, et al. On Layer Normalization in the Transformer Architecture[C]//Proceedings of the International Conference on Machine Learning. 2020, 119: 10524–10533.

[3] DAO T, FU D Y, ERMON S, et al. FlashAttention: Fast and Memory-Efficient Exact Attention with IO-Awareness[C]//Advances in Neural Information Processing Systems. 2022, 35.

[4] CHILD R, GRAY S, RADFORD A, et al. Generating Long Sequences with Sparse Transformers[EB/OL]. arXiv:1904.10509, 2019.

[5] BELTAGY I, PETERS M E, COHAN A. Longformer: The Long-Document Transformer[EB/OL]. arXiv:2004.05150, 2020.

[6] ZAHEER M, GURUGANESH G, DUBEY A, et al. Big Bird: Transformers for Longer Sequences[C]//Advances in Neural Information Processing Systems. 2020, 33.

[7] SHAZEER N, MIRHOSEINI A, MAZIARZ K, et al. Outrageously Large Neural Networks: The Sparsely-Gated Mixture-of-Experts Layer[C]//International Conference on Learning Representations. 2017.

[8] JIANG A Q, SABLAYROLLES A, ROUX A, et al. Mixtral of Experts[EB/OL]. arXiv:2401.04088, 2024.

[9] FEDUS W, ZOPH B, SHAZEER N. Switch Transformers: Scaling to Trillion Parameter Models with Simple and Efficient Sparsity[J]. Journal of Machine Learning Research, 2022, 23(120): 1–39.

[10] DING Q, COURSE K, MA L, et al. Bending the Scaling Law Curve in Large-Scale Recommendation Systems[EB/OL]. arXiv:2602.16986, 2026.

[11] ZHU J, FAN Z, ZHU X, et al. RankMixer: Scaling Up Ranking Models in Industrial Recommenders[C]//Proceedings of the 34th ACM International Conference on Information and Knowledge Management. 2025: 6309–6316. DOI: 10.1145/3746252.3761507. 解读版本:arXiv:2507.15551v3.

评论

评论由 GitHub Giscus 提供。若当前网络无法加载,可 前往 GitHub Discussions 查看或参与讨论。