Sparse Attention 与 MoE 的原理及比较
Transformer 的 Attention(注意力机制)负责在不同 Token 之间交换信息;FFN(前馈神经网络)负责进一步变换每个 Token 的表示。Sparse Attention(稀疏注意力)与 MoE(Mixture of Experts,混合专家模型)分别改变这两部分的计算方式。本文结合矩阵、数值例子和交互演示,解释它们的数学原理、计算成本、实现限制以及在长序列和推荐系统中的作用。[1]
1. Transformer 中的两类计算
设一段输入包含 个 Token,每个 Token 的向量长度为 。将它们排成矩阵:
在常见的 Pre-LN Transformer Block 中,两个主要计算模块可以写成:[2]
Attention 让当前位置汇总其他位置的信息。FFN 对每个位置分别执行非线性变换。通常,各个位置共享 FFN 的参数。
如果序列非常长,Attention 需要处理大量 Token 之间的关系。如果继续增加 FFN 的宽度,模型需要储存并执行更多参数。Sparse Attention 通过选择部分注意力连接控制长序列成本;MoE 则通过选择部分专家网络扩展参数容量。
2. 完整注意力怎样计算
2.1 Query、Key 和 Value
单个注意力头先进行三个线性变换:[1]
假设 ,。注意力分数矩阵为:
其中,第 行、第 列的分数为:
对每一行进行 Softmax(指数归一化),得到:
第 个 Token 的输出为:
因此,矩阵形式为:
分母中的 用于控制内积分数的尺度,减轻维度增加时 Softmax 权重过于集中的情况。
2.2 为什么长序列成本高
完整双向注意力需要构造 个分数。仅考虑注意力分数,其数量随 增长。
| Token 数量 | 注意力分数数量 |
|---|---|
| 1,000 | 1,000,000 |
| 10,000 | 100,000,000 |
| 100,000 | 10,000,000,000 |
的主要乘法次数约与 成正比,权重与 相乘的成本约与 成正比。当 和 的数量级相近时,通常写为 。
这一结论描述注意力分数及其汇总计算。实际程序是否分配完整的注意力矩阵,还取决于采用的计算实现。例如,使用分块计算可以减少中间结果的显存占用,但通常仍会计算全部允许的注意力连接。[3]
3. Sparse Attention 怎样减少连接
3.1 从全部连接到指定集合
令 表示第 个 Token 允许关注的位置集合。Sparse Attention 的输出可写成:[4]
只对允许的位置进行 Softmax,权重为:
也可以用掩码 来描述:
被禁止的位置对应的注意力权重为零。每个查询位置都需要至少一个可用的键,才能计算 Softmax。
3.2 滑动窗口注意力
最容易理解的结构是 Sliding Window Attention(滑动窗口注意力)。在双向场景中,设窗口半径为 :[5]
例如,序列有 5 个 Token,,则位置 3 只关注位置 2、3、4。全部 25 个矩阵位置中,只有 13 个有效连接。
自回归语言模型还需要遵守因果限制,即位置 只能关注已出现的位置。如果最多允许最近 个位置,可以写成:
当 时,所有有效连接数量为:
如果每个位置最多连接 个位置,并且底层计算能直接跳过无关位置,则注意力主要计算量约为:
当 远小于 时,连接数量可以从平方增长变为近似线性增长。
3.3 交互演示:注意力连接矩阵
下面的组件包含完整双向注意力、因果注意力、局部窗口、全局与局部结合,以及动态 Top-3 连接示例。可以调整序列长度、窗口半径与查询位置,观察注意力矩阵、有效连接数量、Softmax 权重和示例输出。
3.4 一个数值例子
假设某个查询位置只允许关注三个 Token,注意力分数为:
Softmax 结果为:
为了便于计算,令三个 Value 都为标量:
得到:
实际模型的 Value 通常是向量,加权求和会对每个向量坐标进行相同的计算。
3.5 其他常见连接方式
局部与全局结合。 一部分特殊 Token 与较大范围交换信息,其余 Token 主要处理局部关系。远距离信息可以通过全局连接传递。用于自回归模型时,全局连接同样需要符合因果规则。[5][6]
块稀疏注意力。 Block Sparse Attention(块稀疏注意力)先把长序列划分为若干区块,然后规定允许互相关注的区块。这样可以将计算组织为较规则的矩阵运算。[4]
动态稀疏注意力。 Dynamic Sparse Attention(动态稀疏注意力)根据当前输入选择连接。例如,每个 Query 选择匹配分数最高的 个 Key。需要特别注意,若选择过程仍然完整计算 ,就可能保留平方级的分数计算成本。
稀疏结构也有信息传递方面的代价。局部窗口限制单层的直接可见范围;距离较远的 Token 可能需要经过多层才能交换信息。实际收益还受到内核实现、显存访问和连接形状影响。
4. 普通 FFN 与 MoE
4.1 普通 FFN 的参数规模
一个常见的两层 FFN 为:
令输入维度为 ,隐藏层维度为 ,则:
忽略平移参数,主要权重数量为:
例如,、 时,有:
普通 FFN 会对每个 Token 执行相同结构的计算,并在不同 Token 之间共享这一层的参数。
4.2 MoE 的结构
MoE(Mixture of Experts,混合专家模型)通常把一个 FFN 模块替换为多个 Expert(专家网络)和一个 Router(路由器)。[7]
设共有 个专家:
Router 读取当前 Token 的表示,产生每个专家的选择分数。对于稀疏 MoE,每个 Token 只激活少量专家。例如,8 个专家采用 Top-2 路由时,每个 Token 只调用其中两个专家的前馈计算。
专家的具体用途由训练过程学习得到。不同专家可能形成不同的特征处理能力,但无法据此认定每个专家都对应一种明确的人类知识领域。
4.3 Router 的数学计算
设输入 ,Router 的线性映射为:
使用 Softmax 得到专家分数:
令 表示分数最大的 个专家的集合。对于采用重新归一化的 Top- 路由:
MoE 的输出为:
这是一种常见的教学形式。实际模型还可能采用不同的路由函数、权重处理、共享专家或负载分配规则。[8][9]
4.4 Top-2 的完整数值计算
假设 4 个专家的 Router 概率为:
Top-2 选择第 1、3 个专家。重新归一化:
假设它们的输出为:
合并得到:
对于另一个 Token,Router 可能选择完全不同的两个专家。
4.5 交互演示:专家路由与加权合并
在下面的组件中,可以改变专家数量、Top- 和输入 Token。选中专家的概率会重新归一化,同时更新输出向量。不同 Token 使用不同的 Router 分数,因而可能激活不同专家。
4.6 参数数量与计算量
假设每个专家都是具有相同 和 的两层 FFN。共有 个专家时,专家权重总量约为:
如果每个 Token 激活 个专家,则每个 Token 的主要专家前馈乘法次数与以下表达式成正比:
总参数规模随 增加,每个 Token 的专家前馈计算量主要随 增加。因此,MoE 可以在扩大专家参数容量的同时,限制每个 Token 实际执行的专家数量。
例如,、,专家激活比例为 。这个比例只描述专家调用数量,无法直接代表整个 Transformer 的计算占比。
如果每个专家都与原普通 FFN 一样大,Top-2 的主要专家计算量约为原普通 FFN 的两倍。MoE 的优势应结合具有相近总参数量的稠密网络来比较。
4.7 负载均衡和设备通信
Router 可能把大多数 Token 送往少数专家,使部分专家繁忙、其他专家训练不足。因此,MoE 需要考虑 Load Balancing(负载均衡)。[7][9]
一种常见方法是在任务损失中增加辅助项:
控制负载均衡约束的权重。不同模型也可以采用其他路由调整方式。
如果专家分布在不同 GPU 上,Token 还需要发送到所选专家所在设备,并在计算完成后返回。这样会产生通信和调度成本。MoE 仍需储存全部专家参数,显存占用与每个 Token 实际使用的专家数量是两个不同的问题。
5. 两种方法怎样比较
| 维度 | Sparse Attention | MoE |
|---|---|---|
| 主要作用位置 | Attention 模块 | 通常为 FFN 模块 |
| 选择对象 | 允许关注的 Token | 需要调用的专家网络 |
| 主要目标 | 降低长序列注意力成本 | 扩大参数容量并控制专家计算 |
| 关键数量 | 序列长度 、每个位置的连接数 | 专家总数 、激活专家数 |
| 主要问题 | 远距离信息与连接选择 | 负载均衡、显存和通信 |
| 动态性 | 取决于具体连接规则 | 常见路由根据 Token 表示动态选择 |
两个方法都体现了有选择地计算,但选择的对象不同。
Sparse Attention 对 Token 的 Value 进行加权:
MoE 对 Expert 的输出进行加权:
需要区分连接稀疏与专家激活稀疏。前者减少 Token 之间参与注意力计算的连接;后者减少每个 Token 实际执行的专家网络。
此外,动态选择可能本身产生计算开销。动态稀疏注意力若需要完整计算所有候选连接,其选择成本仍可能很高。MoE 即使给所有专家计算 Router 分数,也可以只运行选中的专家前馈网络。
6. 两种方法如何结合
Sparse Attention 与 MoE 可以出现在同一个 Transformer Block 中。下面是将两类机制组合的教学结构,不是在声称所引 Sparse Transformer 或 Switch 原论文都使用了这一完整组合:
第一个模块让 Token 有选择地交换信息。第二个模块根据已经汇总上下文的 Token 表示,选择少量专家继续处理。
在长文本任务中,注意力连接决定当前位置可以直接使用哪些文本位置的信息;专家路由决定该 Token 经过哪些前馈变换。这两个过程共同影响模型的表示能力和计算成本。
7. 推荐系统中的应用
推荐系统可能需要处理用户长时间积累的点击、观看、搜索和购买行为。如果把行为编码为长序列,完整 Attention 的连接数量会随序列长度平方增长。[10]
Sparse Attention 可以限制每个行为位置关注的范围,也可以根据当前候选内容设计动态连接。但用户兴趣可能与较久以前的行为有关,选择策略需要通过实际预测任务验证。
推荐排序模型还需处理用户属性、内容属性、历史行为和场景信息。MoE 可以根据输入表示选择不同专家,学习多种特征变换方式。这里的专家分工应通过训练和分析确定。[11]
在实验中,需要分别记录注意力连接数量、长序列效果和计算耗时,以及 MoE 的专家利用率、参数总量、激活参数与设备通信成本。对比应使用相同的数据划分与评价指标,才能判断每项技术的实际贡献。
8. 理解方法时需要注意的边界
Sparse Attention 的连接数量可以减少,但计算收益需要底层程序确实跳过被禁止的位置。局部稀疏结构也可能限制远距离信息传递。
MoE 可以提高模型总参数容量,但全部专家仍需要存储。路由、负载均衡和设备通信都会影响实际速度与训练稳定性。
两种方法可以联合使用,分别控制长序列注意力连接和专家网络的激活数量。理解这两类选择对象,以及它们各自的计算复杂度,有助于进一步分析长上下文 Transformer 和大规模 MoE 模型。
参考文献
[1] VASWANI A, SHAZEER N, PARMAR N, et al. Attention Is All You Need[C]//Advances in Neural Information Processing Systems. 2017, 30.
[2] XIONG R, YANG Y, HE D, et al. On Layer Normalization in the Transformer Architecture[C]//Proceedings of the International Conference on Machine Learning. 2020, 119: 10524–10533.
[3] DAO T, FU D Y, ERMON S, et al. FlashAttention: Fast and Memory-Efficient Exact Attention with IO-Awareness[C]//Advances in Neural Information Processing Systems. 2022, 35.
[4] CHILD R, GRAY S, RADFORD A, et al. Generating Long Sequences with Sparse Transformers[EB/OL]. arXiv:1904.10509, 2019.
[5] BELTAGY I, PETERS M E, COHAN A. Longformer: The Long-Document Transformer[EB/OL]. arXiv:2004.05150, 2020.
[6] ZAHEER M, GURUGANESH G, DUBEY A, et al. Big Bird: Transformers for Longer Sequences[C]//Advances in Neural Information Processing Systems. 2020, 33.
[7] SHAZEER N, MIRHOSEINI A, MAZIARZ K, et al. Outrageously Large Neural Networks: The Sparsely-Gated Mixture-of-Experts Layer[C]//International Conference on Learning Representations. 2017.
[8] JIANG A Q, SABLAYROLLES A, ROUX A, et al. Mixtral of Experts[EB/OL]. arXiv:2401.04088, 2024.
[9] FEDUS W, ZOPH B, SHAZEER N. Switch Transformers: Scaling to Trillion Parameter Models with Simple and Efficient Sparsity[J]. Journal of Machine Learning Research, 2022, 23(120): 1–39.
[10] DING Q, COURSE K, MA L, et al. Bending the Scaling Law Curve in Large-Scale Recommendation Systems[EB/OL]. arXiv:2602.16986, 2026.
[11] ZHU J, FAN Z, ZHU X, et al. RankMixer: Scaling Up Ranking Models in Industrial Recommenders[C]//Proceedings of the 34th ACM International Conference on Information and Knowledge Management. 2025: 6309–6316. DOI: 10.1145/3746252.3761507. 解读版本:arXiv:2507.15551v3.
评论由 GitHub Giscus 提供。若当前网络无法加载,可 前往 GitHub Discussions 查看或参与讨论。