MoE 专家路由

Router 根据当前 Token 的表示计算专家分数,选出 Top-k 个专家,并将专家输出加权合并。

输入 Token → Router 计算分数 → 选择专家
↓ 加权合并选中专家的输出 ↓
—激活专家
—专家激活比例

教学示例使用固定 Router 分数和二维专家输出。真实模型通过训练学习 Router 和专家参数。这里只计算专家模块的激活比例,不代表整个 Transformer 的计算量。