Router 根据当前 Token 的表示计算专家分数,选出 Top-k 个专家,并将专家输出加权合并。
教学示例使用固定 Router 分数和二维专家输出。真实模型通过训练学习 Router 和专家参数。这里只计算专家模块的激活比例,不代表整个 Transformer 的计算量。