按 PFFN 的主要矩阵计算。总参数包含全部专家;每次请求的乘法由平均活跃比例决定。
H = T,需要 D 能被 T 整除。s 是平均活跃比例。这里统计权重和前向矩阵乘法;路由、Embedding、训练梯度与优化器状态需要另外计入。
k 在此处可以自行选择。计算结果用于理解公式;论文中 107 M 与 1.1 B 的完整参数配置未全部公开。