参数容量与前向计算预算

按 PFFN 的主要矩阵计算。总参数包含全部专家;每次请求的乘法由平均活跃比例决定。

主要权重总参数
平均活跃参数
单条样本前向 FLOPs
fp16 权重存储(十进制 MB)

H = T,需要 D 能被 T 整除。s 是平均活跃比例。这里统计权重和前向矩阵乘法;路由、Embedding、训练梯度与优化器状态需要另外计入。

k 在此处可以自行选择。计算结果用于理解公式;论文中 107 M 与 1.1 B 的完整参数配置未全部公开。