Transformer 中的两个残差模块
切换 Pre-LN 或 Post-LN,查看层归一化的位置和运算顺序。
LayerNorm 的位置
Pre-LN
Post-LN
输入 X
+ 输入 X(残差连接)
+ 中间结果 U(残差连接)
演示中的计算步骤会根据选择更新;实际模型还可能包含 Dropout、RMSNorm 等模块。