Transformer 中的两个残差模块

切换 Pre-LN 或 Post-LN,查看层归一化的位置和运算顺序。

输入 X
+ 输入 X(残差连接)
+ 中间结果 U(残差连接)

演示中的计算步骤会根据选择更新;实际模型还可能包含 Dropout、RMSNorm 等模块。