使用 X=[1,1,1,1] 和注意力输出 A=[2,4,6,8],计算 H=LayerNorm(X+Dropout(A))。归一化示例取 γ=1、β=0、ε=10⁻⁵。
保留的值除以 1-p,推理阶段通常关闭 Dropout。