归一化与随机失活

使用三个输入 [1,2,3],按总体方差计算 BatchNorm;再观察保留概率对 Dropout 的影响。

BatchNorm

μ = 2;σ² = 2/3;ε = 0.00001;yᵢ = γ(xᵢ−μ)/√(σ²+ε)+β
x₁=1
x₂=2
x₃=3

Dropout(训练阶段)

演示掩码 m = [1,0,1];输出 = m ⊙ y / q
第 1 项
第 2 项
第 3 项

演示固定一组掩码,便于观察缩放结果。保留概率为 1 时全部保留。真实训练每次会随机生成掩码;推断阶段关闭 Dropout。