梯度经过多层网络如何变化？
假设每层变换分支的局部导数均为 a，观察 n 层网络的梯度倍率。
层数 n：
局部导数 a：
普通连接 |a|ⁿ
残差连接 |1+a|ⁿ
0 层
log₁₀|G|
━ 普通连接
━ 残差连接
图中纵轴范围为 −8～2，超出范围时曲线停在边界。局部导数在实际训练中会随输入和参数变化。