梯度传回前一层的计算

下一层权重为 W = [[1,2],[1,−1]],当前层两个 ReLU 导数均为 1。改变下一层的梯度,观察各条连接如何相加。

Wᵀ(2 × 2)
1
1
2
−1
下一层 δ(2 × 1)
当前层 δ(2 × 1)
输入 x = [1,2]ᵀ 时,当前层 W₁ 的梯度矩阵 δxᵀ
权重梯度第 1 行
权重梯度第 2 行

每个当前神经元接收下一层各条连接的影响。矩阵转置负责按照输入神经元排列这些影响。