学习率如何影响一次更新

输入 x=2、目标 y=10。初始参数 w₁=3、b₁=1、w₂=2、b₂=0。隐藏层使用 ReLU,损失为预测误差平方的一半。

新预测值
更新后损失
相对初始损失
初始损失8.000000
更新后损失
参数原始值当前梯度更新后

梯度是初始参数位置的梯度。滑块改变学习率后,使用相同梯度执行一次更新,再重新计算预测和损失。