亲自观察梯度下降的移动路线
两组损失函数分别为 L₁=5u₁²+0.5u₂²、L₂=0.5u₁²+0.5u₂²。它们的最优点都是 (0,0)，起点都是 (1,1)。
u₁
u₂
曲率差异较大
u₁
u₂
两个方向的曲率相同
学习率
0.180
迭代次数
15
椭圆损失
圆形损失
试着把学习率提高到 0.20 以上，观察左侧更新是否发散；再调回 0.10 以下，观察沿着平缓方向移动的速度。右侧在当前学习率范围内稳定收敛。图中路径按实际更新数值计算；超出视窗的点会被裁切。