Softmax 与负采样：预测概率如何变成训练损失？

改变词语输出分数，Softmax 会将全部分数转换成总和为 1 的概率。选择真实目标词，查看交叉熵损失与每个分数的梯度。

交叉熵梯度

梯度公式：∂L/∂zᵢ = pᵢ − yᵢ，其中 y 是真实词的 One-hot 编码。

Negative Sampling：一次正样本与多个负样本

调整一个正样本点积与一个负样本点积。下方按照 1 个正样本、3 个具有相同分数的负样本，计算平均负采样损失。

负采样目标使用 Sigmoid，训练希望正样本点积增加、负样本点积降低。这里的三个负样本相同，仅用于观察计算。