Self-Attention:从点积到输出

词语向量为「我」=[1,0]、「喜欢」=[0,1]、「篮球」=[1,1]。点击查询位置,查看 Softmax 与 Value 加权的真实计算。

查询缩放仅用于演示分数变化。原始缩放点积仍除以 √2。

每个位置的注意力权重
完整注意力矩阵 A(按行归一化)

行对应 Query,列对应 Key。点击矩阵中的数值可以选择对应 Query 行。

输出向量