Attention 连接矩阵

蓝色表示参与计算的连接。选择注意力方式和查询位置,观察连接数量、Softmax 权重与输出。

允许计算的位置

允许跳过点击行名选择查询位置
—全部有效连接
—连接占完整矩阵比例
—完整矩阵连接数

查询 Token 的权重

分数取固定教学函数,Value 取 Token 序号。Softmax 只对允许的键计算。连接数量减少能否降低运行时间,还取决于底层计算是否跳过未选位置。