Attention 连接矩阵
蓝色表示参与计算的连接。选择注意力方式和查询位置,观察连接数量、Softmax 权重与输出。
连接方式
完整双向注意力
完整因果注意力
双向局部窗口
局部窗口 + 全局 Token
动态 Top-3 示例
序列长度
5 个 Token
8 个 Token
12 个 Token
窗口半径:
1
查看查询 Token
允许计算的位置
允许
跳过
点击行名选择查询位置
—
全部有效连接
—
连接占完整矩阵比例
—
完整矩阵连接数
查询 Token 的权重
分数取固定教学函数,Value 取 Token 序号。Softmax 只对允许的键计算。连接数量减少能否降低运行时间,还取决于底层计算是否跳过未选位置。