Token Mixing 坐标追踪
数字表示输入坐标的编号。颜色表示 Head。点击数字,查看重排前后的位置。
输入形状
T = H = 2,D = 4,每个 Head 有 2 个坐标
T = H = 4,D = 8,每个 Head 有 2 个坐标
T = H = D = 4,每个 Head 有 1 个坐标
输入 X
TokenMixing(X)
每个输出行依次收集全部输入 Token 的同一个 Head,Head 内部的坐标顺序保持一致。