WHALE 的历史注意力

单独打开 ↗

选择当前候选和 Softmax 温度,查看模型如何给过去的行为分配不同权重。

当前特征 / Wukong→Cross-Attention←历史 / HSTU

真实 WHALE 逐层融合学习到的表示;本图只演示一次简化注意力。