WHALE 的历史注意力
单独打开 ↗
选择当前候选和 Softmax 温度,查看模型如何给过去的行为分配不同权重。
当前候选
科幻电影
体育集锦
烹饪视频
温度
当前特征 / Wukong
→
Cross-Attention
←
历史 / HSTU
真实 WHALE 逐层融合学习到的表示;本图只演示一次简化注意力。