Word2Vec:CBOW 与 Skip-gram 怎样预测词语?

使用“我 非常 喜欢 机器 学习 课程”作为语料。修改中心词、上下文窗口与训练模式,查看训练词语对、词向量及预测概率。

输入的二维向量

当前训练损失
平均负对数似然

输出层:Softmax 预测分布

词语概率大小

教学模型的词汇表为 6 个词,词向量为固定示例参数。“梯度下降一次”会按准确的交叉熵梯度更新输出权重矩阵;输入词向量保持固定。