Batch 划分与训练次数
调整样本总数、Batch Size 和 Epoch,观察训练集如何分批,以及数据加载次数与参数更新次数之间的关系。
每个 Epoch 的 Batch 数16
每个 Epoch 的实际样本数1,000
最后一批样本数40
整个训练的数据加载次数160
整个训练的参数更新次数160
标准等效 Batch Size64
观察一个 Epoch 的批次
完整批次不足 B 条的尾批
每个方块代表一次数据加载;点击方块查看样本范围。这里假设样本编号从 1 开始,按照编号展示,仅用于说明分批过程。实际训练通常重新打乱样本。累积不足 A 次的梯度会在 Epoch 末尾更新一次。