深度学习训练中的批次与迭代

深度学习训练中的批次与迭代

Jackknifer
Jackknifer 博主

训练神经网络时,模型通常把训练数据分成若干批次。批次大小决定每次计算使用多少样本,迭代次数描述训练进度,Epoch 描述训练集被遍历的次数。理解这几个量,还需要结合梯度计算、显存、学习率与梯度累积。

1. Batch、Batch Size、Iteration 和 Epoch

假设训练集有 10,000 条样本,每条样本有 20 个数值特征。训练过程中,模型反复读取样本、计算损失,并根据梯度更新参数。一次读取多少条样本,由 Batch Size 决定。

概念 符号 含义
Batch(批次) B\mathcal B 一次送入模型共同计算的一组样本
Batch Size(批次大小) BB 一个批次包含的样本数量
Iteration(迭代) II 处理一个批次的一轮计算;使用梯度累积时可能暂不更新参数
Epoch(训练轮次) EE 按数据加载规则遍历训练集一遍
Optimizer Step(参数更新) UU 优化器根据累计梯度调整一次参数

若单个样本是 dd 维向量,一个完整批次的输入可以组成矩阵

XB∈RB×d.X_{\mathcal B}\in\mathbb R^{B\times d}.

例如 B=100,d=20B=100,d=20,输入矩阵形状为 100×20100\times20。设线性层参数矩阵为 W∈R20×64W\in\mathbb R^{20\times64},则

H=XBW∈R100×64.H=X_{\mathcal B}W\in\mathbb R^{100\times64}.

模型一次矩阵乘法就能为 100 条样本计算 64 维表示。GPU 可以并行执行这类矩阵运算。

1.1 三种梯度下降方式

以每次计算使用的样本数为标准,训练方式可分成三类。[1]

方法 Batch Size 每轮数据遍历对应的更新次数
随机梯度下降(逐样本 SGD) B=1B=1 通常为 NN
Mini-batch SGD(小批量梯度下降) 1<B<N1<B<N 约为 N/BN/B
Full-batch Gradient Descent(全批量梯度下降) B=NB=N 通常为 1

小批量训练通常能够同时利用并行计算能力和频繁的参数更新。深度学习中提到一个 Batch,通常指一次小批量计算。

2. 每个 Epoch 有多少个 Batch

设训练样本数为 NN,Batch Size 为 BB,Epoch 数量为 EE。[2]

保留最后一个不足 BB 条样本的批次时:

I=⌈NB⌉.I=\left\lceil\frac NB\right\rceil.

若设置 PyTorch DataLoader 的 drop_last=True,丢弃最后一个不足 BB 条的批次,则:

I=⌊NB⌋.I=\left\lfloor\frac NB\right\rfloor.

没有梯度累积且每批更新一次参数时,总更新次数是

U=EI.U=E I.

以 N=10,000N=10{,}000、E=10E=10 为例:

Batch Size 每个 Epoch 的 Batch 数 10 个 Epoch 的更新次数
1 10,000 100,000
32 313 3,130
64 157 1,570
100 100 1,000
256 40 400
512 20 200
1,000 10 100
10,000 1 10

例如 10,000=39×256+1610{,}000=39\times256+16。保留尾批时,每轮共有 40 个 Batch,最后一个只有 16 条样本;丢弃尾批时,每轮共有 39 个 Batch,处理 9,984 条样本。

这里有两个需要分开记录的进度:训练读取了多少条样本,以及优化器更新了多少次参数。同样读取 10,000 条样本,Batch Size 越大,通常对应越少的参数更新。

2.1 交互演示:调整 Batch Size

在下面的组件中调整样本总数、Batch Size、Epoch 和梯度累积次数,可以查看数据加载次数、参数更新次数及尾批情况。点击批次方块,还可以查看对应的样本范围。

单独打开Batch 划分与训练次数计算

2.2 边界情况

当 NN 不能被 BB 整除时,尾批大小为 N mod BN\bmod B。若 N<BN<B,保留尾批仍有一次迭代;如果同时设置 drop_last=True,数据加载器便没有可以迭代的批次。

在分布式训练中,DistributedSampler 可能为了使各设备获取相同数量的样本而重复部分样本,或丢弃部分样本。因此,实际训练中的批次数量需要以 DataLoader 和 Sampler 的组合配置为准。[2]

3. 一个 Batch 如何完成训练

一个常见的训练步骤依次包含前向传播、损失计算、反向传播和参数更新。[3][4]

  1. 前向传播:把批次中的样本输入模型,计算预测结果。
  2. 计算损失:比较预测值与真实标签,并按照损失函数的设置进行聚合。
  3. 反向传播:应用链式法则,计算损失对参数的梯度。
  4. 参数更新:优化器根据梯度与学习率调整参数。

以批次平均损失为例,设参数为 θ\theta,第 ii 个样本的损失为 Li(θ)L_i(\theta)。当前批次的损失是

LB(θ)=1B∑i∈BLi(θ).L_{\mathcal B}(\theta)=\frac1B\sum_{i\in\mathcal B}L_i(\theta).

其梯度为

gB(θ)=∇θLB(θ)=1B∑i∈B∇θLi(θ).g_{\mathcal B}(\theta)=\nabla_\theta L_{\mathcal B}(\theta) =\frac1B\sum_{i\in\mathcal B}\nabla_\theta L_i(\theta).

使用普通 SGD 更新时:

θt+1=θt−ηgB(θt),\theta_{t+1}=\theta_t-\eta g_{\mathcal B}(\theta_t),

其中 η\eta 为学习率。

下面是 PyTorch 中的典型训练循环,dataset、model、criterion 和 optimizer 由具体任务提供。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
from torch.utils.data import DataLoader

loader = DataLoader(
dataset,
batch_size=256,
shuffle=True,
drop_last=False,
num_workers=4,
pin_memory=True,
persistent_workers=True,
)

for epoch in range(20):
model.train()
for step, (features, labels) in enumerate(loader):
predictions = model(features)
loss = criterion(predictions, labels)

optimizer.zero_grad(set_to_none=True)
loss.backward()
optimizer.step()

len(loader) 通常给出每个 Epoch 的数据加载次数。训练日志里的 step 有时表示数据加载次数,有时表示优化器更新次数。阅读日志时需要确认计数规则。上述程序假定模型与数据已经位于兼容设备上,并且 criterion 能处理对应的预测形状。

每轮使用 shuffle=True 通常会重新打乱样本顺序,减少样本原有排列对训练的影响。时间序列训练需要结合任务目标选择采样方式,确保不会在特征中引入未来信息。

3.1 平均损失与求和损失

如果损失函数使用 reduction='mean',并且每条样本权重相同,梯度对应批次平均损失。若改成 reduction='sum',则使用各项损失之和,梯度尺度随批次中的有效损失项数量变化。[5]

需要注意,PyTorch 中部分损失函数的 mean 规则按元素或有效权重计算,分母不一定就是样本数 BB。例如多维输出的 MSE 会对全部参与计算的元素取平均,因此应核对具体损失函数的定义。

4. 为什么 Batch Size 会影响训练

4.1 并行计算

批次中的多条样本可以组成矩阵,利用 GPU 并行计算。适当增加 Batch Size,能够减少小规模计算的固定开销,提升单位时间内处理的样本数。

吞吐率可以写成

Q=已处理样本数总耗时,Q=\frac{\text{已处理样本数}}{\text{总耗时}},

单位通常为 samples/s。固定批次大小时,如果每次迭代耗时为 titert_{\rm iter},可以近似写成 Q≈B/titerQ\approx B/t_{\rm iter}。

吞吐提升存在上限。当 GPU 计算资源已经充分使用,继续增加 Batch Size 可能只会增加单次迭代耗时或显存需求。

4.2 显存占用

训练显存主要包括模型参数、参数梯度、优化器状态、中间激活值和临时计算空间。对于固定网络结构与输入形状,中间激活值的总量通常随 Batch Size 增大而增加。

以常见的 FP32 参数与 Adam 优化器为例,每个参数的参数值约占 4 字节,参数梯度约占 4 字节,一阶、二阶动量合计约占 8 字节。仅这些数据约占每个参数 16 字节。一亿个参数对应约 1.6 GB 的十进制存储空间,尚未计算激活值和其他额外开销。混合精度、参数副本、优化器实现和分布式分片方式都可能改变实际占用。

因此,Batch Size 的选择需要同时考虑模型规模、图像分辨率、序列长度和设备显存。

4.3 梯度估计的随机性

整个训练集的经验损失为[1]

L(θ)=1N∑i=1NLi(θ).L(\theta)=\frac1N\sum_{i=1}^N L_i(\theta).

全批量梯度为

gfull=∇θL(θ)=1N∑i=1N∇θLi(θ).g_{\rm full}=\nabla_\theta L(\theta) =\frac1N\sum_{i=1}^{N}\nabla_\theta L_i(\theta).

若从 NN 条样本中均匀随机抽取 BB 条,当前小批量梯度为

gB=1B∑i∈B∇θLi(θ).g_{\mathcal B}=\frac1B\sum_{i\in\mathcal B}\nabla_\theta L_i(\theta).

当抽样均匀且模型参数固定时,小批量梯度满足

E[gB]=gfull.\mathbb E[g_{\mathcal B}]=g_{\rm full}.

也就是说,随机抽样得到的批次平均梯度,是整个训练集平均梯度的无偏估计。

如果把单个梯度坐标的总体方差记为 σ2\sigma^2,独立、有放回抽样时,

Var⁡(gB)=σ2B.\operatorname{Var}(g_{\mathcal B})=\frac{\sigma^2}{B}.

因此其标准差为 σ/B\sigma/\sqrt B。Batch Size 增大为原来的 4 倍,梯度估计标准差约变成原来的一半。

对固定有限训练集进行不放回随机抽样时,若 σ2\sigma^2 按 N−1N-1 为分母定义,方差为

Var⁡(gB)=σ2B(1−BN).\operatorname{Var}(g_{\mathcal B}) =\frac{\sigma^2}{B}\left(1-\frac BN\right).

当 B=NB=N,小批量梯度就是全批量梯度,抽样带来的方差为零。这里讨论的方差是相对于随机选择批次而言;训练数据增强、Dropout 还会带来其他随机性。

4.4 Batch Size 与泛化

较小的 Batch 往往产生波动更明显的梯度,较大的 Batch 通常产生更稳定的梯度估计。这会改变参数的更新路径。

部分研究观察到,大批量训练可能出现泛化差距,并讨论尖锐极小值与训练表现的关系。但泛化表现还受到学习率、训练步数、模型结构和数据分布影响。Batch Size 与最终验证效果之间没有适用于所有模型的单调关系。[6][7]

5. Batch Size、学习率与梯度累积

5.1 改变 Batch Size 后如何调整学习率

设 Batch Size 从 BB 增加到 kBkB,每个 Epoch 的更新次数近似缩减为原来的 1/k1/k。一个常用的 SGD 经验规则是把学习率从 η\eta 调整为 kηk\eta,并在训练初期使用 Warmup(学习率预热)。[8]

该规则的直觉是,在梯度方向变化较小的近似条件下,每轮的累计参数位移可写成

Δθ≈−NBη∇θL(θ).\Delta\theta\approx-\frac NB\eta\nabla_\theta L(\theta).

Batch Size 增加 kk 倍后,用学习率 kηk\eta 可以近似保持每轮的位移规模。不过,真实训练中的梯度会随着参数持续变化,因此这一规则属于经验方法,效果需要通过训练和验证确认。

这不是对 Adam、AdamW 或任意网络成立的通用换算公式。改变优化器或任务后,应重新验证学习率、预热长度和调度方式。Smith 等也研究过通过增加 Batch Size 替代部分学习率衰减,但同样有训练条件和适用范围。[9]

5.2 梯度累积

当单次计算无法容纳希望使用的批次大小,可以连续处理多个 Micro-batch(微批次),把梯度累积起来,之后再执行参数更新。[10]

设一个微批次有 BB 条样本,每累积 AA 次更新一次参数,使用单张 GPU 时的标准等效批次大小为

Beffective=BA.B_{\rm effective}=B A.

使用 GG 张 GPU 进行同步数据并行时,通常写成

Beffective=BAG.B_{\rm effective}=B A G.

例如,4 张 GPU、每张卡每次处理 256 条样本,累积 2 次,则标准等效 Batch Size 是 256×2×4=2,048256\times2\times4=2{,}048。

如果每个 Epoch 有 II 个微批次,并且每轮结束时也更新剩余的累计梯度,优化器更新次数为

U=E⌈IA⌉.U=E\left\lceil\frac IA\right\rceil.

这里的公式说明了单卡或每张设备上对同一轮次进行完整累积的情形;分布式 Sampler 的样本补齐和同步方式会影响数据加载次数。

下面给出适用于常规 PyTorch DataLoader 的梯度累积写法。示例中的损失按样本平均,程序使用实际样本数量加权,能够正确处理尾批和尾部累积组。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
from itertools import islice

accum_steps = 4
iterator = iter(loader)
optimizer.zero_grad(set_to_none=True)

for _ in range(0, len(loader), accum_steps):
micro_batches = list(islice(iterator, accum_steps))
total_samples = sum(features.size(0) for features, labels in micro_batches)

for features, labels in micro_batches:
loss = criterion(model(features), labels)
(loss * (features.size(0) / total_samples)).backward()

optimizer.step()
optimizer.zero_grad(set_to_none=True)

当各样本损失相互独立、各微批次使用同一组参数、聚合分母一致且无批次相关运算时,按实际样本数加权累积的梯度与合并 Batch 的平均梯度在数学上相同,数值实现允许有限浮点误差。BatchNorm、批次内负样本损失、跨样本 Attention 等会破坏这些前提;Dropout 的随机掩码也可能不同。因此“等效 Batch Size 相同”不意味着训练行为完全相同。[10][11]

5.3 BatchNorm 的批次统计量

BatchNorm(批次归一化)在训练时根据输入张量的特定维度计算均值和方差。对二维输入的 BatchNorm1d,若每个通道只有一个值,训练通常会因为无法形成有效统计量而报错。对于空间尺寸较大的卷积特征图,即使 Batch Size 为 1,每个通道仍可能拥有多个空间位置,因而可以正常运行。[12][11]

较小的有效统计样本数会使 BatchNorm 统计量波动增加。某些任务可以使用 GroupNorm、LayerNorm,或调整归一化策略。

6. 如何理解训练时间和日志

训练用时可以近似估算为

T≈EItiter,T\approx E I t_{\rm iter},

其中 titert_{\rm iter} 为平均每次数据加载迭代的耗时。这是估计计算量的方法,实际时间还包含评估、检查点保存、数据预处理和通信开销。

例如 N=50,000N=50{,}000、B=256B=256、E=20E=20,保留尾批:

I=⌈50,000256⌉=196,U=20×196=3,920.I=\left\lceil\frac{50{,}000}{256}\right\rceil=196, \qquad U=20\times196=3{,}920.

如果每次迭代平均 0.2 秒,计算时间约为

T=3,920×0.2=784 s≈13.1 min.T=3{,}920\times0.2=784\ \mathrm{s}\approx13.1\ \mathrm{min}.

使用 4 张 GPU,每张卡的 Batch Size 仍为 256,标准全局 Batch Size 为 1,024。忽略分布式采样补齐的影响时,一个 Epoch 约有

⌈50,0001,024⌉=49\left\lceil\frac{50{,}000}{1{,}024}\right\rceil=49

次参数同步更新。若各卡还累积 2 次微批次,标准等效 Batch Size 为 2,048;每个 Epoch 大约进行 25 次优化器更新。实际次数需要根据分布式数据加载器和尾批规则核实。

训练日志可能出现:

1
Epoch 3/10 | Iteration 120/196 | loss=0.42

如果采用从 1 开始的计数方式,这表示当前是第 3 个 Epoch,正在处理该轮的第 120 个 Batch,共有 196 个 Batch。loss=0.42 表示日志记录的损失值。实际脚本可能输出当前批次损失、平滑损失或一段时间的平均损失,需要核对记录代码。

学习率调度器也可能按 Epoch 或 Optimizer Step 更新。存在梯度累积时,应确认 scheduler.step() 在何时调用。

7. 选择 Batch Size 时需要关注什么

同一个模型和数据集上,适当增加 Batch Size 可能提升吞吐,也会减少每个 Epoch 的参数更新次数。因此,应同时比较设备显存、样本吞吐、验证集指标和达到目标效果所需的时间。

不同任务的常见配置差异较大:

任务场景 Batch Size 的主要考虑
小型 MLP(多层感知机) 训练收敛、吞吐和学习率
CNN 图像分类 图片分辨率、激活值显存和并行效率
目标检测或图像分割 单张图像分辨率高,单设备批次可能较小
Transformer 序列长度、Token 总量和显存
推荐系统与 CTR 预测 Embedding 参数、批次内 ID 分布和负样本构造

对于推荐模型,同一个批次内可能包含大量类别 ID。被访问的 Embedding 行会得到梯度反馈;部分召回模型还把其他样本作为批次内负样本。此时,Batch Size 还会影响有效负样本数量和训练样本结构。

Batch Size 可以采用任何满足训练框架要求的正整数。2 的整数次幂在部分设备和算子上可能更高效,但训练配置也可以使用 100、250 或 1,000 等数值。

8. 容易混淆的问题

Iteration 一定会更新一次参数吗? 需要看训练代码。没有梯度累积时,通常每处理一个批次就更新一次。采用梯度累积后,多次数据加载 Iteration 才对应一次 Optimizer Step。

Epoch 越多,效果越好吗? Epoch 只表示数据经过了多少轮训练。训练过久可能导致过拟合,需要观察验证集损失与任务指标。

Batch Size 越大,训练越快吗? 更大的 Batch 可能提高每秒处理的样本数,但最终训练用时还取决于需要多少次更新才能达到目标效果。

一次完整遍历是否一定读取每条样本一次? 这取决于 DataLoader、Sampler 和 drop_last。重复采样、丢弃尾批或无限数据流都会改变这一含义。

梯度累积能否完全替代大 Batch? 对满足条件的批次平均梯度,两者可以得到相同梯度。但训练期间的批次统计量、随机算子和数值计算顺序仍可能不同。

参考文献

[1] GOODFELLOW I, BENGIO Y, COURVILLE A. Deep Learning[M]. MIT Press, 2016.

[2] PyTorch Contributors. torch.utils.data — DataLoader and Sampler[EB/OL]. PyTorch 2.10.

[3] PyTorch Contributors. Autograd mechanics[EB/OL]. PyTorch 2.10.

[4] PyTorch Contributors. torch.optim[EB/OL]. PyTorch 2.10.

[5] PyTorch Contributors. torch.nn — Loss functions[EB/OL]. PyTorch 2.10.

[6] KESKAR N S, MUDIGERE D, NOCEDAL J, et al. On Large-Batch Training for Deep Learning: Generalization Gap and Sharp Minima[C]//International Conference on Learning Representations. 2017.

[7] MCCANDLISH S, KAPLAN J, AMODEI D, et al. An Empirical Model of Large-Batch Training[EB/OL]. arXiv:1812.06162, 2018.

[8] GOYAL P, DOLLÁR P, GIRSHICK R, et al. Accurate, Large Minibatch SGD: Training ImageNet in 1 Hour[EB/OL]. arXiv:1706.02677, 2017.

[9] SMITH S L, KINDERMANS P J, YING C, et al. Don’t Decay the Learning Rate, Increase the Batch Size[C]//International Conference on Learning Representations. 2018.

[10] PyTorch Contributors. Automatic Mixed Precision examples — Gradient accumulation[EB/OL]. PyTorch 2.10.

[11] PyTorch Contributors. BatchNorm1d[EB/OL]. PyTorch 2.10.

[12] IOFFE S, SZEGEDY C. Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift[C]//Proceedings of the International Conference on Machine Learning. 2015, 37: 448–456.

评论

评论由 GitHub Giscus 提供。若当前网络无法加载,可 前往 GitHub Discussions 查看或参与讨论。