Pytorch Lightning 训练更新次数-Toy模板网

这篇具有很好参考价值的文章主要介绍了Pytorch Lightning 训练更新次数。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

假设一共1000个samples，batch size=4，因此一个epoch会有250 iterations，也就是会更新250次

当设置Trainer时

trainer = pl.Trainer(gpus=1, precision=32, callbacks=[logger], max_steps=40, accumulate_grad_batches=2)

这个max_steps指的是最多更新的次数，这里也就是40次，而accumulate_grad_batches指的是每次更新前积累多少个batch，这里为2

因此，每次更新前实际上积累了2 * 4 = 8个samples的gradients（当然是取了平均），而最多更新40次，因此最后训练完看到完成的iterations则是80，因为两个iterations被积累到一起来更新

注意：不论这个max_steps和accumulate_grad_batches是多少，训练时显示的log永远都是正常训练（无梯度累计）时的样子

Epoch 0:  32%|▎| 80/250 [02:41<05:39,  2.00s/it, loss=0.85, v_num=15, train/loss_simple_step=0.820, train/loss_v

即，这个250不会因为我们要累计两个batches而变成125，而是保持为250，且训练完后可以看到完成了80个iterations

默认情况下，Pytorch Lightning在每个epoch结束后，会保存一次模型，每个epoch包含多少iterations是固定的，不会因为max_steps和accumulate_grad_batches的改变而改变，在上面的例子中即250。在最后一次更新完成后也会保存一次模型，不论是在epoch末尾还是中间。

值得注意的是，一个epoch后保存下载的模型的名称