PyTorch Lightning教程五：Debug调试-Toy模板网

这篇具有很好参考价值的文章主要介绍了PyTorch Lightning教程五：Debug调试。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

如果遇到了这样一个问题，当一次训练模型花了好几天，结果突然在验证或测试的时候崩掉了，这个时候其实是很奔溃的，主要还是由于没有提前知道哪些时候会出现什么问题，本节会引入Lightning的Debug方案

1.fast_dev_run参数

Trainer中的fast_dev_run参数通过你的训练器运行5批训练、验证、测试和预测数据，看看是否有任何错误，如下

Trainer(fast_dev_run=True)

如果fast_dev_run设置为7，则表示训练7个batch每次

⚠️注意：这个参数将禁用tuner、checkpoint callbacks, early stopping callbacks, loggers 和 logger callbacks(如 LearningRateMonitor和DeviceStatsMonitor)。

2.减少epoch长度

有时，我们只需要使用训练、val、测试或预测数据的一小部分(或一组批次)，来看看是否有错误。例如，可以使用20%的训练集和1%的验证集。

在像Imagenet这样的大型数据集上，这可以帮助我们更快地调试或测试一些东西，而不是等待一个完整的epoch。

# 只使用10%的训练数据和1%的验证数据
trainer = Trainer(limit_train_batches=0.1, limit_val_batches=0.01)

# 使用10批次训练和5批次验证
trainer = Trainer(limit_train_batches=10, limit_val_batches=5)

3.运行一次完整性验证

Lightning在训练开始时有2个验证的步骤。这避免了在验证循环中陷入冗长的训练循环。

trainer = Trainer(num_sanity_val_steps=2)

4.打印模型相关参数

每当调用.fit()函数时，训练器将打印LightningModule的权重摘要，例如

trainer.fit(...)

则出现

  | Name  | Type        | Params
----------------------------------
0 | net   | Sequential  | 132 K
1 | net.0 | Linear      | 131 K
2 | net.1 | BatchNorm1d | 1.0 K

需要将子模块添加到摘要中，添加一个ModelSummary，如下操作

# 方法1.引入回调函数
from lightning.pytorch.callbacks import ModelSummary
trainer = Trainer(callbacks=[ModelSummary(max_depth=-1)])  # 回调函数ModelSummary
trainer.fit()
# 注：如果不打印，则可以运行 Trainer(enable_model_summary=False)


# 当然也可以下面这样子，直接打印
# 方法2.不调用fit
model = LitModel()
summary = ModelSummary(model, max_depth=-1)
print(summary)

4.所有中间层的输入输出

另一个调试工具是通过在LightningModule中设置example_input_array属性来显示所有层的中间输入和输出大小。

class LitModel(LightningModule):
    def __init__(self, *args, **kwargs):
        self.example_input_array = torch.Tensor(32, 1, 28, 28)

当执行.fit()时，会打印如下文章来源地址https://www.toymoban.com/news/detail-633454.html

  | Name  | Type        | Params | In sizes  | Out sizes
--------------------------------------------------------------
0 | net   | Sequential  | 132 K  | [10, 256] | [10, 512]
1 | net.0 | Linear      | 131 K  | [10, 256] | [10, 512]
2 | net.1 | BatchNorm1d | 1.0 K  | [10, 512] | [10, 512]

到了这里，关于PyTorch Lightning教程五：Debug调试的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！