PyTorch Lightning教程七:可视化

这篇具有很好参考价值的文章主要介绍了PyTorch Lightning教程七:可视化。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

本节指导如何利用Lightning进行可视化和监控模型

为何需要跟踪参数

在模型开发中,我们跟踪感兴趣的值,例如validation_loss,以可视化模型的学习过程。模型开发就像驾驶一辆没有窗户的汽车,图表和日志提供了窗口,让我们知道该把车开到哪里。有了Lightning,几乎可以可视化任何你能想到的东西:数值、文本、图像、音频…

跟踪指标

度量可视化是理解模型在整个模型开发过程中如何运行的最基本但最强大的方法。要跟踪指标,只需使用LightningModule中的self.log方法

class LitModel(pl.LightningModule):
    def training_step(self, batch, batch_idx):
        value = ...
        self.log("some_value", value)

要一次记录多个指标,使用self.log_dict

values = {"loss": loss, "acc": acc, "metric_n": metric_n}  # add more items if needed
self.log_dict(values)

要在命令行进度条中查看指标,需将prog_bar参数设置为True。

self.log(..., prog_bar=True)
命令行视图

如果要在浏览器中查看指标,默认情况下,Lightning使用Tensorboard和一个简单的CSV日志记录器。

# 默认情况下,每个训练器已经启用了tensorboard(如果依赖项可用)
trainer = Trainer()

使用如下命令进行显示

tensorboard --logdir=lightning_logs/

如果您使用的是notebook环境,如colab或kaggle或jupyter,使用如下命令启动Tensorboard

%reload_ext tensorboard
%tensorboard --logdir=lightning_logs/
累计指标

当在training_step中调用self.log时,它会生成一个时间序列,显示指标随时间的变化情况。

然而,对于验证和测试集,我们通常对绘制每批数据的指标不感兴趣。相反,我们希望在整个数据分割中计算汇总统计(例如平均值、最小值或最大值)。

当您在validation_step和test_step中调用self.log时,Lightning会自动累积指标并在整个分割(epoch)完成后取平均值。

def validation_step(self, batch, batch_idx):
    value = batch_idx + 1
    self.log("average_value", value)

如果不想取平均值,也可以通过传递reduce_fx参数从{min,max,sum}中进行选择。

# default function
self.log(..., reduce_fx="mean")

对于其他reductions,我们建议记录一个torchmetrics.Metric 实例取代。

配置保存目录

默认情况下,任何记录的内容都保存到当前工作目录中。要使用不同的目录,请在Trainer中设置default_root_dir参数。文章来源地址https://www.toymoban.com/news/detail-632527.html

Trainer(default_root_dir="/your/custom/path")

到了这里,关于PyTorch Lightning教程七:可视化的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • pytorch对中间特征层可视化方案

    本文主要介绍如何使用pytorch获得已经训练好的网络的中间特征层,并将其转化为热力图的简单方法 效果图 1、在原本的test代码上进行修改 2、随便写一个钩子函数(具体了解可以搜索“pytorch中的钩子(Hook)有何作用?”) 3、然后注册一下钩子函数(在你需要保存的卷积层进行

    2024年02月13日
    浏览(64)
  • pytorch训练可视化包visdom的使用

    Visdom是一个基于Python的可视化工具包,可以用于PyTorch等深度学习框架中的实时数据可视化。它提供了一个Web界面,可以方便地创建图表、散点图和直方图等可视化元素。相比 tensorboard 、 rensorboardX 具有更轻量、更便捷、更丰富、更快速等特点。 visdom的github主页:https://githu

    2024年02月05日
    浏览(42)
  • Pytorch-day05-可视化-checkpoint

    1、模型结构可视化 2、训练过程可视化 3、模型评估可视化 常用来查看模型输入输出和模型参数大小 torchinfo #pip3 install torchinfo trochinfo的使用也是十分简单,我们只需要使用torchinfo.summary()就行了,必需的参数分别是model,input_size[batch_size,channel,h,w] 提供了模块信息(每一层的类

    2024年02月11日
    浏览(33)
  • pytorch中使用TensorBoard进行可视化Loss及特征图

    安装TensorBoard 导入TensorBoard 实例化TensorBoard 训练过程中的loss,accuracy等都是标量,都可以用TensorBoard中的add_scalar来显示,add_scalar方法中第一个参数表示表的名字,第二个参数表示的是你要存的值,第三个参数可以理解为x轴坐标。 终端输入tensorboard --logdir=logs,开启TensorBoard

    2023年04月12日
    浏览(59)
  • 【pytorch】Vision Transformer实现图像分类+可视化+训练数据保存

    Transformer的核心是 “自注意力” 机制。 论文地址:https://arxiv.org/pdf/2010.11929.pdf 自注意力(self-attention) 相比 卷积神经网络 和 循环神经网络 同时具有并行计算和最短的最大路径⻓度这两个优势。因此,使用自注意力来设计深度架构是很有吸引力的。对比之前仍然依赖循环神

    2023年04月08日
    浏览(45)
  • Pytorch深度学习实战3-8:详解数据可视化组件TensorBoard安装与使用

    在深度学习领域,网络内部如同黑箱,其中包含大量的连接参数,这给人工调试造成极大的困难。 Tensorboard 则是神经网络的可视化工具,可以记录训练过程的数字、图像、运行图等内容,方便研究人员对训练参数进行统计,观察神经网络训练过程并指导参数优化。 参考

    2023年04月09日
    浏览(43)
  • 【深度学习】pytorch 可视化类激活的热力图 Visualizing heatmaps of class activation

    “Visualizing heatmaps of class activation” 是指使用深度学习模型的中间层特征来可视化分类器对图像的响应区域,从而确定哪些区域对于特定类别的识别最为关键。 在深度学习中,卷积神经网络(CNN)已被广泛用于图像分类任务。CNN在其卷积层中学习特征并将其传递到后续层进行

    2024年02月12日
    浏览(40)
  • PyTorch Lightning教程五:Debug调试

    如果遇到了这样一个问题,当一次训练模型花了好几天,结果突然在验证或测试的时候崩掉了,这个时候其实是很奔溃的,主要还是由于没有提前知道哪些时候会出现什么问题,本节会引入Lightning的Debug方案 1.fast_dev_run参数 Trainer中的fast_dev_run参数通过你的训练器运行5批训练

    2024年02月14日
    浏览(44)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包