pytorch学习笔记(十)

这篇具有很好参考价值的文章主要介绍了pytorch学习笔记(十)。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

一、损失函数

举个例子

pytorch学习笔记(十),学习,笔记

比如说根据Loss提供的信息知道,解答题太弱了,需要多训练训练这个模块。

Loss作用:1.算实际输出和目标之间的差距

2.为我们更新输出提供一定的依据(反向传播)

看官方文档

每个输入输出相减取平均取绝对值再取平均

第一个损失函数:L1Loss

(差的绝对值取平均)

pytorch学习笔记(十),学习,笔记

pytorch学习笔记(十),学习,笔记

需要注意输入输出

pytorch学习笔记(十),学习,笔记

N=batch_size你有多少个数据

pytorch学习笔记(十),学习,笔记

pytorch学习笔记(十),学习,笔记

第一个损失函数:MSELoss

(平方差误差,平方取平均)

pytorch学习笔记(十),学习,笔记

pytorch学习笔记(十),学习,笔记pytorch学习笔记(十),学习,笔记pytorch学习笔记(十),学习,笔记pytorch学习笔记(十),学习,笔记

稳妥的写法是先引入nn,然后再找到MSEloss()这个方法,避免由于拼写出错而报错

二、交叉熵

 算交叉熵一般都要soft-max的,和是1

pytorch学习笔记(十),学习,笔记

这里的-x[class],只对目标分类计算,这里的目标分类class=1,因此-x[class]=-0.2

pytorch学习笔记(十),学习,笔记

如果预测输出为[0.8,0.9,0.8]这种的预测概率很高又很接近的就不行,分类器的效果就不是很好。

pytorch学习笔记(十),学习,笔记为了让这部分比较大,只有当output和Target完全命中的时候,这一项就比较大,就是会相匹配。

pytorch学习笔记(十),学习,笔记

Target的N是要求多少个batchsize,如实际的对哈士奇的分类,类别有三个,但是每次输入的图片只有一个也就是batchsize等于1。

另外,还需要注意:

pytorch学习笔记(十),学习,笔记

输入必须是没有处理过的对每一类的得分。

以代码为例:

pytorch学习笔记(十),学习,笔记pytorch学习笔记(十),学习,笔记

pytorch学习笔记(十),学习,笔记

三、反向传播

利用上一次的的网络来说明

1.计算实际输出和目标之间的差距

DataLoader这边就是一个数据的加载,加载的目标数据是dataset,输入的batch_size为64

pytorch学习笔记(十),学习,笔记

pytorch学习笔记(十),学习,笔记

pytorch学习笔记(十),学习,笔记

为了观察输出方便,将batch_size设置为1

图片输入进去有以下输出

pytorch学习笔记(十),学习,笔记

target

pytorch学习笔记(十),学习,笔记

分类问题可以用交叉熵误差

pytorch学习笔记(十),学习,笔记

神经网络输出和真实输出的一个差距

pytorch学习笔记(十),学习,笔记

2.为我们更新输出提供一定的依据(反向传播)

         每个卷积的卷积核就需要调优的参数,给每个卷积核参数设置了一个grad(梯度),每一个节点(待更新参数)都会求出一个对应梯度,优化过程中针对这个梯度进行优化,最终实现整体loss最优。

以梯度下降法进行说明,

pytorch学习笔记(十),学习,笔记

pytorch学习笔记(十),学习,笔记

pytorch学习笔记(十),学习,笔记

删除了反向传播之后,发现梯度不更新了

pytorch学习笔记(十),学习,笔记pytorch学习笔记(十),学习,笔记文章来源地址https://www.toymoban.com/news/detail-813414.html

到了这里,关于pytorch学习笔记(十)的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • Pytorch学习笔记-(xiaotudui)

    安装Ancona工具 安装python语言 安装pycharm工具 以上工作安装完成后,开始真正的pytorch安装之旅,别担心,很容易 1.打开Ancona Prompt创建一个pytorch新环境 后面步骤都是y同意安装 2.激活环境 同样在Ancona Prompt中继续输入如下指令 3.去pytorch官网找到下载pytorch指令,根据个人配置进行

    2024年02月05日
    浏览(31)
  • PyTorch学习笔记(二):PyTorch简介与基础知识

      👨‍💻 作者简介: 大数据专业硕士在读,CSDN人工智能领域博客专家,阿里云专家博主,专注大数据与人工智能知识分享, 公众号: GoAI的学习小屋,免费分享书籍、简历、导图等资料,更有交流群分享AI和大数据,加群方式公众号回复“加群”或➡️点击链接。 🎉 专栏

    2023年04月09日
    浏览(47)
  • pytorch学习笔记——timm库

    当使用ChatGPT帮我们工作的时候,确实很大一部分人就会失业,当然也有很大一部分人收益其中。我今天继续使用其帮我了解新的内容,也就是timm库。毫不夸张的说,Chat GPT比百分之80的博客讲的更清楚更好,仅次于源码。 当提到计算机视觉的深度学习框架时,PyTorch无疑是最

    2024年02月05日
    浏览(38)
  • 小土堆pytorch学习笔记001

    目录 1、Pytorch环境的配置与安装。 2、pytorch编辑器的选择 (1)pycharm (下载社区版) (2)jupyter (可以交互) 3、为什么torch.cuda.is_available()返回False 4、python学习中的两大法宝函数 (1)dir() 函数:打开、看见 (2)help()函数:说明书 5、Pycharm 及Jupyter的使用对比: (1)Pych

    2024年01月25日
    浏览(34)
  • PyTorch深度学习快速入门教程【小土堆】 学习笔记

    PyTorch深度学习快速入门教程(绝对通俗易懂!)【小土堆】 anaconda 卸载环境 :conda uninstall -n yyy --all anaconda 安装路径:D:anaconda3 创建环境: conda create -n pytorch python=3.9 切换环境 : conda activate pytorch 查看目前已经安装的工具包:pip list Q 安装pytorch? 进入pytorch首页 下拉,http

    2024年02月07日
    浏览(56)
  • 【AI】《动手学-深度学习-PyTorch版》笔记(三):PyTorch常用函数

    返回一维张量(一维数组),官网说明,常见的三种用法如下 tensor.shape:查看张量的形状 tensor.reshape:返回改变形状后的张量,原张量不变

    2024年02月15日
    浏览(50)
  • Pytorch深度学习笔记(五)反向传播算法

    目录 1.为什么要使用反向传播算法 2.二层神经网络 3.反向传播算法更新权值的过程 4.张量Tensor 推荐课程:04.反向传播_哔哩哔哩_bilibili 1.为什么要使用反向传播算法 简单模型可以使用解析式更新w 复杂模型,如图,输入矩阵为5*1矩阵,等一层权重矩阵H1为6*5矩阵,则需要30个解

    2023年04月22日
    浏览(37)
  • 【代码笔记】Pytorch学习 DataLoader模块详解

    dataloader主要有6个class构成(可见下图) _DatasetKind: _InfiniteConstantSampler: DataLoader: _BaseDataLoaderIter: _SingleProcessDataLoaderIter: _MultiProcessingDataLoaderIter: 我们首先看一下DataLoader的整体结构: init : _get_iterator: multiprocessing_context: multiprocessing_context: setattr : iter : _auto_collation: _ind

    2023年04月11日
    浏览(39)
  • 《动手学深度学习(PyTorch版)》笔记2

    让计算机实现微分功能, 有以下四种方式: - 手工计算出微分, 然后编码进代码 - 数值微分 (numerical differentiation) - 符号微分 (symbolic differentiation) - 自动微分(automatic differentiation) 深度学习框架通过 自动微分 来加快求导。 实际中,根据设计好的模型,系统会构建一个 计算

    2024年01月24日
    浏览(47)
  • 《动手学深度学习(PyTorch版)》笔记1

    data 每个数据集由一个个样本(example, sample)组成,大多时候,它们遵循独立同分布(independently and identically distributed, i.i.d.)。 样本有时也叫做数据点(data point)或数据实例(data instance),通常每个样本由一组称为特征(features,或协变量(covariates))的属性组成。 机器学习

    2024年01月24日
    浏览(51)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包