PyTorch学习笔记:nn.Tanh——Tanh激活函数

这篇具有很好参考价值的文章主要介绍了PyTorch学习笔记:nn.Tanh——Tanh激活函数。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

PyTorch学习笔记:nn.Tanh——Tanh激活函数

torch.nn.Tanh()

功能:逐元素应用Tanh函数(双曲正切)对数据进行激活,将元素调整到区间(-1,1)内

函数方程:
Tanh ( x ) = tanh ( x ) = e x − e − x e x + e − x \text{Tanh}(x)=\text{tanh}(x)=\frac{e^x-e^{-x}}{e^x+e^{-x}} Tanh(x)=tanh(x)=ex+exexex

nn.tanh,PyTorch学习笔记,pytorch,学习,python

注意:

  • 输入可以是任意尺寸的数据,输出尺寸与输入尺寸相同
  • 该激活函数定义时无输入

代码案例

一般用法

import torch.nn as nn
import torch

Tanh = nn.Tanh()
x = torch.randn(10)
value = Tanh(x)
print(x)
print(value)

输出

# 输入
tensor([-0.7827, -0.3373,  0.2476, -0.5910, -1.2637,  1.0676,  1.1027, -0.8984,
        -0.0252, -0.1457])
# 数据经过Tanh激活函数之后
tensor([-0.6542, -0.3251,  0.2426, -0.5306, -0.8521,  0.7885,  0.8015, -0.7155,
        -0.0252, -0.1447])

注:绘图程序

import torch.nn as nn
import torch
import numpy as np
import matplotlib.pyplot as plt

Tanh = nn.Tanh()
x = torch.from_numpy(np.linspace(-5,5,100))
value = Tanh(x)
plt.plot(x, value)
plt.savefig('Tanh.jpg')

官方文档

nn.Tanh():https://pytorch.org/docs/stable/generated/torch.nn.Tanh.html#torch.nn.Tanh

初步完稿于:2022年2月16日文章来源地址https://www.toymoban.com/news/detail-796099.html

到了这里,关于PyTorch学习笔记:nn.Tanh——Tanh激活函数的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 【学习经验分享NO.16】超全代码-python画Sigmoid,ReLU,Tanh等十多种激活函数曲线及其梯度曲线(持续更新)

    激活函数是一种特殊的非线性函数,它能够在神经网络中使用,其作用是将输入信号转化成输出信号。它将神经元中的输入信号转换为一个有意义的输出,从而使得神经网络能够学习和识别复杂的模式。常用的激活函数有 Sigmoid、ReLU、Leaky ReLU 和 ELU 等。大论文理论部分需要介

    2023年04月08日
    浏览(43)
  • 激活函数、Sigmoid激活函数、tanh激活函数、ReLU激活函数、Leaky ReLU激活函数、Parametric ReLU激活函数详细介绍及其原理详解

    梯度下降算法、随机梯度下降算法、动量随机梯度下降算法、AdaGrad算法、RMSProp算法、Adam算法详细介绍及其原理详解 反向传播算法和计算图详细介绍及其原理详解 激活函数、Sigmoid激活函数、tanh激活函数、ReLU激活函数、Leaky ReLU激活函数、Parametric ReLU激活函数详细介绍及其原

    2024年01月19日
    浏览(29)
  • 【YOLOv7/YOLOv5系列算法改进NO.54】改进激活函数为ReLU、RReLU、Hardtanh、ReLU6、Sigmoid、Tanh、Mish、Hardswish、ELU、CELU等

    作为当前先进的深度学习目标检测算法YOLOv7,已经集合了大量的trick,但是还是有提高和改进的空间,针对具体应用场景下的检测难点,可以不同的改进方法。此后的系列文章,将重点对YOLOv7的如何改进进行详细的介绍,目的是为了给那些搞科研的同学需要创新点或者搞工程

    2023年04月22日
    浏览(28)
  • Pytorch常用的函数(二)pytorch中nn.Embedding原理及使用

    图像数据表达不需要特殊的编码,并且有天生的顺序性和关联性,近似的数字会被认为是近似的特征。 正如图像是由像素组成,语言是由词或字组成,可以把语言转换为词或字表示的集合。 然而,不同于像素的大小天生具有色彩信息,词的数值大小很难表征词的含义。最初

    2024年02月09日
    浏览(32)
  • PyTorch中的torch.nn.Linear函数解析

    torch.nn是包含了构筑神经网络结构基本元素的包,在这个包中,可以找到任意的神经网络层。这些神经网络层都是nn.Module这个大类的子类。torch.nn.Linear就是神经网络中的线性层,可以实现形如y=Xweight^T+b的加和功能。 nn.Linear():用于设置网络中的全连接层,需要注意的是全连接

    2024年02月16日
    浏览(30)
  • Pytorch基本使用—激活函数

    激活函数是神经网络中的一种数学函数 ,它被应用于神经元的输出,以决定神经元是否应该被激活并传递信号给下一层。 常见的激活函数包括Sigmoid函数、ReLU函数、Tanh函数等 。 激活函数是神经网络中的一种重要组件,它的作用是引入非线性特性,使得神经网络能够学习和表

    2024年02月15日
    浏览(30)
  • pytorch各种激活函数绘制

    2023年08月17日
    浏览(33)
  • Pytorch激活函数最全汇总

    为了更清晰地学习Pytorch中的激活函数,并对比它们之间的不同,这里对最新版本的Pytorch中的激活函数进行了汇总,主要介绍激活函数的公式、图像以及使用方法,具体细节可查看官方文档。 目录 1、ELU 2、Hardshrink 3、Hardsigmoid 4、Hardtanh 5、Hardswish 6、LeakyReLU 7、LogSigmoid 8、PR

    2024年02月16日
    浏览(30)
  • 深入浅出Pytorch函数——torch.nn.Module

    分类目录:《深入浅出Pytorch函数》总目录 Pytorch中所有网络的基类,我们的模型也应该继承这个类。 Modules 也可以包含其它 Modules ,允许使用树结构嵌入他们,我们还可以将子模块赋值给模型属性。 语法 方法 torch.nn.Module.apply 实例 通过上面方式赋值的 submodule 会被注册,当调

    2024年02月12日
    浏览(45)
  • 深入浅出Pytorch函数——torch.nn.Linear

    分类目录:《深入浅出Pytorch函数》总目录 对输入数据做线性变换 y = x A T + b y=xA^T+b y = x A T + b 语法 参数 in_features :[ int ] 每个输入样本的大小 out_features :[ int ] 每个输出样本的大小 bias :[ bool ] 若设置为 False ,则该层不会学习偏置项目,默认值为 True 变量形状 输入变量:

    2024年02月12日
    浏览(28)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包