教程参考：
https://pytorch.org/tutorials/
https://github.com/TingsongYu/PyTorch_Tutorial
https://github.com/yunjey/pytorch-tutorial
详细的transform的使用样例可以参考：ILLUSTRATION OF TRANSFORMS
为什么要使用transforms
你得到的原始数据，可能并不是你期望的用于模型训练的数据的形式，比如数据中图像的大小不同、数据的格式不对。这时就需要你对数据进行统一的处理，torchvision.transforms就提供了一些帮助我们进行数据处理的简易手段。
在pytorch官方教程最开始，给了这样一个示例。
示例中使用自带的datasets：FashionMNIST，为了便于训练，对于原始数据和label分别使用了transform的方法。
对于数据本身，使用的方法是 ToTensor()，
对于标签，使用的方法是one-hot。
在后面的部分我们会详细介绍一下不同的transform方法。
import torch
from torchvision import datasets
from torchvision.transforms import ToTensor, Lambda
ds = datasets.FashionMNIST(
root="data",
train=True,
download=True,
transform=ToTensor(),
target_transform=Lambda(lambda y: torch.zeros(10, dtype=torch.float).scatter_(0, torch.tensor(y), value=1))
)
torchvision.transforms中提供了多个方法，并且这些方法可以使用Compose进行连接，并按顺序执行。其中的大部分transforms方法都可以接受PIL图像和tensor图像作为输入，当然也有一部分在输入上有限制。
transforms方法举例
我们使用opencv读入一张cifar10中的图片作为例子，并将其通道从BGR转为RGB通道。使用opencv读入的图片，为numpy.ndarray格式。下图是我们的例子，一个类别为airplane的图像。
ToTensor()
ToTensor()方法可以把一个PIL图像或者numpy.ndarray数据转成FloatTensor的形式，并且将图像规范化到0和1之间。
更细致地来说，它会把一共PIL图像，或者范围在[0,255]的大小为(HxWxC)的numpy.ndarray转成一个大小为(CxHxW)的范围在[0.0,1.0]的floattensor。ndarray数据的dtype必须是np.uint8。
使用ToTensor()方法对我们的img进行处理，可以看到它原本为uint8的ndarray，变成了float32的tensor，它的形状从(32, 32, 3)转为(3, 32, 32)，并且它的像素值的大小从51 到 255被转变为0.2到1.0。
我们也可以将图像读取为PIL Image的形式，并使用同样的方法处理。得到的结果是完全相同的。
Normalize()
Normalize()方法可以把一个tensor数据进行归一化/标准化处理。在使用时，需要你提供数据的均值和方差，Normalize()会对输入数据的每一个通道进行归一化处理。使用的方法是：
o
u
t
p
u
t
[
c
h
a
n
n
e
l
]
=
i
n
p
u
t
[
c
h
a
n
n
e
l
]
−
m
e
a
n
[
c
h
a
n
n
e
l
]
s
t
d
[
c
h
a
n
n
e
l
]
output[channel] = \frac{input[channel] - mean[channel]}{std[channel]}
output[channel]=std[channel]input[channel]−mean[channel]
要注意它的输入是tensor格式，所以一般把它放到ToTensor()后面使用。
使用之后数据的大小类型都没有发生变化，但是值的范围发生了变化。
Geometry
主要对图像的大小形状等进行调整，没有改变图像的颜色信息。
transforms.Resize()
torchvision.transforms.Resize(size, interpolation=InterpolationMode.BILINEAR, max_size=None, antialias='warn')
Resize()的输入可以是PIL图像也可以是tensor。给定一张图片，Resize()会对图像的长款进行缩放，把它变成我们期望的大小。
输入的size可以是一个整数也可以是一个序列[h,w]，如果是单个整数的话，则被认为是期望的短边的大小，长边会按比例缩放。
输入的interpolation是一个插值方法。
输入max_size定义了一个目标图像的长边大小的上限，如果超过上限，则会重新resize。
transforms.CenterCrop( size )
CenterCrop()的输入可以是PIL图像也可以是Tensor。给定一张图片，CenterCrop()会从图中心开始对图像进行裁剪，只保留我们期望的大小。假如输入的图像大小比我们期望的size小，则会在图像周围进行补0操作。
下图的第一张图为32x32大小的原图，第二张图为10x10的crop结果，第三张图为40x40的crop结果。
transforms.RandomCrop(size)
torchvision.transforms.RandomCrop(size, padding=None, pad_if_needed=False, fill=0, padding_mode='constant')
RandomCrop()的输入可以是PIL图像也可以是Tensor。给定一张图像，RandomCrop()会在随机位置对图像进行裁剪
输入的size可以是一个整数也可以是一个序列[h,w]，如果是单个整数的话，认为crop的图像的大小是[size,size]。
输入的padding可以是一个整数也可以是一个序列，如果是一个整数，会使用这个整数对所有的边进行padding。如果是一个长度为2的序列，则会分别用来扩充left/right和top/bottom。如果是一个长度为4的整数，则分别对应了每一个边。
输入的padding_mode有四个选项，分别是constant（常数填充）， edge（边缘填充），reflect（镜像填充），symmetric （对称填充）。
镜像填充在填充时以边界为镜面形成镜像。对称填充则是使用对称值。具体来说，对[1,2]在左右进行一个像素大小的填充，使用镜像填充得到的结果为[2,1,2,1]，使用对称填充得到的结果为[1,1,2,2]。
下图的第一张图为32x32大小的原图，第二张和第三张为10x10的crop结果，因为randomcrop，所以两个图的结果不一样。
transforms.RandomResizedCrop()
torchvision.transforms.RandomResizedCrop(size, scale=(0.08, 1.0), ratio=(0.75, 1.3333333333333333), interpolation=InterpolationMode.BILINEAR, antialias: Optional[Union[str, bool]] = 'warn')
RandomResizedCrop()的输入可以是PIL图像也可以是Tensor。给定一张图像，RandomResizedCrop()会在随机位置对图像进行随机大小的裁剪，并把它resize成期望的大小。
输入的size可以是一个整数也可以是一个序列[h,w]，如果是单个整数的话，认为crop的图像的大小是[size,size]。
输入的scale要求是一个tuple，定义了crop的区域大小的下限和上限，它使用的是一个基于原图大小的比例值。
输入的ratio要求是一个tuple，定义了crop区域的长宽比的下限和上限。
scale和ratio的区别是，scale代表了取长宽的基准，ratio是在这个基准上参考的长宽比。
输入的interpolation要求是一个插值方法，在RandomResizedCrop()中没有padding，因为随即裁剪得到的图像会使用插值方法resize到期望的大小。
下图的第一张图为32x32大小的原图，第二张和第三张为40x40的crop结。
transforms.FiveCrop(size)
FiveCrop()的输入可以是PIL图像也可以是Tensor，给定一张图像，获得图像四个角和中心的crop结果。
要注意，FiveCrop()返回的结果是五张图，而不是一张图。
对于一个大小为(b, c, h, w)的tensor的输入，它返回的结果为(b, ncrop, c, size_h, size_w)。
transforms.TenCrop(size, vertical_flip = False)
TenCrop()和FiveCrop()类型，只不过在其基础上增加了翻转。默认是使用水平翻转，如果vertical_clip设为True，就会使用垂直翻转。
RandomHorizontalFlip and RandomVerticalFlip
torchvision.transforms.RandomHorizontalFlip(p=0.5)
torchvision.transforms.RandomVerticalFlip(p=0.5)
两个函数的输入可以是PIL图像也可以是tensor。
输入P代表反转图像的概率，默认为0.5，即有50%的概率该图像会被翻转。
RandomRotation()
torchvision.transforms.RandomRotation(degrees, interpolation=InterpolationMode.NEAREST, expand=False, center=None, fill=0)
RandomRotation()的输入可以是PIL图像也可以是tensor。
输入degrees可以是一个整数或者一个序列。如果是整数则代表旋转的范围是 - degrees，+ degrees，如果是一组数则分别代表了最小值和最大值。
输入interpolation是一个插值方法。
输入expand代表是否要对图片进行扩展，经过旋转后图片的形状发生变化，如果expand = False，则会默认保持输出和输入图像大小一致。
输入center代表旋转中心，默认是图片中心。
输入fill代表填充图片边界外 区域所用的数值，默认是0。
第一行的是expand = False时随机旋转的结果，输出图像和输入图像保持一样的大小。第二行是expand = True时的结果，输出图像的大小发生了变化。
Color
主要对图像的颜色信息进行调整，没有改变图像的形状大小。
ColorJitter()
torchvision.transforms.ColorJitter(brightness: Union[float, Tuple[float, float]] = 0, contrast: Union[float, Tuple[float, float]] = 0, saturation: Union[float, Tuple[float, float]] = 0, hue: Union[float, Tuple[float, float]] = 0)
ColorJitter()的输入可以是PIL图像也可以是tensor。假如输入的是tensor，期望tensor的数据格式为[…, 1 or 3, H, W]。ColorJitter()可以随即调整图像的亮度，对比度，饱和度，色调等。
可以看到使用ColorJitter()后只有图像的颜色发生了变化，几何信息没有受到影响。
RandomGrayscale(p = 0.1)
RandomGrayscale()的输入可以是PIL图像是也可以是tensor，但是要求tensor的通道数是3。RandomGrayscale()有p的概率将一个图像转换为灰度图。
GaussianBlur(kernel_size, sigma=(0.1, 2.0))
GaussianBlur()的输入可以是PIL图像也可以是tensor。给定一张图像，它可以随机使用高斯模糊来把图像变得模糊。
输入kernel_size是一个整数或者序列，表示高斯核的大小。
输入sigma是代表标准差的上下界。
下图为kernel_size = 5时的结果。
RandomInvert(p=0.5)
RandomInvert()的输入可以是PIL图像也可以是tensor。给定一张图像，RandomInvert()有p的概率翻转图像的颜色。
Composition
主要是不同的transforms的组合方式。
Compose(transforms)
Compose()将多个transforms方法组合在一起，在使用时会按顺序进行。
如以下例子，首先将图片进行CenterCrop，然后转变为tensor格式，最后又将图像的dtype变为float。
>>> transforms.Compose([
>>> transforms.CenterCrop(10),
>>> transforms.PILToTensor(),
>>> transforms.ConvertImageDtype(torch.float),
>>> ])
Compose()方法可以用torch.nn.Sequential()替代。
RandomApply(transforms, p)
RandomApply()将多个transforms方法组合在一起，在使用时按照概率p决定是否执行，要么全都执行，全么全都不执行。
RandomChoice(transforms,p)
RandomChoice() 参考random.choices方法，从多个transforms方法中选择一个使用。
RandomOrder(transforms)
RandomOrder()将多个transforms方法而在一起，在使用时会按随机顺序进行。
Miscellaneous
RandomErasing()
torchvision.transforms.RandomErasing(p=0.5, scale=(0.02, 0.33), ratio=(0.3, 3.3), value=0, inplace=False)
RandomErasing()方法的输入必须是tensor，这个函数不支持PIL图像。给定一个图像，RandomErasing()方法会随机选择图像中的一块并擦除他的元素值。
输入p代表执行擦除操作的概率。
输入scale代表擦除区域占输入图像的范围。
输入ratio代表擦除区域的长宽比。
输入value代表擦除后用来替换的值。
输入inplace代表是否在原图像上进行操作。
因为输入必须是tensor，所以只能放在ToTensor()后面使用。
>>> transform = transforms.Compose([
>>> transforms.RandomHorizontalFlip(),
>>> transforms.PILToTensor(),
>>> transforms.ConvertImageDtype(torch.float),
>>> transforms.Normalize((0.485, 0.456, 0.406), (0.229, 0.224, 0.225)),
>>> transforms.RandomErasing(),
>>> ])
Lambda(lambda)
Lambda()就是在最开始的例子中，target_transform使用的方法。
该例子定义了一个one-hot编码的函数，对于输入的整数类型的图像类别，可以将其转为特殊的one-hot编码格式
target_transform=Lambda(lambda y: torch.zeros(10, dtype=torch.float).scatter_(0, torch.tensor(y), value=1))
Auto-Augmentation
pytorch 提供了一些policy供使用者选择，比如 IMAGENET, CIFAR10 and SVHN. 依靠这些policy，使用者可以直接套用前人的augmentation方法，而不需要自己编写代码。文章来源：https://www.toymoban.com/news/detail-480929.html
- AutoAugment(policy) 使用你给定的policy执行augmentation方法。
- RandAugment() https://arxiv.org/abs/1909.13719
- TrivialAugmentWide() https://arxiv.org/abs/2103.10158
- AugMix() https://arxiv.org/abs/1912.02781
之后有时间的话再介绍一下别的augmentation常用的包。文章来源地址https://www.toymoban.com/news/detail-480929.html
到了这里，关于第二章 数据处理篇：transforms的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！
![[第二章—Spring MVC的高级技术] 2.3 处理异常](https://imgs.yssmx.com/Uploads/2024/01/814769-1.png)
