深度学习——炼丹-Toy模板网

这篇具有很好参考价值的文章主要介绍了深度学习——炼丹。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

tensor操作相关

Tensor的view, reshape, resize, permute, transpose, contiguous操作

学习率调整策略

自定义学习率调整策略

简单版

  net = MyNet()
  optim=optim.Adam(net.parameters(),lr=0.05)   
  for  param_group in optim.param_groups:    
       param_group["lr"]= param_group["lr"]*0.5
       print(param_group["lr"])   #0.25

复杂版（分块设置学习率并调整）

  optim=optim.Adam([{"params":net.conv2.parameters()},
  					{"params":net.conv3.parameters(),"lr":0.004},
  					{"params":net.conv4.parameters(),"lr":0.003}],lr=0.05)
  for param_group in optim.param_groups:
      param_group["lr"]*=0.5
      print(param_group["lr"])
  '''
  输出：
  	0.025
    0.0015
  '''

使用官网提供的学习率调整策略

调用顺序

optimizer.zero_grad()
loss.backward()
optimizer.step()
scheduler.step()

https://www.cnblogs.com/ziwh666/p/12394406.html
https://blog.csdn.net/weiman1/article/details/125647517
https://blog.csdn.net/qq_42722197/article/details/129173510

权重保存、加载、权重冻结、权重初始化以及模型返回函数

权重保存

官方教程
官方教程2

权重加载（权重keys或者权重shape不一样时加载）

法一

missing_keys,unspected_keys= net.load_state_dict(checkpoint,strict=False)

法二
https://www.cnblogs.com/lyp1010/p/15224584.html
法三
单卡，多卡

权重初始化

https://zhuanlan.zhihu.com/p/75938932?utm_id=0
https://blog.csdn.net/qq_41166909/article/details/130017078

权重冻结

https://blog.csdn.net/m0_46412065/article/details/127461239
https://blog.csdn.net/qq_46276946/article/details/131668754

模型返回函数

https://blog.csdn.net/weixin_45464524/article/details/128696556

图像增强

transforms.ColorJitter
pyotrch教程 transforms.ColorJitter
李沐动手学深度学习图像增强
随机数种子的设置，非常重要
图像增强方法

性能评价指标和损失函数

图像分类性能评价指标
https://zhuanlan.zhihu.com/p/91511706
图像分割Dice、IoU和hf

反向传播（计算图和自动微分）和梯度下降（包含权重衰减和动量）

https://blog.csdn.net/qq_40691189/article/details/129433004
https://zhuanlan.zhihu.com/p/520065656
https://zhuanlan.zhihu.com/p/626602808
https://blog.csdn.net/qq_42589613/article/details/128608576
https://www.bilibili.com/video/BV14G4y1R7ni/?vd_source=4e158793050c12a2c18e590ddab400e7

多卡并行

https://zhuanlan.zhihu.com/p/649705522
模型保存问题

常用集成度很高的框架

detectron2 、mmdetection、mmsegmentation、transformers、diffusers、timm

训练过程可视化和模型可视化

tensorboard,visdom,wandb

模型权重文件转化及模型结构可视化

pth转成onnx
netron库可视化

norm layer

Batch Normalization、Layer Normalization、Instance Normalization、GroupNorm
Batch Normalization、Layer Normalization、Instance Normalization、GroupNorm
https://www.cnblogs.com/lxp-never/p/11566064.html

其他一些操作

torch.load()权重加载 map_location参数详解

torch.channels_last Pytorch CPU性能优化
torch.nn.utils.clip_grad_norm_ 梯度裁剪
torch.cuda.amp.GradScaler() 混合精度
最近邻插值，双线性插值，双三次插值

torch训练优化
性能优化
pycharm中各字母的含义

 model.to(memory_format=torch.channels_last)

pycharm远程连接服务器

参考文献

写得相当好，里面其他几篇也值得看
https://blog.csdn.net/weixin_45464524/article/details/128696556文章来源地址https://www.toymoban.com/news/detail-725778.html

到了这里，关于深度学习——炼丹的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！

深度学习——炼丹