剪枝基础与实战(2): L1和L2正则化及BatchNormalization讲解

9月前作者：@BangBang 分类：Toy博客阅读(39) 违法举报

这篇具有很好参考价值的文章主要介绍了剪枝基础与实战(2): L1和L2正则化及BatchNormalization讲解。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

1. CIFAR10 数据集

CIFAR10 是深度学习入门最先接触到的数据集之一，主要用于图像分类任务中，该数据集总共有10个类别。
剪枝基础与实战(2): L1和L2正则化及BatchNormalization讲解,模型轻量化,剪枝,算法,机器学习

图片数量：6w 张
图片宽高：32x32
图片类别：10
Trainset: 5w 张，5 个训练块
Testset: 1w 张，1 个测试块

Pytorch 集成了很多常见数据集的API，可以通过pytorch 来下载这些数据集，并做成模型需要的DataSet和Dataloader, 供模型训练使用。

1.1 数据集准备

制作Dataloader: utils.py 代码实现如下:文章来源地址https://www.toymoban.com/news/detail-673117.html

import torchvision.datasets as datasets
import torchvision.transforms as transforms

到了这里，关于剪枝基础与实战(2): L1和L2正则化及BatchNormalization讲解的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：如若内容造成侵权/违法违规/事实不符，请点击违法举报进行投诉反馈，一经查实，立即删除！

分享到：

领支付宝红包赞助服务器费用

Pytorch学习笔记（8）：正则化（L1、L2、Dropout）与归一化（BN、LN、IN、GN）

一、正则化之weight_decay（L2正则） 1.1 正则化及相关概念 1.2 正则化策略（L1、L2）（1）L1正则化（2）L2正则化 1.3 L2正则项——weight_decay 二、正则化之Dropout 2.1 Dropout概念 2.2 nn.Dropout 三、归一化之Batch Normalization（BN层） 3.1 Batch Normalization介绍 3.2 Pytorch的Batch Normalization 1d

2024年02月04日
浏览(42)
【2023团体程序设计天梯赛CCCC】GPLT2023，L1~L2部分（PTA，L1-089~L1-096，L2-045~L2-048）题解代码&复盘

概要 L1部分：L1-089~L1-096 L2部分：L2-045~L2-048 L3部分：L3-033~L3-036 L1-089 最好的文档 5 L1-090 什么是机器学习 5 L1-091 程序员买包子 10 L1-092 进化论 10 L1-093 猜帽子游戏 15 L1-094 剪切粘贴 15 L1-095 分寝室 20 L1-096 谁管谁叫爹 20 L2-045 堆宝塔 25 L2-046 天梯赛的赛场安排 L2-047 锦标赛 25 L2-048

2024年02月01日
浏览(48)
L1&L2，范数&损失

L2 范数 = 欧几里得范数（Euclidean norm） = 欧式长度(欧氏距离) = L2距离，对应 ||x|| 2 L2范数损失 = L2-norm损失 = 最小平方误差(least squares error， LSE) = 最小二乘误差。它是把目标值y与估计值f(x)的差值的平方和最小化。一般回归问题会用此损失，离群点对次损失影响较大。 L2损失

2024年02月06日
浏览(45)
剪枝基础与实战(5): 剪枝代码详解

对模型进行剪枝，我们只对有参数的层进行剪枝，我们基于BatchNorm2d对通道重要度 γ gamma γ 参数进行稀释训练。对BatchNorm2d及它的前后层也需要进行剪枝。主要针对有参数的层： Conv2d 、 BatchNorm2d 、 Linear 。但是我们不会对Pool2d 层进行剪枝，因为Pool2d只用来做下采样，没有可

2024年02月10日
浏览(31)
深入区块链层：L1 和 L2

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-AivxuuH0-1664858847219)(htTPS://tva1.sinaimg.cn/large/e6c9d24ely1h4r0auxvmxg20tr04ojug.gif)] L2解决方案是为了解决网络吞吐量问题而创建的。然而，关于它们的设计和未来发展的问题需要更多的关注，特别是在以太坊合并

2024年02月02日
浏览(46)
2023 PTA天梯赛补题（L1 & L2）

输入输出题输入输出题 k == n 和 k == m 分别输出，题目怎么说就怎么做判断一下c 等于a + b还是a*b或者都不是，分别按要求输出针对每一群玩游戏的宝宝，枚举判断一下就好了写的有点烦，基本就是一步一步模拟，思路在注释里写了枚举分配方案，代码中a代表女生寝室的数

2024年02月03日
浏览(41)
剪枝基础与实战(4):稀疏训练及剪枝效果展示

稀疏训练是通过在损失loss 中增加 BN 的 γ gamma γ 参数的L1 正则，从而让绝大多数通道对应的 γ gamma γ 值趋近与 0 , 从而使得模型达到稀疏化的效果:

2024年02月11日
浏览(35)
剪枝基础与实战(3): 模型剪枝和稀疏化训练流程

相关论文：Learning Efficient Convolutional Networks through Network Slimming (ICCV 2017) 考虑一个问题，深度学习模型里面的卷积层出来之后的特征有非常多，这里面会不会存在一些没有价值的特征及其相关的连接？又如何去判断一个特征及其连接是否有价值？先给出答案: 在 Batch Norm

2024年02月12日
浏览(65)
剪枝基础与实战(1): 概述

本文介绍基于L1正则化的剪枝原理，并以VGG网络进行实战说明。将从零详细介绍模型训练、稀疏化、剪枝、finetune 的全过程，提供详细的源码及说明，有助于对剪枝的熟练掌握，后续也会对yolov8进行剪枝的介绍。论文: Learning Efficient Convolutional Networks through Network Slimming 作者对

2024年02月12日
浏览(32)
Elasticsearch（实践一）相似度方法L1、L2 、cos

在文本使用三维向量的相似度时，对三种相似度的对比。当前基于已经搭建好的Elasticsearch、Kibana。 1、创建索引库创建成功： 2、放入数据返回结果类似如下 3、查看所有数据结果如下： 4、L1方法查询数据结果中，id1和id2得分相同，但在文本向量空间中他们不同。 5、使

2024年02月02日
浏览(43)