深度学习因其计算复杂度或参数冗余,在一些场景和设备上限制了相应的模型部署,需要借助
模型压缩
、系统优化加速等方法突破瓶颈,本文主要介绍模型压缩的各种方法,希望对大家有帮助。
1,模型压缩技术概述
我们知道,一定程度上,网络越深,参数越多,模型也会越复杂,但其最终效果也越好
,而模型压缩算法是旨在将一个庞大而复杂
的大模型转化为一个精简的小模型
。
之所以必须做模型压缩,是因为嵌入式
设备的算力和内存有限
,经过压缩后的模型方才能部署到嵌入式设备上。
模型压缩问题的定义可以从 3 角度出发:
文章来源:https://www.toymoban.com/news/detail-498791.html
1.1 模型压缩方法分类
按照压缩过程对网络结构的破坏程度,《解析卷积神经网络》一书中将模型压缩技术分为“前端压缩”和“后端压缩”两部分:文章来源地址https://www.toymoban.com/news/detail-498791.html
-
前端压缩
,是指在不改变原网络结构
的压缩技术,主要包括知识蒸馏
、轻量级网络
(紧凑的模型结构设计)以及滤波器(filter)层面的剪枝(结构化剪枝
)等; -
后端压缩
,是指包括低秩近似
、未加限制的剪枝(非结构化剪枝
到了这里,关于深度学习模型压缩方法综述的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!