论文地址：https://arxiv.org/pdf/2302.06675.pdf
代码地址：https://github.com/google/automl/tree/master/lion文章来源：https://www.toymoban.com/news/detail-494128.html
我们提出了一种将算法发现作为程序搜索的方法，并将其应用于发现用于深度神经网络训练的优化算法。我们利用高效的搜索技术来探索一个无限且稀疏的程序空间。为了弥补代理任务和目标任务之间的大泛化差距，我们还引入了程序选择和简化策略。我们的方法发现了一种简单而有效的优化算法，名为Lion (EvoLved Sign Momentum)。它比Adam更节省内存，因为它只追踪动量。与自适应优化器不同，它的更新通过符号操作计算得出的每个参数具有相同的大小。我们将Lion与广泛使用的优化器（如Adam和Adafactor）进行比较，在不同任务上训练各种模型。在图像分类中，Lion在ImageNet上将ViT的准确率提升了高达2％，并在JFT上节省了多达 文章来源地址https://www.toymoban.com/news/detail-494128.html
到了这里，关于改进YOLO系列 | YOLOv5/v7 引入谷歌 Lion 优化器的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！
![[YOLOv7/YOLOv5系列算法改进NO.33]引入GAMAttention注意力机制](https://imgs.yssmx.com/Uploads/2024/02/742094-1.png)
