1. 选择合适的模型架构
模型的结构(层数和宽度),参数配置,尽量用已经有效的模型
2. 选择优化器
针对具体的问题,从选择常用的优化器开始,进行比较
3. 选择BatchSize
1). Batch Size决定训练速度,但是不影响验证集性能
2). 通常选择最大可支持的Bacth Size
3). 增加Batch Size减少训练时间,但是资源消耗不一定变化文章来源:https://www.toymoban.com/news/detail-606125.html
4). 任意Batch Size都可以得到相同的最终性能(当超参数调整好并训练步数足够)文章来源地址https://www.toymoban.com/news/detail-606125.html
4. 调整的参数
到了这里,关于深度学习调参指南的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!