【人工智能概论】 optimizer.param_groups简介
一. optimizer.param_groups究竟是什么
-
optimizer.param_groups： 是一个list，其中的元素为字典； -
optimizer.param_groups[0]：是一个字典，一般包括[‘params’, ‘lr’, ‘betas’, ‘eps’, ‘weight_decay’, ‘amsgrad’, ‘maximize’]等参数（不同的优化器包含的可能略有不同，而且还可以额外人为添加键值对）； - 举例展示：
optimizer = torch.optim.SGD(model.parameters(), lr=0.1)
optimizer1 = torch.optim.Adam(model.parameters(), lr=0.1)
print(optimizer.param_groups[0].keys())
# dict_keys(['params', 'lr', 'momentum', 'dampening', 'weight_decay', 'nesterov', 'maximize', 'foreach', 'differentiable'])
print(optimizer1.param_groups[0].keys())
# dict_keys(['params', 'lr', 'betas', 'eps', 'weight_decay', 'amsgrad', 'maximize', 'foreach', 'capturable', 'differentiable', 'fused'])
- 不同键有不同的含义，还是要具体分析为好。
- 通过修改其中的值，可以实现对优化器更为灵活的控制，优化器的其他参数就好比默认服务，而它所控制的就好比私人订制，且具有更高的优先级。
二. 实际应用——给不同层匹配不同的学习率
- 构建案例模型：
import torch
class Resnet(torch.nn.Module):
def __init__(self):
super(Resnet, self).__init__()
self.block1 = torch.nn.Sequential(
torch.nn.Conv2d(1, 10, 5),
torch.nn.MaxPool2d(2),
torch.nn.ReLU(True),
torch.nn.BatchNorm2d(10),
)
self.block2 = torch.nn.Sequential(
torch.nn.Conv2d(10, 20, 5),
torch.nn.MaxPool2d(2),
torch.nn.ReLU(True),
torch.nn.BatchNorm2d(20),
)
self.fc = torch.nn.Sequential(
torch.nn.Flatten(),
torch.nn.Linear(320, 10)
)
def forward(self, x):
x = self.block1(x)
x = self.block2(x)
x = self.fc(x)
return x
model = Resnet()
- 正常的设置优化器方式：
optimizer = torch.optim.SGD(model.parameters(), lr=0.1, momentum=0.5)
- 对网络不同模块设置不同的学习率：
params = [
{"params":model.block1.parameters()}, # 其采用默认的学习率
{"params":model.block2.parameters(),"lr":0.08},
]
optimizer = torch.optim.SGD(params, lr=0.1,) # 此处的lr是默认的学习率
# optimizer.param_groups[1]在这对应的就是{"params":model.block2.parameters(),"lr":0.08}
- 动态调整学习率：
start_lr = [0.1, 0.08, 0.09] # 不同层的初始学习率
def adjust_learning_rate(optimizer, epoch, start_lr):
for index, param_group in enumerate(optimizer.param_groups):
lr = start_lr[index] * (0.9 ** (epoch // 1)) # 每1个eporch学习率改变为上一个eporch的 0.9倍
param_group['lr'] = lr
三. 用add_param_group方法给param_group添加内容：
optimizer.add_param_group({"params":model.fc.parameters(),"lr":0.09})
文章来源地址https://www.toymoban.com/news/detail-498740.html
文章来源：https://www.toymoban.com/news/detail-498740.html
到了这里，关于【人工智能概论】 optimizer.param_groups简介的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！
