【pytorch】冻结网络参数训练
假设我们想finetune一个网络，仅仅去训练conv8, prelu8, conv9,prelu9, conv10。在Pytorch中，一般是设置该variable的require_grad为False。
1.设置变量的variable中requires_grad属性
注意此处可以在定义网络的时候直接将requires_grad置于false。这里自行百度。
在特殊场景可以用下面的方法：注意all_net这里我定义了两个网络module。
conv8_params = list(map(id, all_net[0].conv8.parameters()))
prelu8_params = list(map(id, all_net[0].prelu8.parameters()))
variable used in lambdaconv9_params = list(map(id, all_net[0].conv9.parameters()))
prelu9_params = list(map(id, all_net[0].prelu9.parameters()))
conv10_params = list(map(id, all_net[0].conv10.parameters()))
base_params = filter(lambda p: id(p) not in conv8_params+prelu8_params+conv9_params+prelu9_params+conv10_params,all_net.parameters())
for p in base_params:
p.requires_grad = False
2.设置优化器，过滤掉requires_grad=False的参数
optimizer = optim.Adam(filter(lambda p: p.requires_grad, all_net.parameters()), lr=config.learning_rate, betas=(config.beta1, config.beta2), eps=1e-8,  weight_decay=config.weight_decay)
3.打印变量 （此步仅仅为了调试所用）
for name, param in all_net.named_parameters():
quires_grad:
print("requires_grad: True ", name)
else:
print("requires_grad: False ", name)

版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。