首先搞清楚modules()是DFS策略遍历返回网络所有的类(即只返回param),
named_modules()则是DFS返回(name, param)
首先搞清楚parameters()是遍历返回所有的含有weight和bias等参数的(val, requires_grad)(weight和bias各一个(val, requires_grad)),
named_parameters()则是返回(name, (val, requires_grad))
前面二者都是迭代器类型,需要使用for语句进行访问,而state_dict()为字典类型(其为named_parameters()的字典),使用for name, param in xx.items()即可访问
首先根据name确定seq,然后根据isinstance确定param,示例代码如下:
for name, param in self.named_modules(): if 'cls' in name: if isinstance(param, nn.Linear): param.weight.data.normal_(0.0, 0.01) param.bias.data.normal_(0.0, 0.01) if isinstance(param, nn.BatchNorm1d): param.weight.data.normal_(1.0, 0.01) param.bias.data.fill_(0)