C/C++教程

小记named_modules(),named_parameters(),state_dict();以及如何部分初始化网络

本文主要是介绍小记named_modules(),named_parameters(),state_dict();以及如何部分初始化网络,对大家解决编程问题具有一定的参考价值,需要的程序猿们随着小编来一起学习吧!
  • name_modules()

  首先搞清楚modules()是DFS策略遍历返回网络所有的类(即只返回param),

  named_modules()则是DFS返回(name, param)

 

  • named_parameters()

  首先搞清楚parameters()是遍历返回所有的含有weight和bias等参数的(val, requires_grad)(weight和bias各一个(val, requires_grad)),

  named_parameters()则是返回(name, (val, requires_grad))

 

  • state_dict()

  前面二者都是迭代器类型,需要使用for语句进行访问,而state_dict()为字典类型(其为named_parameters()的字典),使用for name, param in xx.items()即可访问

 

  • 部分初始化网络

  首先根据name确定seq,然后根据isinstance确定param,示例代码如下:

for name, param in self.named_modules():
    if 'cls' in name:
        if isinstance(param, nn.Linear):
            param.weight.data.normal_(0.0, 0.01)
            param.bias.data.normal_(0.0, 0.01)
            if isinstance(param, nn.BatchNorm1d):
                param.weight.data.normal_(1.0, 0.01)
                param.bias.data.fill_(0)

 

这篇关于小记named_modules(),named_parameters(),state_dict();以及如何部分初始化网络的文章就介绍到这儿,希望我们推荐的文章对大家有所帮助,也希望大家多多支持为之网!