Java教程

Transfer Learning

本文主要是介绍Transfer Learning,对大家解决编程问题具有一定的参考价值,需要的程序猿们随着小编来一起学习吧!

一. 19-nips-Transferable Normalization: Towards ImprovingTransferability of Deep Neural Networks
摘要
Pre-training的transferability在无监督的域适应情况下是很弱的。很少工作研究深度网络的内部结构对于可迁移性的影响。本文提出了Transferable Normalization来使得DNNs在跨域之间更具有可迁移性。
介绍
本文揭示BN是网络的可迁移性的限制。Batch Normalization对于平滑损失场景俩加快训练和提高模型性能至关重要,BN与域适应相匹配。但是,在cross-domain场景下,BN的设计对于DNN的可迁移性不是最优的。这时,跨域的均值和方差的暴力共享可能会扭曲特征分布,从而恶化网络的可迁移性。
方法
Domain specific mean and variance. 相较于传统的BN将source和target组合再进行归一化,TransNorm首先分别计算每一个通道的域特定均值和方差,然后在每一层对每个域的输入独立归一化(相较于AdaBN,考虑了source和target的统计信息)
Domain sharing gamma and beta.
在这里插入图片描述

这篇关于Transfer Learning的文章就介绍到这儿,希望我们推荐的文章对大家有所帮助,也希望大家多多支持为之网!