Java教程

课程九学习笔记: 自监督ViT算法：BeiT和MAE

本文主要是介绍课程九学习笔记: 自监督ViT算法：BeiT和MAE，对大家解决编程问题具有一定的参考价值，需要的程序猿们随着小编来一起学习吧！

课程九学习笔记: 自监督ViT算法：BeiT和MAE

  • 1. SSL在NLP中的应用：
  • 2. Bert
  • 3. BeiT
  • 4. MAE：Masked Autoencoders Are Scalable Vision Learners
  • 5. 实践：Config配置和实验分开进行

自监督+ Transformer

1. SSL在NLP中的应用：

  1. Self-Supervised Learning (SSL)：通过自己“监督”自己的方式学习通用特征表达，用来作为下游任务的预训练或者backbone。（自监督学习SSL：假装看不到输入的某一部分 ，然后学习怎么去预测它！）
  2. Bidirectional Encoder Representations from Transformers ：(BERT)
    （1）Transformer的Encoder
    （2）Self-Supervised Learning ( SSL )
这篇关于课程九学习笔记: 自监督ViT算法：BeiT和MAE的文章就介绍到这儿，希望我们推荐的文章对大家有所帮助，也希望大家多多支持为之网！
您可能喜欢
栏目导航