Java教程

BERT相关变体原理理解

本文主要是介绍BERT相关变体原理理解,对大家解决编程问题具有一定的参考价值,需要的程序猿们随着小编来一起学习吧!

具体顺序不是按照模型出现的顺序,而是按照我在组会上讲的顺序。会在每个模型的一开头列出参考的博客以及论文。

RoBERTa

论文:RoBERTa: A Robustly Optimized BERT Pretraining Approach

参考博客

https://wmathor.com/index.php/archives/1504/

概述

RoBERTa相较于BERT最大的三点改进:

  • 动态Masking
  • 取消NSP任务
  • 扩大Batch size

Dynamic Masking

静态masking:在数据预处理期间 Mask 矩阵就已生成好,每个样本只会进行一次随机 Mask,每个 Epoch 都是相同的

修改版静态masking:在预处理的时候将数据拷贝 10 份,每一份拷贝都采用不同的 Mask,也就说,同样的一句话有 10 种不同的 mask 方式,然后每份数据都训练 N/10 个 Epoch。

动态masking:每次向模型输入一个序列时,都会生成一种新的 Maks 方式。即不在预处理的时候进行 Mask,而是在向模型提供输入时动态生成 Mask。

取消NSP任务

RoBERTa 实验了 4 种方法:

  • SEGMENT-PAIR + NSP:输入包含两部分,每个部分是来自同一文档或者不同文档的 segment (segment 是连续的多个句子),这两个 segment 的 token 总数少于 512 。预训练包含 MLM 任务和 NSP 任务。这是原始 BERT 的做法
  • SENTENCE-PAIR + NSP:输入也是包含两部分,每个部分是来自同一个文档或者不同文档的单个句子,这两个句子的 token 总数少于 512 。由于这些输入明显少于 512 个 tokens,因此增加 batch size 的大小,以使 tokens 总数保持与 SEGMENT-PAIR + NSP 相似。预训练包含 MLM 任务和 NSP 任务
  • FULL-SENTENCES:输入只有一部分(而不是两部分),来自同一个文档或者不同文档的连续多个句子,token 总数不超过 512 。输入可能跨越文档边界,如果跨文档,则在上一个文档末尾添加标志文档边界的 token 。预训练不包含 NSP 任务
  • DOC-SENTENCES:输入只有一部分(而不是两部分),输入的构造类似于 FULL-SENTENCES,只是不需要跨越文档边界,其输入来自同一个文档的连续句子,token 总数不超过 512 。在文档末尾附近采样的输入可以短于 512 个 tokens, 因此在这些情况下动态增加 batch size 大小以达到与 FULL-SENTENCES 相同的 tokens 总数。预训练不包含 NSP 任务

扩大batch size

采用大的 Batch Size 有助于提高性能

 

ALBERT

论文:ALBERT: A Lite BERT for Self-supervised Learning of Language Representations(ICLR,2020)

参考博客

https://wmathor.com/index.php/archives/1480/

概述

基于Bert做出的提高:

  • 减少模型参数,加快训练速度
  • 增加对语言连贯性的训练

主要的改进:

  • Embedding层矩阵分解
  • 跨层参数共享
  • 将NSP任务换成了SOP(Sentence Order Prediction)任务

Embedding层矩阵分解

 

 

BERT:E=H,矩阵V*H(30000*768=23,000,000)

ALBERT:V*E+E*H(30000*256+256*768=7,800,000)

跨层参数共享

 

 

之前有工作试过单独将 self-attention 或者全连接层进行共享,都取得了一些效果。ALBERT 作者尝试将所有层的参数进行共享,相当于只学习第一层的参数,并在剩下的所有层中重用该层的参数,而不是每个层都学习不同的参数

效果:提升模型稳定性(模型稳定性是通过L2范数来衡量的,详见论文)

SOP任务

NSP:A与B是否是一个句子(主体预测+连贯性预测)

SOP:着力于连贯性预测

关键思想:

  • 从同一个文档中取两个连续的句子作为一个正样本
  • 交换这两个句子的顺序,并使用它作为一个负样本

 

 

其他措施:增加输入&去除dropout

以上 ALBERT 都是使用跟 BERT 相同的训练数据。但是增加训练数据或许可以提升模型的表现,于是 ALBERT 加上 STORIES Dataset 后总共训练了 157G 的数据。另外,训练到 1M 步的时候,模型还没有对训练集 Overfit,所以作者直接把 Dropout 移除,最终在 MLM 验证集上的效果得到了大幅提升

 

ELECTRA

论文:ELECTRA: Pre-training Text Encoders as Discriminators Rather Than Generator

ELECTRA的缩写来源:

ELECTRA:Efficiently Learning an Encoder that Classifies Token Replacements Accurately

 

 

与BERT相比所做的改变:

  • 替换MLM为RSD任务
  • 权重共享
  • smaller Generator

ELECTRA的特点:小模型表现优良,节省计算量

RSD(Replaced Token detection)

模型由两个部分组成,generator、discriminator。

generator负责随机MASK一部分输入,然后将输入中的MASK填上。

discriminator负责检测哪些是generator替换的,哪些是原本的。

动机:MLM只替换15%的token

类似于GAN的结构,但是不同。

  • 如果generator产生的token和original token一样,discriminator认为这个token是real的
  • generator按照最大似然训练,和discriminator没有交互,discriminator的梯度不会反向传播到generator
  • generator的输入是真实文本,而不是随机噪声
  • Fine-tune阶段只使用discriminator的部分

权重共享(weight sharing)

generator的embedding和discriminator共享

smaller generator

generator的size只是discriminator的1/4到1/2

如果 BERT 效果太好,直接就输出了和原来一摸一样的单词,这也不是我们期望的。

WWM(whole word masking)

 

 随机地 mask 掉某个 token 效果是否真的好呢?对于中文来说,词是由多个字组成的,一个字就是一个 token。如果我们随机 mask 掉某个 token,模型可能不需要学到很多语义依赖,就可以很容易地通过前面的字或后面的字来预测这个 token。为此我们需要把难度提升一点,盖住的不是某个 token,而是某个词(span),模型需要学到更多语义去把遮住的 span 预测出来,这便是 BERT-wwm。同理,我们可以把词的 span 再延长一些,拓展成短语级别、实体级别(ERNIE)

MacBert

论文:Revisiting Pre-trained Models for Chinese Natural Language Processing

相较于BERT做出的改进:

  • WWM & N-gram Masking,从单字符到4字符的掩蔽百分比为40%、30%、20%、10%
  • 去除[MASK],采取同义词替换,使用Synonyms库,Masking的比例为15%,80%同义词替换,10%随机替换,10%保持
  • SOP任务,同Albert一样。

 

 

 

 

 

 

这篇关于BERT相关变体原理理解的文章就介绍到这儿,希望我们推荐的文章对大家有所帮助,也希望大家多多支持为之网!