Java教程

预训练模型一:ELMO

本文主要是介绍预训练模型一:ELMO,对大家解决编程问题具有一定的参考价值,需要的程序猿们随着小编来一起学习吧!

词向量-ELMo介绍

Deep contextualized word representations获得了NAACL 2018的outstanding paper award,其方法有很大的启发意义,本文则是对其做了一个简要梳理。

Motivation

  • 预训练的word representation在NLP任务中表现出了很好的性能,已经是很多NLP任务不可或缺的一部分,论文作者认为一个好的word representation需要能建模以下两部分信息:
    • 单词的特征,如语义,语法
    • 单词在不同语境下的变化,即一词多义
  • 之前很多工作的word representation是固定的,如word2vec/glove等word representation对于一个词,其向量是固定的,无法很好的处理一词多义的情况

Introduction

基于上述原因,论文作者提出了Deep contextualized word representation来解决这个问题,算法大致过程如下:

  • 在大规模语料中利用bidirectional LSTM模型训练语言模型(language model),ELMo(Embedding from language model)也由此得名
  • 为了应用到下游任务,利用下游任务的语料库(无需label)对预训练的语言模型进行微调,然后再利用下游任务有标注的数据进行supervised learning

简单来说,ELMo模型是从深层的双向语言模型(deep bidirectional language model)中的内部状态(internal state)学习而来的

相较于之前的工作,ELMo的特点有:

  • Embedding是“deep”的,这体现在ELMo是biLM(bi-Language model)内部所有层的综合,这样可以有充分的信息来建模word representation:
    • Higher-level LSTM states可以捕获上下文相关的语义信息,不用修改就可以用来做词义消歧
    • Lower-level LSTMstates 可以捕获语法相关的信息,可以用作词性标注任务
      ELMo综合了上述信息,而之前的工作只利用了top LSTM layer的信息
  • 其词向量是动态的,即根据当前上下文环境来产生当前词向量,而不是一个固定的外部词向量
    在这里插入图片描述

Bidirectional language model

语言模型的双向体现在对句子的建模:给定一个N个token的句子,\(\left(t_{1}, t_{2}, \ldots, t_{N}\right)\)

  • 前向语言模型:从历史信息预测下一个词,即从给定的历史信息\(\left(t_{1}, \ldots, t_{k-1}\right)\)建模下一个token \(t_k\)的概率

    \[p\left(t_{1}, t_{2}, \ldots, t_{N}\right)=\prod_{k=1}^{N} p\left(t_{k} | t_{1}, t_{2}, \ldots, t_{k-1}\right) \]

    对于一个L层的LSTM,设其输入是\(x_k^{LM}\)​ (token embedding),每一层都会输出一个context-dependent representation \(\overrightarrow {h}_{k, j}^{L M}\)​,LSTM的最后一层输出为\(\overrightarrow {h}_{k, L}^{L M}\)​,该输出会在Softmax layer被用来预测下一个token \(t_{k+1}\)

  • 后向语言模型:从未来信息预测上一个词,即从给定的未来\(\left(t_{k+1}, \ldots, t_{N}\right)\)建模上一个token \(t_k\)的概率

    \[p\left(t_{1}, t_{2}, \ldots, t_{N}\right)=\prod_{k=1}^{N} p\left(t_{k} | t_{k+1}, t_{k+2}, \ldots, t_{N}\right) \]

    同样地,对于一个L层的LSTM,设其输入是\(x_k^{LM}\)​ (token embedding),每一层都会输出一个context-dependent representation \(\overleftarrow {h}_{k, j}^{LM}\),LSTM的最后一层输出为\(\overleftarrow {h}_{k, L}^{L M}\),该输出会在Softmax layer被用来预测上一个token \(t_{k-1}\)

双向语言模型是前向、后向的一个综合,通过两个方向的对数极大似然估计来完成:

\[\begin{array}{l}{\sum_{k=1}^{N}\left(\log p\left(t_{k} | t_{1}, \ldots, t_{k-1} ; \Theta_{x}, \vec{\Theta}_{L S T M}, \Theta_{s}\right)\right.}\\{\left.\quad+\log p\left(t_{k} | t_{k+1}, \ldots, t_{N} ; \Theta_{x}, \overleftarrow \Theta_{L S T M}, \Theta_{s}\right)\right.} \end{array} \]

其中:

  • \(\Theta_{x}\)是token embedding
  • \(\Theta_{s}\)代表softmax layer的参数

biLM利用了biLSTM,biLSTM在前向和后向两个方向上共享了部分权重

ELMo

对于一个token,ELMo会计算2L+12L+1个representation(输入的一个token embedding和前向、后向的2L个representation):

\[\begin{aligned} \pmb R_k&=\{x_k,\overrightarrow{\mathbf{h}}_{k, j}^{L M} ; \overleftarrow{\mathbf{h}}_{k, j}^{L M} |j=1,2,...,L\} \\ &=\{h_{k,j}|j=0,1,...,L\} \end{aligned} \]

其中:

  • \(\mathbf{h}_{k, 0}^{L M}\)是token layer
  • \(\mathbf{h}_{k, j}^{L M}=\left[\overrightarrow{\mathbf{h}}_{k, j}^{L M} ; \overleftarrow{\mathbf{h}}_{k, j}^{L M}\right],\) 代表biLSTM layer

在下游任务中,ELMo将\(R\)的所有层压缩成一个向量\(\mathbf{E L M o k}=E\left(R_{k} ; \Theta_{e}\right)\)(在最简单的情况下,也可以只使用最后一层\(E\left(R_{k}\right)=\mathbf{h}_{k, L}^{L M}\):

\[\mathbf{E L M o}_{k}^{t a s k}=E\left(R_{k} ; \Theta^{t a s k}\right)=\gamma^{t a s k} \sum_{j=0}^{L} s_{j}^{t a s k} \mathbf{h}_{k, j}^{L M} \]

其中:

  • \(s_{task}\)是softmax正则化权重参数
  • \(\gamma^{\text {task}}\)是一个标量,可以让下游任务来放缩ELMo向量

从上述计算过程可以看出,ELMo是biLM多层输出的线性组合。

大致图解:
在这里插入图片描述
论文中结果:
在这里插入图片描述

在supervised NLP tasks中使用ELMo

给定一个\(N\)个token的句子,\(\left(t_{1}, t_{2}, \ldots, t_{N}\right)\),supervised NLP model处理的标准过程的输入是context-independent token词向量\(x_k\)(例如,One-Hot Encoding),加入ElMo有两种方式:

  1. 直接将ELMo词向量\(ELMo_k\)​和普通词向量\(x_k\)拼接得到\(\left[\mathbf{x}_{k} ; \mathbf{E L M o}_{k}^{t a s k}\right]\)作为model输入
  2. 将ELMo词向量\(ELMo_k\)和隐藏层输出\(h_k\)进行拼接得到\(\left[\mathbf{h}_{k} ; \mathbf{E} \mathbf{L} \mathbf{M} \mathbf{o}_{k}^{t a s k}\right]\)

Evaluation

  • Textual entailment:
    stanford natural language inference (SNLI)数据集上提升了1.4%。
  • Question answering:
    在stanford question answering dataset (SQuAD)数据集上提升了4.2%,将ELMo加入到之前的state-of-the-art的ensemble模型中,提升了10%。
  • Semantic role labeling:
    比之前的state-of-the-art模型提高了3.2%,将ELMo加入到之前的state-of-the-art的单模型中,提升了1.2%。
  • Coreference resolution:
    比之前的state-of-the-art模型提高了3.2%,将ELMo加入到之前的state-of-the-art的ensemble模型中,提升了1.6%。
  • Named entity extraction:
    在CoNLL 2003 NER task数据机上提高了2.06%
  • Sentiment analysis:
    比之前的state-of-the-art模型提高了3.3%,将ELMo加入到之前的state-of-the-art模型中,提升了1%。

如何在代码中使用ELMo

使用ELMo预训练模型

pip install allennlp

Reference

[1]Deep contextualized word representations
[2]李宏毅.深度学习

这篇关于预训练模型一:ELMO的文章就介绍到这儿,希望我们推荐的文章对大家有所帮助,也希望大家多多支持为之网!