Java教程

文本分类算法之BiLSTM+Attention

本文主要是介绍文本分类算法之BiLSTM+Attention,对大家解决编程问题具有一定的参考价值,需要的程序猿们随着小编来一起学习吧!

目录
  • 概述
  • 模型架构

概述

Attention,注意力机制在提出之时就引起了众多关注,就像我们人类对某些重要信息更加看重一样,Attention可以对信息进行权重的分配,最后进行带权求和,因此Attention方法可解释性强,效果更好,。本文主要讲解论文Attention-Based Bidirectional Long Short-Term Memory Networks for Relation Classification中提出的BiLSTM+Attention模型,下面我们将详细的讲解这个模型。

模型架构

BiLSTM+Attention模型的网络架构如下图所示:
image

从图中可以看出,相对于以前的文本分类中的BiLSTM模型,BiLSTM+Attention模型的主要区别是在BiLSTM层之后,全连接softmax分类层之前接入了一个叫做Attention Layer的结构,

这篇关于文本分类算法之BiLSTM+Attention的文章就介绍到这儿,希望我们推荐的文章对大家有所帮助,也希望大家多多支持为之网!