NLP学习笔记五-simple RNN
我这个学习笔记，感兴趣的小伙伴，看的时候尽量从头开始看，这样更好理解，也更有收获。
simple RNN的单元结构图如下：
其中A就是我们需要学习的参数矩阵，
h
t
−
1
h_{t-1}
ht−1是我们上个单元得到的向量，
x
t
x_{t}
xt是当前单元输入的词向量，当前词向量
x
t
x_{t}
xt和h_{t-1}
拼接，之后和矩阵
A
相乘，在经过
t
a
n
h
的处理得到当前单元结构的输出
h
t
拼接，之后和矩阵A相乘，在经过tanh的处理得到当前单元结构的输出h_{t}
拼接，之后和矩阵A相乘，在经过tanh的处理得到当前单元结构的输出ht
那么下面我们讲完simple RNN，还需要将一些知识，simple RNN并不能直接得到什么，simple RNN其实也是相当于一个特征提取的模型，从词向量中提取最终相应的特征信息h，这就是simple RNN的作用，如果我们做的是预测或者分类任务，还需要加入一个全连接层对h进行处理。下面就是一个很典型的simple RNN的网络结构，当然在做simple RNN之前，我们也一定是做完了词向量表征的。文章来源：https://www.toymoban.com/news/detail-486419.html
文章来源地址https://www.toymoban.com/news/detail-486419.html
到了这里，关于NLP学习笔记五-simple RNN的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！
