目录
1 LSTM 的简图
2 LSTM 的整体结构
2.1 结构图
2.2 流程图
3 举个例子
3.1 简单看看
3.2 代入 LSTM
4 Original Network v.s. LSTM
5 细看 LSTM
原视频：李宏毅 2020：Recurrent Neural Network (Part I)
1 LSTM 的简图
LSTM 实际上就是一种特殊的神经元，只是长得比较复杂罢了。可以看出，它就是在 memory 的基础上加了三个门：输入门（Input Gate）、遗忘门（Forget Gate）和输出门（Output Gate），四者关系如下图所示：
LSTM 三个门的作用：
- 输入门（Input Gate）：控制 LSTM 是否接收当前的输入
- 遗忘门（Forget Gate）：控制 LSTM 是否丢掉 memory 中的内容
- 输出门（Output Gate）：控制 LSTM 是否允许对处理结果进行输出
三个门的开或闭均由信号（signal）控制，这些信号均来自网络的其他部分。
LSTM 的特点是：
- 四个输入，图中用红线表示，输入均来自网络的其他部分
- 一个输出，图中用绿线表示，输出也将送往网络的其他部分
如何理解 Long Short-term Memory 这个名称？它的意思就是 Long 的 Short-term 的 Memory，即虽然长但毕竟还是短期的记忆。在 RNN 中，一旦计算出当前时刻隐层的输出，那么 memory 中的内容会立马被冲掉或者说是被替换掉。而在 LSTM 中，有了输入门（Input Gate）和遗忘门（Forget Gate）的控制，memory 中的内容可能不变，也可能只变一部分。因此在一定程度上，LSTM 延长了对某些信息的记忆时间，所以是 Long 的。
2 LSTM 的整体结构
这一节来看 LSTM 具体长啥样。
2.1 结构图
下图就是把 LSTM 中的内容细化了，没有想象的那么复杂：
图中的黑色虚线指明了输入门（Input Gate）、遗忘门（Forget Gate）和输出门（Output Gate）其实就是激活函数的输出。这里的激活函数用的是 Sigmod，输出的值在 0 到 1 之间，用于表示开门的程度。
门不是想象中的要么开要么闭，而是可以半开半闭。
2.2 流程图
下图使用各种变量符号标注了 LSTM 的处理流程：
可以看出，LSTM 门控的方式就是 “乘法”（multiply）。乘的数字越接近于 1，输入、记住、或输出的越多；乘的数字越接近于 0，输入、记住、或输出的越少。
遗忘门（Forget Gate）是反着来的，越接近于 1 遗忘的越少，越接近于 0 遗忘的越多。
3 举个例子
李宏毅老师先是直接让我们感受各个门的作用，然后才是代入 LSTM 中进行说明。
3.1 简单看看
下图中，x_1、x_2 和 x_3 是一个输入向量的不同维度，并不是三个输入。这里没有让我们通过激活函数算各个门的值，而是用底部的三句话指明了处理规则：
三句话的含义：
- 若 x_2 = 1，则把 x_1 的值送入 memory 中与其内容相加
- 若 x_2 = -1，则把 memory 中的内容清空，即进行遗忘
- 若 x_3 = 1，则输出处理结果，否则不输出
根据这三条规则，我们便画出了上图。
3.2 代入 LSTM
假设这是我们训练好的 LSTM，黑色箭头上的数字表示这条线权重：
我们可以先来看看。对于左上角的那组权重，如果 x_3 较大，那么经 Sigmoid 处理的结果就会接近于 1，表示输出门（Output Gate）打开。反之，如果 x_3 较小，那么经 Sigmoid 处理的结果就会接近于 0，表示输出门（Output Gate）关闭。
由于画图过于痛苦，所以这里只演示一组处理过程：
为了简化例子，李宏毅老师还是假设除 Sigmoid 以外的激活函数均为线性函数，并且权重均为 1 。
4 Original Network v.s. LSTM
或许我们会认为 LSTM 这么复杂，看起来和 FFN 没有什么关系啊？事实上，LSTM 只是把 FFN 中的神经元替换为了 LSTM 单元罢了，并且 LSTM 单元也就是个特殊的神经元。
在 FFN 中，一个神经元只要求 x_1 和 x_2 输入一次。而在 LSTM 中，一个 LSTM 单元要求 x_1 和 x_2 输入四次：
同样地，x_1 和 x_2 是一个输入向量的不同维度，而不是两个输入。此外，图中相同颜色的连线，只表示 x_1 和 x_2 使用的是同一组权重，而不代表它们各自乘的权值相同。
5 细看 LSTM
t 时刻的输入 x_t 是一个输入向量，而不是一个维度。x_t 与不同的权值矩阵相乘后得到 z_f、z_i、z、z_o，z_f、z_i、z、z_o 也是一个向量而不是一个维度。最后分别把 z_f、z_i、z、z_o 的各个维度送入到各个 LSTM 单元的不同门处：
c_{t-1} 也是一个向量而不是一个维度，它是 t-1 时刻所有 memory 内容的集合。
有请神图 1 号登场：
通过这张图可以看出，从输入 x_t 到输出 y_t 都是用的矩阵运算。即每次处理的对象都是整个矩阵，而不是挨个输入 x_t 的每个维度，再挨个计算。
有请神图 2 号登场：
这张图完美诠释了 LSTM 是怎么将不同时刻的输入关联起来的。
图中的红色虚线是指，在高级的 LSTM 中，memory 的内容 c_t 和隐层输出 h_t 也会被拉来和 x_{t+1} 一起当输入。文章来源：https://www.toymoban.com/news/detail-807908.html
写完这篇再也不想画图了（bushi）文章来源地址https://www.toymoban.com/news/detail-807908.html
到了这里，关于RNN：Long Short-term Memory（中）的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！
![[论文阅读笔记20]MotionTrack: Learning Robust Short-term and Long-term Motions for Multi-Object Tracking](https://imgs.yssmx.com/Uploads/2024/02/597527-1.png)
