双向长短期记忆网络（Bi-LSTM）

关注

VIP免费原创最新推荐文章于 2025-08-17 16:52:52 发布 5w 阅读 AI 写同款· GEO 优化 ›

BiLSTM原理、优化及代码实现(时序预测/分类/回归拟合，Matlab) 同样，BiLSTM也存在一定可进行优化选择的超参数，若采取经验法或试错法，则有不能获取最优取值组合、时间成本高等问题。优化算法通过对超参数组合的随机生成与更新，能够更快速地获取优解，不失为一种应用方法。前面的文章中KAU已经介绍过很多种优化算法及其改进策略，本文中我也会应用这些算法优化BiLSTM，下面简单罗列一些优化算法方便一些朋友查看相应原理。阅读详情

在开始之前，首先区分下均命名为RNN，新手很容易混淆的两大神经网络：循环神经网络（Recurrent Neural Network，RNN）和递归神经网络（Recurssion Neural Network，RNN）。
递归神经网络（RNN）是空间上的展开，处理的是树状结构的信息，模型结构如下：
在这里插入图片描述

循环神经网络（RNN）是时间上的展开，擅长处理以时间序列数据作为输入的预测问题, 其原因在于 RNN 的网络结构可以处理时间序列数据之间的相关性。模型结构如图所示，包括输入层 x、隐藏层 h、输出层 o，在隐藏层 h 上有一个循环操作，同时 RNN 在所有时刻的线性关系参数 U、 W、 V 都是共享的, 极大地减少了参数训练量.。图 (b) 为 RNN 展开结构图, 可以看到 RNN 通过权值 W 实现隐藏层之间的依赖关系。
在这里插入图片描述

1、长短期记忆神经网络LSTM

长短期神经网络（long short term memory，LSTM）是循环神经网络（RNN）的一种。实际应用中发现RNN 存在诸如梯度消失、梯度爆炸以及长距离依赖信息能力差等问题，因此引入了 LSTM。LSTM 在主体结构上与 RNN 类似，其主要的改进是在隐藏层 h 中增加了3 个门控 (gates) 结构，分别是遗忘门 (forget gate)、输入门 (input gate)、输出门 (output gate)，同时新增了一个隐藏状态 (cell state) 。LSTM 隐藏层结构原理如下图所示，f(t)、i(t)、 o(t) 分别表示 t 时刻遗忘门、输入门、输出门的值，a(t) 表示 t 时刻对 h(t–1) 和 x(t) 的初步特征提取。<