【AIとの距離感】忘れ方を学ぶ｜LSTM

まず、前回の練習問題の答えから。

前回の問いはこちらでした。

RNNが文章を処理するときの特徴として正しいものはどれでしょう？
A. 文章全体を一度に見渡す
B. 前の情報を引き継ぎながら順番に読む
C. 重みを使わずに処理する
D. 画像と文章を同時に扱う

正解は B. 前の情報を引き継ぎながら順番に読む でした。

リレーのように情報を引き渡しながら進む構造でしたね。ただ、文章が長くなると最初の情報を忘れやすくなる、という弱点がありました。参加してくださったみなさん、ありがとうございました。

🧠 「忘れる」問題をどう解決したか

前回、RNNには「長い文章になるほど最初の情報が薄れる」という弱点があると書きました。

今回はその解決策として登場したLSTMの話です。

名前を最初に見たとき、「Long Short-Term Memory」の略だと知って、「長い・短い・記憶」が全部入っている名前だな、と少し混乱しました。

🔀 LSTMとは何か

LSTM（Long Short-Term Memory）は、長短期記憶と訳されます。つまり、長い文脈も短い文脈も、必要に応じて使い分けながら記憶できる仕組みです。

RNNの「前の情報を引き継ぐ」という発想はそのままに、「何を覚えて、何を忘れるか」を自分で判断できるようにした構造です。

🚪 ゲートという仕掛け

LSTMの核心は、ゲートという仕組みです。一言でいうと、情報を通すか通さないかを制御する「弁」のようなものです。

ゲートは主に3種類あります。

• 入力ゲート：新しい情報をどのくらい取り込むかを決める

• 忘却ゲート：古い情報をどのくらい捨てるかを決める

• 出力ゲート：次のステップに何を渡すかを決める

この3つが連携して、「今は覚えておくべき」「これはもう捨てていい」を判断しながら進みます。

「忘却ゲート」という名前が面白いと思いました。忘れる機能を意図的に設計している、というのが発想として新鮮で。

📖 具体的に何が変わったか

たとえば「鈴木さんは東京出身で、大学では経済を学び、今は大阪で働いている」という文章で、最後に「彼女の出身地は？」と聞かれたとする。

RNNは長い文章になると「東京出身」という情報を忘れやすかった。LSTMは忘却ゲートによって「出身地の情報は重要」と判断し、最後まで保持できるようになりました。

🤔 それでも限界はあった

LSTMはRNNの弱点をかなり改善しましたが、それでも「文章を順番に読む」という構造は変わっていません。

文章が非常に長くなったり、離れた位置にある単語の関係を捉えようとすると、まだ限界がありました。また、順番に処理するため、並列で計算しにくいという問題もあったそうです。

その先にどんな解決策が出てきたのかは、次の記事で追います。調べたら「Transformer」という名前が出てきました。また知らない名前です。

ま、いっか。

練習問題

LSTMに登場する「忘却ゲート」の役割として正しいものはどれでしょう？

A. 新しい情報を取り込む量を決める
B. 古い情報をどのくらい捨てるかを決める
C. 次のステップに渡す情報を選ぶ
D. 文章全体を一度に見渡す

正解は次回の冒頭で発表します。

あとがき

ここまで読んでくださり、ありがとうございます。

AIとの距離感というシリーズは、これからどんどん難しい要素が出てくると思います。
もっと深く知りたい人向けに、メンバーシップ限定として記事にしていこうかと悩み中です。

心の準備だけしておいてもらえると嬉しいです！

「フォロー」や「スキ」をしていただけると励みになります！
今後ともよろしくお願いします！