まずは、ふつうのメモ帳を想像しよう
AI が毎秒の気温や毎日の売上のような、時間といっしょに動く数字を見るとき、前に何が起きたかを覚えていたほうが有利です。
でも、何でもかんでも書きっぱなしにすると、メモ帳はすぐにごちゃごちゃになります。
LSTM は、そこをうまく整理するために、3人の門番を置いています。
LSTM は、必要な記憶だけを残すのが得意な AI です。だから、少し前の情報だけでなく、もっと前の流れも使いやすくなります。
3つの門番は何をしているの？
門番たちは、メモ帳のページを勝手に増やすのではなく、「何を残すか」を相談して決めます。
忘却ゲート
いらない記憶を消しゴムで消す門番です。昨日だけ役立った情報なら、ここでうすくしたり消したりします。
入力ゲート
新しい大事な情報を書き込む門番です。「今日は急に気温が上がった」のような変化を、ここでメモ帳に足します。
出力ゲート
今必要な情報だけをみんなに教える門番です。メモ帳の中身を全部出すのではなく、その場に合う答えを取り出します。
メモ帳の中では、何が起きているの？
LSTM のメモ帳は、前のページを少し残しながら、新しい出来事を重ね書きします。
そのイメージを、やさしい形の式で書くとこうなります。
$C_t = f_t \times C_{t-1} + i_t \times \tilde{C}_t$
「今の記憶 = 古い記憶 × 忘れる割合 + 新しい記憶」という意味です。
ここで大事なのは、ぜんぶをゼロから考え直していないことです。前の記憶を少し使い、新しい情報を少し足す。そのバランスを門番たちが決めています。
だから、長い流れにも強い
たとえば、テストの点数が毎週じわじわ上がっているとします。
1回だけ下がった日があっても、LSTM は「全体では伸びているかも」と考えやすいです。
それは、忘却ゲートが小さなノイズをうまく薄めて、入力ゲートが新しい大事な変化を足し、出力ゲートが今の判断に必要な部分だけを見せているからです。
門番つきメモ帳の見方を覚えよう
LSTM は、ただ記憶力がいい AI ではありません。
何を忘れて、何を覚えて、何を使うかを毎回ていねいに決める AI です。
この考え方がわかると、LSTM のコードを見たときにも、「ただの難しい数式」ではなく、「整理上手なメモ帳なんだな」と感じやすくなります。