AIの基礎
ディープラーニングにおけるRNNとLSTMとは何か？
Unite.AI を Google の優先ソースに追加
Recurrent neural networks (RNNs) は、時間経過に伴い隠れ状態を更新することでシーケンスを処理します。 Long short-term memory (LSTM) は、基本的なリカレントユニットよりも情報をより効果的に保持・制御するよう設計されたゲート付きRNNです。
RNN と LSTM はかつて多くの言語タスクを支配していましたが、現在の大規模チャットボットは主にトランスフォーマーに基づいています。リカレントモデルは、インクリメンタルな状態と低レイテンシが重要なストリーミング、時系列、音声、制御、リソース制約のあるシステムで依然として有用です。
主なポイント
- RNN はシーケンスの各ステップで同じパラメータを再利用し、隠れ状態を次へ伝搬させます。
- 時間を通した学習は、勾配の消失または爆発を引き起こす可能性があります。
- LSTM はセル状態と入力ゲート、忘却ゲート、出力ゲートを追加します。
- トランスフォーマーは長距離関係と並列学習を異なる方法で処理します。どちらのアーキテクチャもすべての導入に最適というわけではありません。
基本的なRNNの動作原理
ステップ t では、シンプルなリカレントユニットが現在の入力 xₜ と前の隠れ状態 hₜ₋₁ を組み合わせます：
hₜ = activation(Wₓxₜ + Wₕhₜ₋₁ + b)
隠れ状態は次のステップで使用される学習された要約であり、タスクに応じて出力にもなります。「アンロール」された図は時間ステップごとに1つのコピーを描きますが、すべてのコピーはパラメータを共有します。出力は単に新しい生入力としてコピーされるわけではなく、リカレントは隠れ状態を定義された変換を通して伝搬させます。
時間にわたる逆伝播
RNN は時間にわたる逆伝播（逆伝播、BPTT）で学習されます。アンロールされたシーケンスは深い計算グラフを形成し、逆伝播は損失が共有リカレントパラメータにどのように依存するかを計算します。
繰り返しの乗算により勾配がゼロに近づく（消失）か、無限に増大する（爆発）ことがあります。勾配消失は長期依存の学習を妨げ、勾配爆発は不安定な更新を引き起こします。勾配クリッピングは勾配爆発に対処し、ゲート機構、初期化、正規化、短い訓練ウィンドウなどが改善に寄与します。
LSTMセルの内部
LSTM は隠れ状態 hₜ に加えてセル状態 cₜ を保持します。そのゲートは学習されたデータ依存の制御です：
- 忘却ゲートは前のセル状態をどれだけ保持するかを制御します。
- 入力ゲートは候補情報を書き込む量を制御します。
- 出力ゲートはセル情報が隠れ状態にどれだけ寄与するかを制御します。
シグモイドは0から1の出力でソフトゲートとして機能し、tanh で変換された候補が新しい内容を提供します。加算的なセル状態パスは勾配の持続を助けますが、LSTM が無制限の記憶を保証したり、すべての最適化問題を排除したりするわけではありません。
GRU と双方向リカレント
ゲート付きリカレントユニット（GRU）は、LSTM 型のセル状態を持たないシンプルなリカレントセルにゲート機構を統合します。GRU は学習が速く、いくつかのタスクで同等の性能を示します。
双方向 RNN は完了したシーケンスを両方向に処理し、状態を結合します。将来の文脈をタグ付けやエンコーディングに利用できますが、将来の入力がまだ得られない因果的ストリーミングには不適切です。
シーケンス‑ツー‑シーケンスモデル
エンコーダ‑デコーダ RNN はあるシーケンスを別のシーケンスへマッピングします。注意機構は、デコーダが単一の固定ベクトルに依存する代わりに、異なるエンコーダ状態を参照できるように導入されました。この研究はトランスフォーマーアーキテクチャにつながり、リカレントを注意ベースのブロックに置き換えました。
RNN とトランスフォーマーの比較
トランスフォーマーは訓練時に位置を並列に処理し、遠く離れたトークン間に短い注意経路を作ります。RNN は状態を順次処理するため並列性は制限されますが、ストリーミング中は一定サイズのリカレント状態を提供します。トランスフォーマーの推論ではキー‑バリューキャッシュが増大することがありますが、RNN は履歴を隠れ状態に圧縮するため、詳細が失われる可能性があります。
シーケンス長、データ規模、ハードウェア、レイテンシ、メモリ、タスクがオフラインかストリーミングかに基づいて選択してください。ハイブリッドや状態空間アーキテクチャは追加のトレードオフを提供します。
現在のユースケース
RNN と LSTM は予測、異常検知、センサ処理、音声コンポーネント、手書き、組み込み制御、低レイテンシのシーケンスモデリングに依然として有用です。現在の大規模言語モデルや AI チャットボットのデフォルト説明ではありません。
リカレント、ゲート、シーケンスメモリ
リカレントニューラルネットワークは、現在の入力と前ステップから受け継がれた隠れ状態を組み合わせてシーケンスを処理します。重みを共有することで可変長シーケンスが可能となり、アンロールにより時間方向の計算が訓練時に明らかになります。基本的な RNN は時間的依存性を表現できますが、長いシーケンスで勾配が繰り返し乗算されると消失または爆発しがちです。トランケートされた逆伝播はメモリと計算を制限し、勾配クリッピングは極端な更新を抑制します。隠れ状態は学習された要約であり、過去のすべてのトークンを忠実に保存するものではありません。
LSTM ネットワークは、セル状態と入力、忘却、出力ゲートを追加し、情報の書き込み、保持、露出を制御します。ゲート付きリカレントユニット（GRU）はよりシンプルなリセット・更新構造を使用します。双方向バリアントは将来の文脈を利用するため、遅延なしに因果的にストリーミングすることはできません。スタック、残差、注意拡張リカレントモデルは容量を増やします。パディングとマスクは人工的なシーケンス要素が状態や損失に影響しないようにし、状態はサンプル間の漏れを防ぐために真のシーケンス境界でリセットすべきです。
訓練、比較、ステートフルサービング
RNN と LSTM は、ストリーミング、コンパクトなオンデバイスモデル、時系列、シーケンシャルな状態が効率的なワークロードで依然として有用です。トランスフォーマーは訓練と長距離相互作用を別の方法で並列化しますが、より大きなメモリとキャッシュを必要とすることがあります。シーケンス長の変化に伴う精度、レイテンシ、スループット、メモリ、電力、パフォーマンスでアーキテクチャを比較してください。予測はローリングタイムスプリットで、言語はシーケンス指向指標で、異常検知はイベントレベルの測定で評価します。長いギャップ、レジーム変化、欠損サンプル、急激なシーケンス境界後の失敗を検査します。
ステートフルなデプロイでは、隠れ状態を正しいセッションに紐付け、期限切れにし、機密であれば暗号化し、エラーやモデル変更後にリセットする必要があります。順序が前後したり重複したイベントは状態を破壊する可能性があるため、タイムスタンプ、シーケンス番号、冪等性を含めます。状態の年齢、シーケンス長、欠損、出力ドリフト、レイテンシを監視します。量子化はゲートに敏感な検証が必要です。小さな数値変化が時間とともに蓄積するためです。RNN のメモリはコンテキストを可能にしますが、プライベートや古い情報を保持するリスクもあるため、保持期間やユーザーコントロールを設計に組み込む必要があります。
実例：ストリーミングセンサシーケンス用 LSTM
あるユーティリティは、最近の測定値、カレンダー、天気情報から短期負荷を予測するために LSTM を使用します。シーケンスは厳密な時間順に構築され、フィーダ境界で隠れ状態がリセットされ、パディングはマスクされます。季節的ナイーブベースラインと勾配ブーストベースラインをローリングウィンドウで LSTM と比較します。テストは欠損区間、遅延天気、祝日、停電、典型的な訓練を超えるシーケンス長をカバーします。
ストリーミングサービスは状態を1つのフィーダに紐付け、順序が前後した重複を拒否し、長いギャップやモデル更新後に状態を期限切れにします。センサや状態が無効な場合、安全な統計予測が出力を置き換えます。量子化推論は長シーケンスで蓄積ドリフトをチェックします。モニタリングは状態の年齢、欠損、レイテンシ、バイアス、区間誤差を追跡します。モデルはグリッド変更後にのみ再訓練され、レビュー結果は学習された時間的関係がもはや汎化しないことを示しています。
実装の証拠と運用準備
本番導入の判断には、成功したデモだけでなく、さらに多くが必要です。対象ユーザー、運用環境、入力・出力、依存関係、所有者、重要な障害ごとの影響を定義します。チューニング前に再現可能なベースラインとバージョン管理された評価セットを確立します。通常ケース、境界条件、形式が不正または欠損した入力、分布シフト、依存障害、誤用、そして支援が不足しやすいグループや環境をテストします。タスク品質をキャリブレーションや不確実性、レイテンシ、スループット、リソースコスト、アクセシビリティ、プライバシー、セキュリティと共に測定します。すべての変換と閾値を記録し、独立したレビューアが結果を再現でき、魅力的なプロトタイプと証拠を区別できるようにします。
リリース前に、リリース、例外、変更、ロールバック、廃止の権限を割り当てます。段階的ロールアウトを使用し、安全なフォールバックを保持し、意図的に注入した障害でモニタリングを検証します。運用テレメトリは、入力品質、出力挙動、モデルまたはルールのバージョン、依存の健全性、人間のオーバーライド、確認された結果を示すべきで、不要な機密データは収集しません。アラート閾値と対応責任者を定義し、オフライン性能が持続すると仮定せず、デプロイ後に実世界の証拠をレビューします。データソース、ユーザー、モデル、ベンダー、ポリシー、ハードウェア、目的が変わるたびに再評価します。維持されたシステムは、文書化された復旧、インシデント学習、削除・保持手順、そして無効化または置換すべき明確なタイミングも必要です。
よくある質問
LSTM は常に基本的な RNN より優れていますか？
いいえ。ゲート機構は長期依存の多くの問題を助けますが、計算量とパラメータが増加します。基本的な RNN は短くシンプルなシーケンスには十分で、非常に長い文脈には別のアーキテクチャの方が適している場合があります。
LSTM は無制限の履歴を処理できますか？
いいえ。LSTM の状態は有限の容量を持ち、勾配や訓練データが制限を課し、重要な情報が上書きされる可能性があります。長期コンテキストでの性能は、アーキテクチャ名から推測するのではなく、実測する必要があります。
主要参考文献
