Was sind RNNs und LSTMs im Deep Learning?

Viele der beeindruckendsten Fortschritte im Bereich der natürlichen Sprachverarbeitung und der AI-Chatbots werden von Recurrent Neural Networks (RNNs) und Long Short-Term Memory (LSTM)-Netzwerken angetrieben. RNNs und LSTMs sind spezielle neuronale Netzwerkarchitekturen, die in der Lage sind, sequenzielle Daten zu verarbeiten, also Daten, bei denen die chronologische Reihenfolge wichtig ist. LSTMs sind im Wesentlichen verbesserte Versionen von RNNs, die in der Lage sind, längere Datensequenzen zu interpretieren. Lassen Sie uns sehen, wie RNNs und LSTMs strukturiert sind und wie sie die Erstellung von komplexen Systemen für die natürliche Sprachverarbeitung ermöglichen.

Was sind Feed-Forward-Neuronale Netze?

Bevor wir über die Funktionsweise von Long Short-Term Memory (LSTM) und Convolutional Neural Networks (CNN) sprechen, sollten wir das Format eines neuronalen Netzwerks im Allgemeinen besprechen.

Ein neuronales Netzwerk soll Daten untersuchen und relevante Muster lernen, damit diese Muster auf andere Daten angewendet und neue Daten klassifiziert werden können. Neuronale Netze sind in drei Abschnitte unterteilt: eine Eingabeschicht, eine versteckte Schicht (oder mehrere versteckte Schichten) und eine Ausgabeschicht.

Die Eingabeschicht ist die Schicht, die die Daten in das neuronale Netzwerk einliest, während die versteckten Schichten die Muster in den Daten lernen. Die versteckten Schichten im Datensatz sind mit den Eingabe- und Ausgabeschichten durch “Gewichte” und “Verzerrungen” verbunden, die nur Annahmen darüber sind, wie die Datenpunkte miteinander in Beziehung stehen. Diese Gewichte werden während des Trainings angepasst. Wenn das Netzwerk trainiert wird, werden die Vermutungen des Modells über die Trainingsdaten (die Ausgabewerte) mit den tatsächlichen Trainingslabels verglichen. Im Laufe des Trainings sollte das Netzwerk (hoffentlich) genauer werden, wenn es um die Vorhersage von Beziehungen zwischen Datenpunkten geht, damit es neue Datenpunkte genau klassifizieren kann. Tiefere neuronale Netze sind Netze, die mehr Schichten in der Mitte/mehr versteckte Schichten haben. Je mehr versteckte Schichten und Neuronen/Knoten das Modell hat, desto besser kann es Muster in den Daten erkennen.

Reguläre, feed-forward-Neuronale Netze, wie die oben beschriebenen, werden oft als “dichte neuronale Netze” bezeichnet. Diese dichten neuronalen Netze werden mit verschiedenen Netzwerkarchitekturen kombiniert, die sich auf die Interpretation verschiedener Arten von Daten spezialisieren.

Was sind RNNs (Recurrent Neural Networks)?

Recurrent Neural Networks übernehmen das allgemeine Prinzip von feed-forward-Neuralen Netzen und ermöglichen es ihnen, sequenzielle Daten zu verarbeiten, indem sie dem Modell ein internes Gedächtnis geben. Der “Recurrent”-Teil des RNN-Namens kommt von der Tatsache, dass die Eingabe und Ausgabe miteinander verbunden sind. Wenn die Ausgabe des Netzwerks produziert wird, wird die Ausgabe kopiert und dem Netzwerk als Eingabe zurückgegeben. Wenn eine Entscheidung getroffen wird, werden nicht nur die aktuelle Eingabe und Ausgabe analysiert, sondern auch die vorherige Eingabe berücksichtigt. Um es anders auszudrücken: Wenn die anfängliche Eingabe für das Netzwerk X ist und die Ausgabe H ist, werden sowohl H als auch X1 (die nächste Eingabe in der Datenfolge) in das Netzwerk für die nächste Lernrunde eingegeben. Auf diese Weise wird der Kontext der Daten (die vorherigen Eingaben) während des Trainings erhalten.

Das Ergebnis dieser Architektur ist, dass RNNs in der Lage sind, sequenzielle Daten zu verarbeiten. Allerdings leiden RNNs unter einigen Problemen. RNNs leiden unter dem verschwindenden Gradienten- und explodierenden Gradientenproblem.

Die Länge der Sequenzen, die ein RNN interpretieren kann, ist ziemlich begrenzt, insbesondere im Vergleich zu LSTMs.

Was sind LSTMs (Long Short-Term Memory-Netze)?

Long Short-Term Memory-Netze können als Erweiterungen von RNNs betrachtet werden, die das Konzept des Erhalts des Kontexts der Eingaben anwenden. Allerdings wurden LSTMs in mehreren wichtigen Aspekten modifiziert, um es ihnen zu ermöglichen, vergangene Daten mit überlegenen Methoden zu interpretieren. Die Änderungen, die an LSTMs vorgenommen wurden, beheben das Problem des verschwindenden Gradienten und ermöglichen es LSTMs, viel längere Eingabesequenzen zu berücksichtigen.

LSTM-Modelle bestehen aus drei verschiedenen Komponenten oder Toren. Es gibt ein Eingabetor, ein Ausgabetor und ein Vergessthor. Ähnlich wie RNNs nehmen LSTMs die Eingaben aus dem vorherigen Zeitpunkt bei der Modifizierung des Modellgedächtnisses und der Eingabegewichte berücksichtigt. Das Eingabetor trifft Entscheidungen darüber, welche Werte wichtig sind und durch das Modell gelassen werden sollten. Eine Sigmoid-Funktion wird im Eingabetor verwendet, die Entscheidungen darüber trifft, welche Werte durch das rekurrente Netzwerk weitergeleitet werden sollen. Null löscht den Wert, während 1 ihn erhält. Eine TanH-Funktion wird hier auch verwendet, die entscheidet, wie wichtig die Eingabewerte für das Modell sind, mit Werten zwischen -1 und 1.

Nachdem die aktuellen Eingaben und der Speicherzustand berücksichtigt wurden, entscheidet das Ausgabetor, welche Werte an den nächsten Zeitpunkt weitergegeben werden sollen. Im Ausgabetor werden die Werte analysiert und einer Bedeutung zwischen -1 und 1 zugewiesen. Dies reguliert die Daten, bevor sie an die nächste Zeitpunktberechnung weitergegeben werden. Schließlich ist die Aufgabe des Vergesstors, Informationen zu löschen, die das Modell als nicht notwendig für eine Entscheidung über die Natur der Eingabewerte erachtet. Der Vergessthor verwendet eine Sigmoid-Funktion auf den Werten, die Zahlen zwischen 0 (vergessen) und 1 (behalten) ausgibt.

Ein LSTM-Neuronales Netzwerk besteht aus speziellen LSTM-Schichten, die in der Lage sind, sequenzielle Wortdaten zu interpretieren, und den dicht verbundenen Schichten, wie sie oben beschrieben wurden. Wenn die Daten durch die LSTM-Schichten verarbeitet werden, gehen sie in die dicht verbundenen Schichten über.