Was sind LLM-Halluzinationen? Ursachen, ethische Bedenken und Prävention

Große Sprachmodelle (LLMs) sind Systeme der künstlichen Intelligenz, die in der Lage sind, menschenähnlichen Text zu analysieren und zu generieren. Aber sie haben ein Problem – LLMs halluzinieren, das heißt, sie erfinden Dinge. LLM-Halluzinationen haben den Forschern Sorgen über den Fortschritt auf diesem Gebiet gemacht, denn wenn Forscher die Ergebnisse der Modelle nicht kontrollieren können, können sie auch keine kritischen Systeme bauen, die der Menschheit dienen. Mehr dazu später.

Im Allgemeinen nutzen LLMs große Mengen an Trainingsdaten und komplexe Lernalgorithmen, um realistische Ergebnisse zu generieren. In manchen Fällen, Es kommt kontextbezogenes Lernen zum Einsatz diese Modelle anhand weniger Beispiele zu trainieren. LLMs erfreuen sich in verschiedenen Anwendungsbereichen zunehmender Beliebtheit, darunter maschinelle Übersetzung, Stimmungsanalyse, virtuelle KI-Unterstützung, Bildanmerkung, Verarbeitung natürlicher Sprache, usw.

Trotz des innovativen Charakters von LLMs sind sie immer noch anfällig für Vorurteile, Fehler und Halluzinationen. Yann LeCun, derzeitiger Chef-KI-Wissenschaftler bei Meta, erwähnte kürzlich das zentraler Fehler in LLMs, der Halluzinationen verursacht: „Große Sprachmodelle haben keine Ahnung von der zugrunde liegenden Realität, die Sprache beschreibt. Diese Systeme generieren Text, der grammatikalisch und semantisch gut klingt, aber sie haben kein wirkliches Ziel, außer lediglich die statistische Konsistenz mit der Eingabeaufforderung zu gewährleisten.“

Halluzinationen bei LLMs

Bild von Gerd Altmann von Pixabay

Halluzinationen beziehen sich darauf, dass das Modell syntaktisch und semantisch korrekte Ausgaben generiert, die jedoch keinen Bezug zur Realität haben und auf falschen Annahmen basieren. Halluzination ist eine davon große ethische Bedenken von LLMs, und es kann schädliche Folgen haben, wenn Benutzer ohne ausreichende Domänenkenntnisse beginnen, sich zu sehr auf diese immer überzeugenderen Sprachmodelle zu verlassen.

Ein gewisses Maß an Halluzination ist bei allen autoregressiven LLMs unvermeidlich. Beispielsweise kann ein Model einer Berühmtheit ein gefälschtes Zitat zuschreiben, das nie gesagt wurde. Sie behaupten möglicherweise etwas zu einem bestimmten Thema, das sachlich falsch ist, oder zitieren in Forschungsarbeiten nicht vorhandene Quellen und verbreiten so Fehlinformationen.

Allerdings hat es nicht immer negative Auswirkungen, KI-Modelle zum Halluzinieren zu bringen. Zum Beispiel ein neue Studie legt nahe Wissenschaftler entdecken durch halluzinierende LLMs „neuartige Proteine ​​mit einer unbegrenzten Palette an Eigenschaften“.

Was verursacht LLM-Halluzinationen?

LLMs können aufgrund verschiedener Faktoren halluzinieren, die von Überanpassungsfehlern bei der Kodierung und Dekodierung bis hin zu Trainingsverzerrungen reichen.

Überanpassung

Bild von janjf93 von Pixabay

Überanpassung ist ein Problem, bei dem ein KI-Modell die Trainingsdaten zu gut anpasst. Dennoch kann es nicht die gesamte Bandbreite der möglichen Eingaben vollständig abbilden, d. h. Es gelingt ihm nicht, seine Vorhersagekraft zu verallgemeinern zu neuen, unsichtbaren Daten. Eine Überanpassung kann dazu führen, dass das Modell halluzinierte Inhalte produziert.

Kodierungs- und Dekodierungsfehler

Bild von Geralt von Pixabay

Wenn Fehler bei der Kodierung und Dekodierung von Text und seinen nachfolgenden Darstellungen auftreten, kann dies auch dazu führen, dass das Modell unsinnige und fehlerhafte Ausgaben generiert.

Trainingsverzerrung

Bild von Quittenkreativ von Pixabay

Ein weiterer Faktor sind bestimmte Verzerrungen in den Trainingsdaten. Diese können dazu führen, dass das Modell Ergebnisse liefert, die diese Verzerrungen widerspiegeln und nicht die tatsächliche Natur der Daten. Dies ist vergleichbar mit der mangelnden Diversität der Trainingsdaten, die die Fähigkeit des Modells zur Verallgemeinerung auf neue Daten einschränkt.

Die komplexe Struktur von LLMs macht es für KI-Forscher und Praktiker zu einer großen Herausforderung, diese zugrunde liegenden Ursachen von Halluzinationen zu identifizieren, zu interpretieren und zu korrigieren.

Ethische Bedenken bei LLM-Halluzinationen

LLMs können schädliche Vorurteile durch Halluzinationen aufrechterhalten und verstärken und sich wiederum negativ auf die Benutzer auswirken und schädliche soziale Folgen haben. Einige dieser wichtigsten ethischen Bedenken sind nachstehend aufgeführt:

Diskriminierender und giftiger Inhalt

Bild von ar130405 von Pixabay

Da die LLM-Trainingsdaten aufgrund der inhärenten Vorurteile und mangelnden Vielfalt oft voller soziokultureller Stereotypen sind. LLMs können somit diese schädlichen Ideen hervorbringen und verstärken gegen benachteiligte Gruppen in der Gesellschaft.

Sie können diese diskriminierenden und hasserfüllten Inhalte basierend auf Rasse, Geschlecht, Religion, ethnischer Zugehörigkeit usw. generieren.

Datenschutzprobleme

Bild von JanBaby von Pixabay

LLMs werden anhand eines umfangreichen Schulungskorpus geschult, der häufig die persönlichen Daten einzelner Personen umfasst. Es gab Fälle, in denen solche Modelle vorlagen die Privatsphäre der Menschen verletzt. Sie können bestimmte Informationen wie Sozialversicherungsnummern, Privatadressen, Mobiltelefonnummern und medizinische Daten preisgeben.

Fehlinformationen und Desinformation

Bild von Geralt von Pixabay

Sprachmodelle können menschenähnliche Inhalte erzeugen, die korrekt erscheinen, in Wirklichkeit jedoch falsch sind und nicht durch empirische Beweise gestützt werden. Dies kann zufällig geschehen und zu Fehlinformationen führen, oder es kann eine böswillige Absicht dahinterstecken, wissentlich Desinformationen zu verbreiten. Wenn dem nicht entgegengewirkt wird, kann es zu negativen sozialen, kulturellen, wirtschaftlichen und politischen Trends kommen.

Vorbeugung von LLM-Halluzinationen

Bild von drei23 von Pixabay

Forscher und Praktiker verfolgen verschiedene Ansätze, um das Problem der Halluzinationen bei LLMs anzugehen. Dazu gehören unter anderem die Verbesserung der Vielfalt der Trainingsdaten, die Beseitigung inhärenter Verzerrungen, die Verwendung besserer Regularisierungstechniken sowie der Einsatz von kontradiktorischem Training und verstärkendem Lernen:

• Die Entwicklung besserer Regularisierungstechniken ist der Kern der Bekämpfung von Halluzinationen. Sie helfen, Überanpassung und andere Probleme, die Halluzinationen verursachen, zu verhindern.
• Datenanreicherung kann die Häufigkeit von Halluzinationen verringern, wie a Studie. Bei der Datenerweiterung wird der Trainingssatz durch das Hinzufügen eines zufälligen Tokens an einer beliebigen Stelle im Satz erweitert. Es verdoppelt die Größe des Trainingssatzes und führt zu einer Verringerung der Häufigkeit von Halluzinationen.
• OpenAI und Googles DeepMind haben eine Technik namens Verstärkungslernen mit menschlichem Feedback (RLHF), um das Halluzinationsproblem von ChatGPT zu lösen. Dabei überprüft ein menschlicher Bewerter regelmäßig die Antworten des Modells und wählt die passendsten für die Benutzereingaben aus. Dieses Feedback wird dann verwendet, um das Verhalten des Modells anzupassen. Ilya Sutskever, Chefwissenschaftler von OpenAI, erwähnte kürzlich, dass dieser Ansatz möglicherweise Halluzinationen in ChatGPT auflösen: „Ich bin sehr zuversichtlich, dass wir ihm beibringen können, nicht zu halluzinieren, indem wir einfach dieses anschließende Verstärkungslernen aus dem menschlichen Feedback-Schritt verbessern.“.
• Die Identifizierung halluzinierter Inhalte als Beispiel für zukünftige Schulungen ist ebenfalls eine Methode zur Bekämpfung von Halluzinationen. A neuartige Technik Erkennt diesbezüglich Halluzinationen auf Token-Ebene und sagt voraus, ob es sich bei jedem Token in der Ausgabe um Halluzinationen handelt. Es umfasst auch eine Methode zum unbeaufsichtigten Lernen von Halluzinationsdetektoren.

Halluzinationserkennung auf Token-Ebene

Kurz gesagt: LLM-Halluzinationen sind ein wachsendes Problem. Und trotz aller Bemühungen bleibt noch viel zu tun, um das Problem zu lösen. Aufgrund der Komplexität dieser Modelle ist es generell schwierig, die Ursachen von Halluzinationen korrekt zu identifizieren und zu beheben.

Mit fortgesetzter Forschung und Entwicklung ist es jedoch möglich, Halluzinationen bei LLMs zu mildern und ihre ethischen Konsequenzen zu verringern.

Wenn Sie mehr über LLMs und die präventiven Techniken erfahren möchten, die zur Behebung von LLMs-Halluzinationen entwickelt werden, schauen Sie hier vorbei unite.ai um Ihr Wissen zu erweitern.