Aktuelle Probleme bei LLMs angehen und in die Zukunft blicken

Heute gibt es Dutzende öffentlich verfügbarer großer Sprachmodelle (LLMs), wie z.B. GPT-3, GPT-4, LaMDA oder Bard, und die Zahl wächst ständig, da neue Modelle veröffentlicht werden. LLMs haben die künstliche Intelligenz revolutioniert und verändert, wie wir mit Technologie in verschiedenen Branchen interagieren. Diese Modelle ermöglichen es uns, von vielen menschlichen Sprachdatensätzen zu lernen und haben neue Wege für Innovation, Kreativität und Effizienz eröffnet.

Jedoch kommt mit großer Macht auch große Komplexität. Es gibt inhärente Herausforderungen und ethische Probleme im Zusammenhang mit LLMs, die angegangen werden müssen, bevor wir sie voll ausnutzen können. Zum Beispiel fand eine jüngste Studie der Stanford-Universität heraus, dass es bei ChatGPT-4 Rassismus und Geschlechterbias gibt, wenn es um Anfragen geht, die Namen enthalten, die auf Rasse oder Geschlecht hindeuten. In dieser Studie wurde das Programm gefragt, wie viel man für ein gebrauchtes Fahrrad zahlen sollte, das von jemandem namens Jamal Washington verkauft wird, was zu einem viel niedrigeren Betrag führte als wenn der Verkäufer Logan Becker hieß. Da diese Entdeckungen ans Licht kommen, wächst die Notwendigkeit, LLM-Herausforderungen anzugehen.

Wie man häufige LLM-Bedenken mildern kann

Vorurteil

Eines der am häufigsten diskutierten Probleme bei LLMs ist Vorurteil und Fairness. In einer jüngsten Studie testeten Experten vier kürzlich veröffentlichte LLMs und fanden heraus, dass sie alle voreingenommene Annahmen über Männer und Frauen hatten, insbesondere solche, die mit den Wahrnehmungen der Menschen übereinstimmen, anstatt mit Fakten. In diesem Kontext bezieht sich Vorurteil auf die ungleiche Behandlung oder Ergebnisse unter verschiedenen sozialen Gruppen, die wahrscheinlich auf historische oder strukturelle Machtungleichgewichte zurückzuführen sind.

Bei LLMs wird Vorurteil durch Datenauswahl, Demografie der Ersteller und Sprach- oder kulturelle Voreingenommenheit verursacht. Datenauswahl-Vorurteil tritt auf, wenn die für die LLM-Schulung ausgewählten Texte die Vielfalt der auf dem Web verwendeten Sprache nicht repräsentieren. LLMs, die auf umfangreichen, aber begrenzten Datensätzen trainiert werden, können die Vorurteile erben, die bereits in diesen Texten vorhanden sind. Bei der Demografie der Ersteller werden bestimmte demografische Gruppen häufiger hervorgehoben als andere, was die Notwendigkeit von mehr Vielfalt und Inklusivität in der Inhaltserschaffung unterstreicht, um Vorurteile zu verringern. Zum Beispiel weist Wikipedia, eine häufige Quelle für Schulungsdaten, eine bemerkenswerte demografische Ungleichheit unter seinen Editoren mit einer Mehrheit von Männern (84%) auf. Dies ist ähnlich wie die Voreingenommenheit, die bei Sprache und Kultur gefunden wird. Viele Quellen, auf denen LLMs trainiert werden, sind voreingenommen und neigen dazu, englischzentriert zu sein, was nur manchmal genau in andere Sprachen und Kulturen übersetzt wird.

Es ist von entscheidender Bedeutung, dass LLMs auf gefilterten Daten trainiert werden und dass Schutzmechanismen vorhanden sind, um Themen zu unterdrücken, die keine konsistenten Darstellungen der Daten sind. Eine Möglichkeit, dies zu tun, besteht in der Verwendung von Techniken zur Datenvergrößerung. Man kann Beispiele aus unterrepräsentierten Gruppen der Trainingsdaten hinzufügen, um die Vielfalt des Datensatzes zu erweitern. Eine weitere Milderungsstrategie ist die Datenfilterung und -neugewichtung, die sich in erster Linie auf die gezielte Auswahl spezifischer, unterrepräsentierter Beispiele innerhalb eines bestehenden Datensatzes konzentriert.

Halluzinationen

Im Kontext von LLMs sind Halluzinationen ein Phänomen, das durch die Produktion eines Textes gekennzeichnet ist, der zwar grammatisch korrekt und scheinbar kohärent ist, aber von der faktischen Genauigkeit oder der Absicht des Quellenmaterials abweicht. Tatsächlich haben jüngste Berichte herausgefunden, dass eine Klage über ein Minnesota-Gesetz direkt von LLM-Halluzinationen betroffen ist. Ein zur Unterstützung des Gesetzes eingereichter Affidavit hat nicht existierende Quellen enthalten, die möglicherweise von ChatGPT oder einem anderen LLM halluziniert wurden. Diese Halluzinationen können die Zuverlässigkeit eines LLMs leicht verringern.

Es gibt drei primäre Formen von Halluzinationen:

1. Input-konfliktierende Halluzination: Dies tritt auf, wenn die Ausgabe eines LLM von den vom Benutzer bereitgestellten Eingaben abweicht, die normalerweise Aufgabenanweisungen und den tatsächlichen Inhalt enthalten, der verarbeitet werden muss.
2. Kontext-konfliktierende Halluzination: LLMs können bei Szenarien mit verlängertem Dialog oder mehreren Austauschen intern inkonsistente Antworten generieren. Dies deutet auf eine mögliche Unzulänglichkeit der Fähigkeit des Modells hin, Kontext zu verfolgen oder Kohärenz über verschiedene Interaktionen hinweg aufrechtzuerhalten.
3. Fakt-konfliktierende Halluzination: Diese Form der Halluzination tritt auf, wenn ein LLM Inhalte produziert, die im Widerspruch zu etablierten faktischen Kenntnissen stehen. Die Ursachen solcher Fehler sind vielfältig und können auf verschiedenen Stufen im Lebenszyklus eines LLMs auftreten.

Viele Faktoren haben zu diesem Phänomen beigetragen, wie z.B. Wissensdefizite, die erklären, wie LLMs möglicherweise nicht in der Lage sind, Informationen während der Vorschulung richtig zu assimilieren. Zusätzlich kann Voreingenommenheit in den Trainingsdaten oder eine sequenzielle Generierungsstrategie von LLMs, die als “Halluzinations-Schneeballeffekt” bezeichnet wird, Halluzinationen erzeugen.

Es gibt Möglichkeiten, Halluzinationen zu mildern, obwohl sie immer ein Merkmal von LLMs sein werden. Nützliche Milderungsstrategien für Halluzinationen sind die Milderung während der Vorschulung (manuelle Verfeinerung von Daten mithilfe von Filtertechniken) oder die Feinabstimmung (Kuration von Trainingsdaten). Die Milderung während der Inferenz ist jedoch die beste Lösung aufgrund ihrer Kosteneffizienz und Steuerbarkeit.

Datenschutz

Mit dem Aufkommen des Internets ist die erhöhte Zugänglichkeit von persönlichen Informationen und anderen privaten Daten zu einer weit verbreiteten Sorge geworden. Eine Studie fand heraus, dass 80% der amerikanischen Verbraucher besorgt sind, dass ihre Daten zur Schulung von KI-Modellen verwendet werden. Da die bekanntesten LLMs aus Webseiten stammen, müssen wir berücksichtigen, wie dies Datenschutzrisiken birgt und größtenteils ein ungelöstes Problem für LLMs bleibt.

Die einfachste Möglichkeit, zu verhindern, dass LLMs persönliche Informationen verbreiten, besteht darin, diese aus den Trainingsdaten zu entfernen. Allerdings ist es angesichts der enormen Menge an Daten, die bei LLMs verwendet werden, fast unmöglich, zu garantieren, dass alle privaten Informationen entfernt wurden. Eine weitere gängige Alternative für Organisationen, die auf extern entwickelte Modelle angewiesen sind, besteht darin, ein Open-Source-LLM anstelle eines Dienstes wie ChatGPT zu wählen.

Mit diesem Ansatz kann eine Kopie des Modells intern bereitgestellt werden. Die Eingaben der Benutzer bleiben innerhalb des Netzwerks der Organisation sicher und werden nicht externen Diensten ausgesetzt. Obwohl dies das Risiko des Verlusts sensibler Daten erheblich verringert, fügt es auch erhebliche Komplexität hinzu. Angesichts der Schwierigkeiten, den Schutz privater Daten vollständig zu gewährleisten, ist es für Anwendungsentwickler dennoch wichtig, zu berücksichtigen, wie diese Modelle ihre Benutzer gefährden könnten.

Die nächste Grenze für LLMs

Wenn wir weiter wachsen und die folgenden Entwicklungen von LLMs durch die Milderung aktueller Risiken formen, sollten wir die Entstehung von LLM-Agents erwarten, die wir bereits bei Unternehmen wie H mit Runner H sehen, die beginnen, ihre Produkte zu veröffentlichen. Der Wechsel von reinen Sprachmodellen zu agentenbasierten Architekturen stellt eine Änderung der KI-Systemdesigns dar; die Branche wird über die inhärenten Einschränkungen von Chat-Schnittstellen und einfacher generierter Erweiterung hinausgehen. Diese neuen Agenten-Rahmenwerke werden über fortschrittliche Planungsmodule verfügen, die komplexe Ziele in atomare Subaufgaben zerlegen, episodisches Gedächtnis für kontextbezogene Argumentation aufrechterhalten und spezielle Werkzeuge über gut definierte APIs nutzen. Dies ermöglicht einen robusteren Ansatz für die Automatisierung von Aufgaben.

Zusätzlich zu LLMs wird es einen größeren Fokus auf die Schulung kleinerer Sprachmodelle geben, aufgrund ihrer Kosteneffizienz, Zugänglichkeit und Leichtigkeit der Bereitstellung. Zum Beispiel sind domänen-spezifische Sprachmodelle auf bestimmte Branchen oder Bereiche spezialisiert. Diese Modelle sind fein abgestimmt mit domänen-spezifischen Daten und Terminologie, was sie ideal für komplexe und regulierte Umgebungen wie die medizinische oder juristische Branche macht, in denen Präzision unerlässlich ist. Dieser gezielte Ansatz verringert die Wahrscheinlichkeit von Fehlern und Halluzinationen, die allgemeine Modelle produzieren können, wenn sie mit spezialisierten Inhalten konfrontiert werden.

Wenn wir weiter in die Zukunft von LLMs blicken, ist es von entscheidender Bedeutung, die Grenzen der Innovation zu erweitern und potenzielle Risiken im Zusammenhang mit ihrer Entwicklung und Bereitstellung anzugehen und zu mildern. Nur indem wir Herausforderungen im Zusammenhang mit Vorurteil, Halluzinationen und Datenschutz proaktiv identifizieren und angehen, können wir eine robustere Grundlage für LLMs schaffen, um in verschiedenen Bereichen zu gedeihen.