Ansprechen aktueller Probleme innerhalb von LLMs und Blick in die Zukunft

Heute gibt es Dutzende öffentlich verfügbarer großer Sprachmodelle (LLMs), wie GPT-3, GPT-4, LaMDA oder Bard, und die Zahl wächst ständig, da neue Modelle veröffentlicht werden. LLMs haben die künstliche Intelligenz revolutioniert und vollständig geändert, wie wir mit Technologie in verschiedenen Branchen interagieren. Diese Modelle ermöglichen es uns, aus vielen menschlichen Sprachdatensätzen zu lernen und haben neue Wege für Innovation, Kreativität und Effizienz eröffnet.

Jedoch kommt mit großer Macht auch große Komplexität. Es gibt inhärente Herausforderungen und ethische Probleme im Zusammenhang mit LLMs, die angegangen werden müssen, bevor wir sie vollständig nutzen können. Zum Beispiel fand eine jüngste Stanford-Studie rassische und geschlechtsspezifische Vorurteile, als sie ChatGPT-4 bei der Behandlung bestimmter Anfragen mit Vornamen und Nachnamen untersuchte, die auf Rasse oder Geschlecht hindeuten. In dieser Studie wurde das Programm gefragt, wie viel man für ein gebrauchtes Fahrrad zahlen sollte, das von jemandem namens Jamal Washington verkauft wird, was zu einem wesentlich niedrigeren Betrag führte als wenn der Verkäufer Logan Becker hieß. Da diese Entdeckungen ans Licht kommen, steigt die Notwendigkeit, LLM-Herausforderungen anzugehen.

Wie man häufige LLM-Bedenken mildern kann

Vorurteile

Eines der am häufigsten diskutierten Probleme bei LLMs ist Vorurteil und Fairness. In einer jüngsten Studie testeten Experten vier kürzlich veröffentlichte LLMs und fanden heraus, dass sie alle voreingenommene Annahmen über Männer und Frauen ausdrückten, insbesondere solche, die mit den Wahrnehmungen der Menschen übereinstimmen, anstatt mit denen, die auf Fakten basieren. In diesem Zusammenhang bezieht sich Vorurteil auf die ungleiche Behandlung oder Ergebnisse unter verschiedenen sozialen Gruppen, wahrscheinlich aufgrund historischer oder struktureller Machtungleichgewichte.

Bei LLMs wird Vorurteil durch Datenauswahl, Demografie der Ersteller und Sprach- oder Kulturskew verursacht. Datenauswahlvorurteil tritt auf, wenn die für die LLM-Schulung ausgewählten Texte die gesamte Vielfalt der auf dem Web verwendeten Sprache nicht repräsentieren. LLMs, die auf umfangreichen, aber begrenzten Datensätzen trainiert werden, können die Vorurteile erben, die bereits in diesen Texten vorhanden sind. Mit der Demografie der Ersteller werden bestimmte demografische Gruppen häufiger hervorgehoben als andere, was die Notwendigkeit von mehr Vielfalt und Inklusivität in der Inhaltserschaffung zeigt, um Vorurteile zu verringern. Zum Beispiel zeigt Wikipedia, eine häufige Quelle für Trainingsdaten, eine bemerkenswerte demografische Ungleichheit unter seinen Editoren mit einer männlichen Mehrheit (84%). Dies ist ähnlich wie die Skew, die bei Sprache und Kultur gefunden wird. Viele Quellen, auf denen LLMs trainiert werden, sind skaliert, englischzentriert, was nur manchmal genau in andere Sprachen und Kulturen übersetzt.

Es ist von entscheidender Bedeutung, dass LLMs auf gefilterten Daten trainiert werden und dass Schutzmechanismen vorhanden sind, um Themen zu unterdrücken, die keine konsistenten Darstellungen der Daten sind. Eine Möglichkeit, dies zu tun, besteht in der Verwendung von datenbasierten Techniken. Man kann Beispiele aus unterrepräsentierten Gruppen zum Trainingsdatensatz hinzufügen, um die Vielfalt des Datensatzes zu erweitern. Eine weitere Milderungstaktik ist die Datenfilterung und -gewichtung, die sich hauptsächlich auf die präzise Zielsetzung spezifischer, unterrepräsentierter Beispiele innerhalb eines bestehenden Datensatzes konzentriert.

Halluzinationen

Im Kontext von LLMs sind Halluzinationen ein Phänomen, das durch die Erzeugung eines Textes gekennzeichnet ist, der zwar grammatisch korrekt und scheinbar kohärent ist, aber von der faktischen Genauigkeit oder der Absicht des Quellenmaterials abweicht. Tatsächlich haben jüngste Berichte herausgefunden, dass eine Klage über ein Minnesota-Gesetz direkt von LLM-Halluzinationen betroffen ist. Eine dem Gesetz zur Unterstützung vorgelegte eidesstattliche Erklärung hat nicht existierende Quellen enthalten, die möglicherweise von ChatGPT oder einem anderen LLM halluziniert wurden. Diese Halluzinationen können leicht die Zuverlässigkeit eines LLMs verringern.

Es gibt drei primäre Formen von Halluzinationen:

1. Input-Konflikt-Halluzination: Dies tritt auf, wenn die Ausgabe eines LLM von den vom Benutzer bereitgestellten Eingaben abweicht, die normalerweise Aufgabenanweisungen und den tatsächlichen Inhalt enthalten, der verarbeitet werden muss.
2. Kontext-Konflikt-Halluzination: LLMs können intern inkonsistente Antworten in Szenarien erzeugen, die erweiterte Dialoge oder mehrere Austausche beinhalten. Dies deutet auf eine mögliche Unzulänglichkeit in der Fähigkeit des Modells hin, Kontext zu verfolgen oder Kohärenz über verschiedene Interaktionen hinweg aufrechtzuerhalten.
3. Fakt-Konflikt-Halluzination: Diese Form der Halluzination tritt auf, wenn ein LLM Inhalte erzeugt, die im Widerspruch zu etablierten faktischen Kenntnissen stehen. Die Ursachen solcher Fehler sind vielfältig und können auf verschiedenen Stufen im Lebenszyklus eines LLMs auftreten.

Viele Faktoren haben zu diesem Phänomen beigetragen, wie Wissensdefizite, die erklären, wie LLMs möglicherweise das Wissen oder die Fähigkeit fehlen, Informationen korrekt während der Vorschulung zu assimilieren. Zusätzlich kann Vorurteil in den Trainingsdaten oder eine sequenzielle Generierungsstrategie von LLMs, auch “Halluzinations-Schneeballeffekt” genannt, Halluzinationen erzeugen.

Es gibt Möglichkeiten, Halluzinationen zu mildern, obwohl sie immer ein Merkmal von LLMs sein werden. Hilfreiche Milderungsstrategien für Halluzinationen sind die Milderung während der Vorschulung (manuelle Verfeinerung von Daten mithilfe von Filtertechniken) oder die Feinabstimmung (Kuration von Trainingsdaten). Die Milderung während der Inferenz ist jedoch die beste Lösung aufgrund ihrer Kosteneffizienz und Steuerbarkeit.

Datenschutz

Mit dem Aufkommen des Internets ist der Zugang zu persönlichen Informationen und anderen privaten Daten zu einer weit verbreiteten Sorge geworden. Eine Studie fand heraus, dass 80% der amerikanischen Verbraucher besorgt sind, dass ihre Daten zur Schulung von KI-Modellen verwendet werden. Da die prominentesten LLMs aus Webseiten stammen, müssen wir berücksichtigen, wie dies Datenschutzrisiken birgt und größtenteils ungelöst für LLMs bleibt.

Der einfachste Weg, um zu verhindern, dass LLMs persönliche Informationen verbreiten, besteht darin, sie aus den Trainingsdaten zu entfernen. Allerdings ist es aufgrund der großen Menge an Daten, die an LLMs beteiligt sind, fast unmöglich, zu garantieren, dass alle privaten Informationen beseitigt werden. Eine weitere Alternative für Organisationen, die auf extern entwickelte Modelle angewiesen sind, besteht darin, anstelle eines Dienstes wie ChatGPT ein Open-Source-LLM zu wählen.

Mit diesem Ansatz kann eine Kopie des Modells intern bereitgestellt werden. Die Eingaben der Benutzer bleiben innerhalb des Netzwerks der Organisation sicher und werden nicht Drittdiensten ausgesetzt. Obwohl dies das Risiko des Verlusts sensibler Daten erheblich reduziert, fügt es auch erhebliche Komplexität hinzu. Angesichts der Schwierigkeiten, den Schutz privater Daten vollständig zu gewährleisten, ist es für Anwendungsentwickler von entscheidender Bedeutung, zu berücksichtigen, wie diese Modelle ihre Benutzer gefährden könnten.

Die nächste Grenze für LLMs

Wenn wir weiter wachsen und die folgenden Evolutionen von LLMs durch die Milderung aktueller Risiken formen, sollten wir die Durchbrüche von LLM-Agents erwarten, die wir bereits bei Unternehmen wie H mit Runner H sehen, die ihre ersten Produkte veröffentlichen. Der Wechsel von reinen Sprachmodellen zu agentenbasierten Architekturen stellt eine Änderung im Design von KI-Systemen dar; die Branche wird über die inhärenten Einschränkungen von Chat-Schnittstellen und einfacher Retrieval-Generierung hinausgehen. Diese neuen Agenten-Frameworks werden über fortschrittliche Planungsmodule verfügen, die komplexe Ziele in atomare Unteraufgaben zerlegen, episodisches Gedächtnis für kontextbezogene Argumentation aufrechterhalten und spezialisierte Tools über gut definierte APIs nutzen. Dies ermöglicht einen robusteren Ansatz für die Automatisierung von Aufgaben.

Neben LLMs wird es einen größeren Fokus auf die Schulung kleinerer Sprachmodelle geben, aufgrund ihrer Kosteneffizienz, Zugänglichkeit und leichten Bereitstellung. Zum Beispiel sind domänenbasierte Sprachmodelle auf bestimmte Branchen oder Bereiche spezialisiert. Diese Modelle sind fein abgestimmt mit domänenbasierten Daten und Terminologie, was sie ideal für komplexe und regulierte Umgebungen wie den medizinischen oder rechtlichen Bereich macht, wo Präzision unerlässlich ist. Dieser gezielte Ansatz verringert die Wahrscheinlichkeit von Fehlern und Halluzinationen, die allgemeine Modelle produzieren können, wenn sie mit spezialisierten Inhalten konfrontiert werden.

Wenn wir weiterhin neue Grenzen in LLMs erkunden, ist es von entscheidender Bedeutung, die Grenzen der Innovation zu erweitern und potenzielle Risiken im Zusammenhang mit ihrer Entwicklung und Bereitstellung anzugehen und zu mildern. Nur indem wir zunächst Herausforderungen im Zusammenhang mit Vorurteilen, Halluzinationen und Datenschutz identifizieren und proaktiv angehen, können wir eine robustere Grundlage für LLMs schaffen, um in verschiedenen Bereichen zu gedeihen.