Aktuelle Probleme im LLM-Studiengang ansprechen und einen Blick nach vorn werfen

Heute gibt es Dutzende öffentlich verfügbarer Large Language Models (LLMs) wie GPT-3, GPT-4, LaMDA oder Bard, und die Zahl wächst ständig, da neue Modelle veröffentlicht werden. LLMs haben die künstliche Intelligenz revolutioniert und die Art und Weise, wie wir in verschiedenen Branchen mit Technologie interagieren, völlig verändert. Diese Modelle ermöglichen es uns, aus vielen Datensätzen menschlicher Sprache zu lernen, und haben neue Wege für Innovation, Kreativität und Effizienz eröffnet.

Mit großer Macht geht jedoch auch große Komplexität einher. Es gibt inhärente Herausforderungen und ethische Probleme im Zusammenhang mit LLMs, die angegangen werden müssen, bevor wir ihr volles Potenzial ausschöpfen können. Zum Beispiel ein aktuelle Stanford-Studie stellte fest, dass ChatGPT-4 rassische und geschlechtsspezifische Vorurteile hatte, als es beobachtete, wie es bestimmte Anfragen behandelte, die Vor- und Nachnamen enthielten, die auf Rasse oder Geschlecht schließen lassen. In dieser Studie wurde das Programm um Rat gefragt, wie viel man für ein gebrauchtes Fahrrad bezahlen sollte, das von jemandem namens Jamal Washington verkauft wurde, was einen weitaus niedrigeren Betrag ergab, als wenn der Verkäufer Logan Becker hieß. Da diese Entdeckungen immer weiter ans Licht kommen, wird die Notwendigkeit, sich mit den Herausforderungen des LLM zu befassen, nur noch größer.

So lindern Sie häufige Bedenken bezüglich eines LLM

Befangenheit

Eines der am häufigsten diskutierten Themen bei LLMs ist Voreingenommenheit und Fairness. In einer aktuellen Studie Experten getestet Die Studie untersuchte vier kürzlich veröffentlichte Masterstudiengänge und stellte fest, dass sie alle voreingenommene Annahmen über Männer und Frauen zum Ausdruck brachten, insbesondere solche, die eher auf der Wahrnehmung der Menschen basierten als auf Tatsachen. In diesem Zusammenhang bezieht sich Voreingenommenheit auf die ungleiche Behandlung oder die ungleichen Ergebnisse verschiedener sozialer Gruppen, die höchstwahrscheinlich auf historische oder strukturelle Machtungleichgewichte zurückzuführen sind.

Bei LLMs wird die Verzerrung durch die Datenauswahl, die Demografie der Autoren und sprachliche oder kulturelle Verzerrung verursacht. Eine Datenauswahlverzerrung tritt auf, wenn die für das LLM-Training ausgewählten Texte nicht die gesamte Vielfalt der im Internet verwendeten Sprachen darstellen. LLMs, die mit umfangreichen, aber begrenzten Datensätzen trainiert werden, können die Verzerrungen übernehmen, die bereits in diesen Texten vorhanden sind. Bei der Demografie der Autoren werden bestimmte demografische Gruppen häufiger hervorgehoben als andere, was die Notwendigkeit von mehr Vielfalt und Inklusivität bei der Inhaltserstellung verdeutlicht, um die Verzerrung zu verringern. Beispielsweise weist Wikipedia, eine häufige Quelle für Trainingsdaten, ein bemerkenswertes demografisches Ungleichgewicht unter seinen Redakteuren auf, wobei die Mehrheit männlich ist (84%). Dies ist ähnlich der Verzerrung, die auch bei Sprache und Kultur zu beobachten ist. Viele Quellen, die für die Ausbildung von LLMs verwendet werden, sind verzerrt und stark auf das Englische ausgerichtet, was sich nur manchmal korrekt auf andere Sprachen und Kulturen übertragen lässt.

Es ist zwingend erforderlich, dass LLMs mit gefilterten Daten trainiert werden und dass Leitplanken vorhanden sind, um Themen zu unterdrücken, die keine konsistenten Darstellungen der Daten darstellen. Eine Möglichkeit hierfür sind Techniken zur Datenerweiterung. Sie können den Trainingsdaten Beispiele unterrepräsentierter Gruppen hinzufügen und so die Vielfalt des Datensatzes erweitern. Eine weitere Abschwächungstaktik ist die Datenfilterung und -neugewichtung, die sich in erster Linie auf die gezielte Auswahl bestimmter, unterrepräsentierter Beispiele innerhalb eines vorhandenen Datensatzes konzentriert.

Halluzinationen

Im Rahmen von LLMs sind Halluzinationen ein Phänomen, das durch die Produktion eines Textes gekennzeichnet ist, der zwar grammatikalisch korrekt und scheinbar kohärent ist, aber von der sachlichen Genauigkeit oder der Absicht des Ausgangsmaterials abweicht. Tatsächlich jüngsten Berichte haben festgestellt, dass eine Klage über ein Gesetz in Minnesota direkt von LLM-Halluzinationen beeinflusst wird. Es wurde festgestellt, dass eine eidesstattliche Erklärung zur Unterstützung des Gesetzes nicht existierende Quellen enthielt, die möglicherweise von ChatGPT oder einem anderen LLM halluziniert wurden. Diese Halluzinationen können die Glaubwürdigkeit eines LLM leicht beeinträchtigen.

Es gibt drei Hauptformen von Halluzinationen:

1. Halluzination durch Eingabekonflikte: Dies geschieht, wenn die Ausgabe eines LLM von der Eingabe des Benutzers abweicht, die normalerweise Aufgabenanweisungen und den tatsächlich zu verarbeitenden Inhalt umfasst.
2. Kontextkonflikthafte Halluzination: LLMs können in Szenarien mit längeren Dialogen oder mehreren Austauschvorgängen intern inkonsistente Antworten erzeugen. Dies deutet auf eine mögliche Schwäche des Modells hin, den Kontext zu verfolgen oder die Kohärenz über verschiedene Interaktionen hinweg aufrechtzuerhalten.
3. Faktenwidersprüchliche Halluzination: Diese Form der Halluzination entsteht, wenn ein LLM Inhalte produziert, die im Widerspruch zu etabliertem Faktenwissen stehen. Die Ursachen solcher Fehler sind vielfältig und können in verschiedenen Stadien des Lebenszyklus eines LLM auftreten.

Viele Faktoren haben zu diesem Phänomen beigetragen, wie z. B. Wissensdefizite, die erklären, warum LLMs möglicherweise das Wissen oder die Fähigkeit fehlen, Informationen während des Vortrainings richtig zu verarbeiten. Darüber hinaus können Verzerrungen in den Trainingsdaten oder eine sequentielle Generierungsstrategie von LLMs, die als „Halluzinations-Schneeballeffekt“ bezeichnet wird, Halluzinationen hervorrufen.

Es gibt Möglichkeiten, Halluzinationen zu mildern, obwohl sie immer ein Merkmal von LLMs sein werden. Hilfreiche Strategien zur Milderung von Halluzinationen sind die Milderung während des Vortrainings (manuelles Verfeinern der Daten mithilfe von Filtertechniken) oder die Feinabstimmung (Kuratieren von Trainingsdaten). Die Milderung während der Inferenz ist jedoch aufgrund ihrer Kosteneffizienz und Kontrollierbarkeit die beste Lösung.

Datenschutz

Mit dem Aufkommen des Internets ist die zunehmende Zugänglichkeit persönlicher Informationen und anderer privater Daten zu einem weithin anerkannten Problem geworden. Eine Studie ergab, dass 80% der amerikanischen Verbraucher sind besorgt, dass ihre Daten zum Trainieren von KI-Modellen verwendet werden. Da die meisten LL.M.-Abschlüsse von Websites stammen, müssen wir bedenken, dass dies Datenschutzrisiken birgt und für LL.M.-Abschlüsse ein weitgehend ungelöstes Problem darstellt.

Der einfachste Weg, die Weitergabe personenbezogener Daten durch LLMs zu verhindern, besteht darin, diese aus den Trainingsdaten zu entfernen. Angesichts der enormen Datenmenge, die in LLMs verarbeitet wird, ist es jedoch nahezu unmöglich, die vollständige Löschung aller privaten Informationen zu garantieren. Eine weitere gängige Alternative für Organisationen, die auf extern entwickelte Modelle angewiesen sind, ist die Wahl eines Open-Source-LLMs anstelle eines Dienstes wie ChatGPT.

Mit diesem Ansatz kann eine Kopie des Modells intern bereitgestellt werden. Die Eingabeaufforderungen der Benutzer bleiben sicher im Unternehmensnetzwerk und werden nicht Diensten von Drittanbietern ausgesetzt. Dies reduziert zwar das Risiko des Verlusts sensibler Daten drastisch, erhöht aber auch die Komplexität erheblich. Angesichts der Schwierigkeiten, den Schutz privater Daten vollständig zu gewährleisten, müssen Anwendungsentwickler weiterhin berücksichtigen, welche Risiken diese Modelle für ihre Benutzer darstellen könnten.

Die nächste Grenze für LLMs

Während wir weiter wachsen und die Weiterentwicklung von LLMs durch die Minderung aktueller Risiken gestalten, sollten wir mit dem Durchbruch von LLM-Agenten rechnen, den wir bereits bei Unternehmen wie H mit Läufer H, die Veröffentlichung beginnt. Der Wechsel von reinen Sprachmodellen zu agentenbasierten Architekturen stellt eine Veränderung im KI-Systemdesign dar; die Branche wird die inhärenten Einschränkungen von Chat-Schnittstellen und einfacher, durch Abruf erweiterter Generierung hinter sich lassen. Diese neuen Agenten-Frameworks werden über ausgefeilte Planungsmodule verfügen, die komplexe Ziele in atomare Unteraufgaben zerlegen, episodisches Gedächtnis für kontextbezogenes Denken aufrechterhalten und spezialisierte Tools über gut definierte APIs nutzen. Dies schafft einen robusteren Ansatz für die Aufgabenautomatisierung. Die architektonische Weiterentwicklung hilft dabei, die üblichen Herausforderungen rund um Aufgaben und Denken, Tool-Integration und Ausführungsüberwachung in herkömmlichen LLM-Implementierungen zu mildern.

Neben LLMs wird der Schwerpunkt aufgrund ihrer Kosteneffizienz, Zugänglichkeit und einfachen Bereitstellung stärker auf das Training kleinerer Sprachmodelle gelegt. Beispielsweise sind domänenspezifische Sprachmodelle auf bestimmte Branchen oder Bereiche spezialisiert. Diese Modelle sind mit domänenspezifischen Daten und Terminologien fein abgestimmt, was sie ideal für komplexe und regulierte Umgebungen macht, wie den medizinischen oder juristischen Bereich, in dem Präzision unerlässlich ist. Dieser gezielte Ansatz verringert die Wahrscheinlichkeit von Fehlern und Trugbildern, die bei allgemeinen Modellen bei der Verarbeitung spezialisierter Inhalte auftreten können.

Während wir weiterhin neue Grenzen im Bereich der LLMs erkunden, ist es wichtig, die Grenzen der Innovation zu erweitern und potenzielle Risiken im Zusammenhang mit ihrer Entwicklung und Einführung anzugehen und zu mindern. Nur indem wir zunächst die Herausforderungen im Zusammenhang mit Voreingenommenheit, Halluzinationen und Datenschutz identifizieren und proaktiv angehen, können wir eine solidere Grundlage für den Erfolg von LLMs in verschiedenen Bereichen schaffen.