Die AI-Feedback-Schleife: Aufrechterhaltung der Modellproduktionsqualität im Zeitalter von AI-generiertem Inhalt

Produktions-eingesetzte AI-Modelle benötigen ein robustes und kontinuierliches Leistungsbeurteilungssystem. Hier kann eine AI-Feedback-Schleife eingesetzt werden, um eine konsistente Modellleistung zu gewährleisten.

Nehmen Sie es von Elon Musk:

„Ich denke, es ist sehr wichtig, eine Feedback-Schleife zu haben, in der Sie ständig überlegen, was Sie getan haben und wie Sie es besser machen können.“

Für alle AI-Modelle ist das Standardverfahren, das Modell zu deployen und es dann periodisch mit den neuesten Echtzeit-Daten neu zu trainieren, um sicherzustellen, dass seine Leistung nicht nachlässt. Aber mit dem rasanten Aufstieg von Generative AI ist das AI-Modell-Training zu einem anomalen und fehleranfälligen Prozess geworden. Das liegt daran, dass Online-Datenquellen (das Internet) allmählich zu einer Mischung aus menschlich generierten und AI-generierten Daten werden.

Beispielsweise enthalten viele Blogs heute AI-generierte Texte, die von LLMs (Large Language Modules) wie ChatGPT oder GPT-4 erstellt werden. Viele Datenquellen enthalten AI-generierte Bilder, die mit DALL-E2 oder Midjourney erstellt wurden. Darüber hinaus verwenden AI-Forscher synthetische Daten, die mit Generative AI in ihren Modell-Trainingspipelines generiert werden.

Daher benötigen wir ein robustes Mechanismus, um die Qualität von AI-Modellen sicherzustellen. Hier kommt die Notwendigkeit von AI-Feedback-Schleifen ins Spiel.

Was ist eine AI-Feedback-Schleife?

Eine AI-Feedback-Schleife ist ein iterativer Prozess, bei dem die Entscheidungen und Ausgaben eines AI-Modells kontinuierlich gesammelt und verwendet werden, um das Modell zu verbessern oder neu zu trainieren, was zu kontinuierlichem Lernen, Entwicklung und Modellverbesserung führt. In diesem Prozess werden die Trainingsdaten, Modellparameter und Algorithmen des AI-Systems aktualisiert und verbessert, basierend auf Eingaben, die innerhalb des Systems generiert werden.

Es gibt hauptsächlich zwei Arten von AI-Feedback-Schleifen:

1. Positive AI-Feedback-Schleifen: Wenn AI-Modelle genaue Ergebnisse liefern, die den Erwartungen und Vorlieben der Benutzer entsprechen, geben die Benutzer positive Feedback über eine Feedback-Schleife, die wiederum die Genauigkeit zukünftiger Ergebnisse verstärkt. Eine solche Feedback-Schleife wird als positiv bezeichnet.
2. Negative AI-Feedback-Schleifen: Wenn AI-Modelle ungenaue Ergebnisse liefern, melden die Benutzer Fehler über eine Feedback-Schleife, die wiederum versucht, die Stabilität des Systems zu verbessern, indem sie Fehler behebt. Eine solche Feedback-Schleife wird als negativ bezeichnet.

Beide Arten von AI-Feedback-Schleifen ermöglichen kontinuierliche Modellentwicklung und Leistungsverbesserung über die Zeit. Und sie werden nicht isoliert verwendet oder angewendet. Zusammen helfen sie produktions-eingesetzten AI-Modellen, zu verstehen, was richtig oder falsch ist.

Stadien von AI-Feedback-Schleifen

Eine hochrangige Illustration des Feedback-Mechanismus in AI-Modellen. Quelle

Das Verständnis, wie AI-Feedback-Schleifen funktionieren, ist wichtig, um das volle Potenzial von AI-Entwicklung zu entfalten. Lassen Sie uns die verschiedenen Stadien von AI-Feedback-Schleifen unten erkunden.

1. Feedback-Sammlung: Sammeln relevanter Modellergebnisse für die Bewertung. Typischerweise geben die Benutzer ihr Feedback über das Modellergebnis, das dann für die Neuschulung verwendet wird. Oder es kann externes Datenmaterial aus dem Web sein, das für die Feinabstimmung der Systemleistung kuratiert wird.
2. Modell-Neuschulung: Mit den gesammelten Informationen wird das AI-System neu trainiert, um bessere Vorhersagen zu treffen, Antworten zu liefern oder bestimmte Aktivitäten durchzuführen, indem die Modellparameter oder Gewichte verfeinert werden.
3. Feedback-Integration und -Test: Nach der Neuschulung wird das Modell erneut getestet und bewertet. In diesem Stadium wird auch das Feedback von Fachexperten (SMEs) einbezogen, um Probleme jenseits der Daten hervorzuheben.
4. Deployment: Das Modell wird nach der Überprüfung der Änderungen erneut bereitgestellt. In diesem Stadium sollte das Modell eine bessere Leistung auf neuen Echtzeit-Daten aufweisen, was zu einer verbesserten Benutzererfahrung führt.
5. Überwachung: Das Modell wird kontinuierlich mit Metriken überwacht, um potenzielle Verschlechterungen wie Drift zu identifizieren. Und der Feedback-Zyklus setzt sich fort.

Die Probleme in Produktionsdaten und AI-Modell-Ausgaben

Der Bau von robusten AI-Systemen erfordert ein gründliches Verständnis der potenziellen Probleme in Produktionsdaten (Echtzeit-Daten) und Modell-Ausgaben. Lassen Sie uns einige Probleme betrachten, die die Genauigkeit und Zuverlässigkeit von AI-Systemen behindern:

1. Daten-Drift: Tritt auf, wenn das Modell Echtzeit-Daten aus einer anderen Verteilung erhält als die Trainingsdaten-Verteilung des Modells.
2. Modell-Drift: Die Vorhersagefähigkeit und Effizienz des Modells nehmen über die Zeit aufgrund von sich ändernden Echtzeit-Umgebungen ab. Dies wird als Modell-Drift bezeichnet.
3. AI-Modell-Ausgabe vs. Echtzeit-Entscheidung: AI-Modelle produzieren ungenaue Ausgaben, die nicht mit den Entscheidungen von Echtzeit-Beteiligten übereinstimmen.
4. Voreingenommenheit und Fairness: AI-Modelle können Voreingenommenheit und Fairness-Probleme entwickeln. Beispielsweise hat Amazon (AMZN ) seine Arbeit an einem Résumé-Sortieralgorithmus aufgrund von Geschlechterdiskriminierung eingestellt, wie in einem TED-Vortrag von Janelle Shane beschrieben.

Wenn AI-Modelle auf AI-generiertem Inhalt trainiert werden, können diese Probleme weiter zunehmen. Wie? Lassen Sie uns dies genauer betrachten.

AI-Feedback-Schleifen im Zeitalter von AI-generiertem Inhalt

Im Zuge der schnellen Adoption von Generative AI haben Forscher ein Phänomen namens Modell-Kollaps studiert. Sie definieren Modell-Kollaps als:

„Degenerativer Prozess, der Generationen von gelernten generativen Modellen beeinflusst, bei dem die generierten Daten den Trainingsdatensatz des nächsten Modells verunreinigen; wenn sie auf verunreinigten Daten trainiert werden, nehmen sie die Realität falsch wahr.“

Modell-Kollaps umfasst zwei spezielle Fälle,

• Früher Modell-Kollaps tritt auf, wenn „das Modell beginnt, Informationen über die Schwänze der Verteilung zu verlieren“, d. h. die extremen Enden der Trainingsdaten-Verteilung.
• Später Modell-Kollaps tritt auf, wenn das „Modell verschiedene Modi der ursprünglichen Verteilungen verknüpft und zu einer Verteilung konvergiert, die nur wenig Ähnlichkeit mit der ursprünglichen aufweist, oft mit sehr kleiner Varianz.“

Ursachen von Modell-Kollaps

Um dieses Problem zu lösen, ist es für AI-Praktiker wichtig, die Gründe für Modell-Kollaps zu verstehen, die in zwei Hauptkategorien unterteilt sind:

1. Statistischer Approximationsfehler: Dieser Fehler wird durch die endliche Anzahl von Stichproben verursacht und verschwindet, wenn die Anzahl der Stichproben gegen unendlich geht.
2. Funktionaler Approximationsfehler: Dieser Fehler entsteht, wenn die Modelle, wie neuronale Netze, nicht in der Lage sind, die zugrunde liegende Funktion zu erfassen, die aus den Daten gelernt werden muss.

Ein Beispiel für Modell-Ergebnisse für mehrere Modell-Generationen, die von Modell-Kollaps betroffen sind. Quelle

Wie AI-Feedback-Schleifen durch AI-generierten Inhalt beeinflusst werden

Wenn AI-Modelle auf AI-generiertem Inhalt trainiert werden, hat dies einen destruktiven Effekt auf AI-Feedback-Schleifen und kann viele Probleme für die neu trainierten AI-Modelle verursachen, wie:

• Modell-Kollaps: Wie oben beschrieben, ist Modell-Kollaps eine wahrscheinliche Möglichkeit, wenn die AI-Feedback-Schleife AI-generierten Inhalt enthält.
• Katastrophales Vergessen: Eine typische Herausforderung beim kontinuierlichen Lernen ist, dass das Modell vergisst, was es zuvor gelernt hat, wenn es neue Informationen lernt. Dies wird als katastrophales Vergessen bezeichnet.
• Daten-Vergiftung: Es bezieht sich auf die Eingabe von manipulativem synthetischem Daten in das AI-Modell, um die Leistung zu kompromittieren und es dazu zu bringen, ungenaue Ausgaben zu produzieren.

Wie Unternehmen eine robuste Feedback-Schleife für ihre AI-Modelle erstellen können

Unternehmen können von der Verwendung von Feedback-Schleifen in ihren AI-Workflows profitieren. Befolgen Sie die drei Hauptschritte unten, um die Leistung Ihrer AI-Modelle zu verbessern.

• Feedback von Fachexperten: Fachexperten sind hoch qualifiziert in ihrem Bereich und verstehen die Verwendung von AI-Modellen. Sie können Einblicke liefern, um die Modell-Leistung mit Echtzeit-Situationen zu verbessern, was zu einer höheren Wahrscheinlichkeit korrekter Ergebnisse führt. Außerdem können sie AI-generierte Daten besser steuern und verwalten.
• Auswahl relevanter Modell-Qualitätsmetriken: Die Auswahl der richtigen Bewertungsmetriken für die richtige Aufgabe und die Überwachung des Modells in der Produktion basierend auf diesen Metriken kann die Modell-Qualität sicherstellen. AI-Praktiker verwenden auch MLOps-Tools für die automatisierte Bewertung und Überwachung, um alle Beteiligten zu alarmieren, wenn die Modell-Leistung in der Produktion zu verschlechtern beginnt.
• Strenges Daten-Curating: Wenn Produktions-Modelle auf neue Daten neu trainiert werden, können sie vergessen, was sie zuvor gelernt haben. Es ist daher wichtig, hochwertige Daten zu kuratieren, die gut zum Modell-Zweck passen. Diese Daten können verwendet werden, um das Modell in nachfolgenden Generationen neu zu trainieren, zusammen mit Benutzer-Feedback, um die Qualität sicherzustellen.

Um mehr über AI-Fortschritte zu erfahren, besuchen Sie Unite.ai.