Die KI-Feedbackschleife: Aufrechterhaltung der Qualität der Modellproduktion im Zeitalter KI-generierter Inhalte

In der Produktion eingesetzte KI-Modelle benötigen einen robusten und kontinuierlichen Mechanismus zur Leistungsbewertung. Hier kann eine KI-Feedbackschleife angewendet werden, um eine konsistente Modellleistung sicherzustellen.

Nehmen Sie es von Elon Musk:

"Ich denke, es ist sehr wichtig, eine Feedback-Schleife zu haben, in der du ständig darüber nachdenkst, was du getan hast und wie du es besser machen könntest."

Bei allen KI-Modellen besteht das Standardverfahren darin, das Modell bereitzustellen und es dann regelmäßig mit den neuesten Daten aus der realen Welt neu zu trainieren, um sicherzustellen, dass seine Leistung nicht nachlässt. Aber mit dem kometenhaften Aufstieg von Generative KIDas Training von KI-Modellen ist anomal und fehleranfällig geworden. Das liegt daran, dass Online-Datenquellen (das Internet) nach und nach zu einer Mischung aus von Menschen und KI generierten Daten werden.

Beispielsweise enthalten viele Blogs heute KI-generierten Text, der von unterstützt wird LLMs (Große Sprachmodule) wie ChatGPT oder GPT-4. Viele Datenquellen enthalten KI-generierte Bilder, die mit DALL-E2 oder Midjourney erstellt wurden. Darüber hinaus verwenden KI-Forscher in ihren Modelltrainingspipelines synthetische Daten, die mit generativer KI generiert wurden.

Daher brauchen wir einen robusten Mechanismus, um die Qualität von KI-Modellen sicherzustellen. Hier ist der Bedarf an KI-Feedbackschleifen immer größer geworden.

Was ist eine KI-Feedbackschleife?

Eine KI-Feedbackschleife ist ein iterativer Prozess, bei dem die Entscheidungen und Ergebnisse eines KI-Modells kontinuierlich erfasst und zur Verbesserung oder Neuschulung desselben Modells verwendet werden. Dies führt zu kontinuierlichem Lernen, Weiterentwicklung und Modellverbesserung. Dabei werden die Trainingsdaten, Modellparameter und Algorithmen des KI-Systems basierend auf systemintern generierten Eingaben aktualisiert und verbessert.

Im Wesentlichen gibt es zwei Arten von KI-Feedbackschleifen:

1. Positive KI-Feedbackschleifen: Wenn KI-Modelle genaue Ergebnisse generieren, die den Erwartungen und Vorlieben der Benutzer entsprechen, geben die Benutzer über eine Feedbackschleife positives Feedback, was im Gegenzug die Genauigkeit zukünftiger Ergebnisse verstärkt. Eine solche Rückkopplungsschleife wird als positiv bezeichnet.
2. Negative KI-Feedbackschleifen: Wenn KI-Modelle ungenaue Ergebnisse liefern, melden die Benutzer Fehler über eine Rückkopplungsschleife, die im Gegenzug versucht, die Stabilität des Systems durch die Behebung von Fehlern zu verbessern. Eine solche Rückkopplungsschleife wird als negativ bezeichnet.

Beide Arten von KI-Feedbackschleifen ermöglichen eine kontinuierliche Modellentwicklung und Leistungsverbesserung im Laufe der Zeit. Und sie werden nicht isoliert verwendet oder angewendet. Gemeinsam helfen sie den in der Produktion eingesetzten KI-Modellen dabei, zu erkennen, was richtig und was falsch ist.

Phasen von KI-Feedbackschleifen

Eine allgemeine Darstellung des Feedback-Mechanismus in KI-Modellen. Quelle

Um das volle Potenzial der KI-Entwicklung auszuschöpfen, ist es wichtig zu verstehen, wie KI-Feedbackschleifen funktionieren. Im Folgenden untersuchen wir die verschiedenen Phasen von KI-Feedbackschleifen.

1. Feedback-Sammlung: Sammeln Sie relevante Modellergebnisse zur Bewertung. In der Regel geben Benutzer ihr Feedback zum Modellergebnis ab, das dann für die Neuschulung verwendet wird. Oder es können externe Daten aus dem Web sein, die zur Feinabstimmung der Systemleistung kuratiert werden.
2. Modellumschulung: Anhand der gesammelten Informationen wird das KI-System neu trainiert, um bessere Vorhersagen zu treffen, Antworten zu geben oder bestimmte Aktivitäten auszuführen, indem die Modellparameter oder -gewichte verfeinert werden.
3. Feedback-Integration und -Tests: Nach dem erneuten Training wird das Modell erneut getestet und bewertet. In dieser Phase wird auch Feedback von Fachexperten (KMU) einbezogen, um Probleme hervorzuheben, die über Daten hinausgehen.
4. Einsatz: Das Modell wird nach der Überprüfung der Änderungen erneut bereitgestellt. Zu diesem Zeitpunkt sollte das Modell eine bessere Leistung bei neuen realen Daten melden, was zu einer verbesserten Benutzererfahrung führt.
5. Monitoring: Das Modell wird kontinuierlich anhand von Metriken überwacht, um potenzielle Verschlechterungen wie Drift zu erkennen. Und der Feedback-Zyklus geht weiter.

Die Probleme bei der Ausgabe von Produktionsdaten und KI-Modellen

Der Aufbau robuster KI-Systeme erfordert ein gründliches Verständnis der potenziellen Probleme bei Produktionsdaten (realen Daten) und Modellergebnissen. Schauen wir uns einige Probleme an, die zu einer Hürde bei der Gewährleistung der Genauigkeit und Zuverlässigkeit von KI-Systemen werden:

1. Datendrift: Tritt auf, wenn das Modell beginnt, reale Daten aus einer anderen Verteilung zu empfangen als der Trainingsdatenverteilung des Modells.
2. Modelldrift: Die Vorhersagefähigkeiten und die Effizienz des Modells nehmen mit der Zeit aufgrund sich ändernder realer Umgebungen ab. Dies wird als Modelldrift bezeichnet.
3. KI-Modellausgabe vs. reale Entscheidung: KI-Modelle erzeugen ungenaue Ergebnisse, die nicht mit den Entscheidungen der Stakeholder in der Praxis übereinstimmen.
4. Voreingenommenheit und Fairness: KI-Modelle können Voreingenommenheit und Gerechtigkeitsprobleme entwickeln. Zum Beispiel in einem TED-Vortrag von Janelle Shane, beschreibt sie die Entscheidung von Amazon, die Arbeit an einem Sortieralgorithmus für Lebensläufe aufgrund von Geschlechterdiskriminierung einzustellen.

Sobald die KI-Modelle mit dem Training auf KI-generierten Inhalten beginnen, können diese Probleme noch zunehmen. Wie? Lassen Sie uns dies genauer besprechen.

KI-Feedbackschleifen im Zeitalter KI-generierter Inhalte

Im Zuge der schnellen Einführung generativer KI haben Forscher ein Phänomen untersucht, das als bekannt ist Modellkollaps. Sie definieren den Modellkollaps als:

„Degenerativer Prozess, der sich auf Generationen erlernter generativer Modelle auswirkt und bei dem generierte Daten letztendlich den Trainingssatz der nächsten Generation von Modellen verunreinigen; Da sie auf verfälschten Daten trainiert werden, nehmen sie die Realität falsch wahr.“

Der Modellkollaps besteht aus zwei Sonderfällen:

• Früher Modellkollaps passiert, wenn „das Modell anfängt, Informationen über die Enden der Verteilung zu verlieren“, also die äußersten Enden der Trainingsdatenverteilung.
• Später Modellkollaps geschieht, wenn das „Modell verschiedene Modi der Originalverteilungen miteinander verknüpft und zu einer Verteilung konvergiert, die ein wenig Ähnlichkeit mit der Originalverteilung aufweist, oft mit sehr geringer Varianz.“

Ursachen für den Modellzusammenbruch

Damit KI-Praktiker dieses Problem angehen können, ist es wichtig, die Gründe für den Modellkollaps zu verstehen, die in zwei Hauptkategorien eingeteilt werden:

1. Statistischer Näherungsfehler: Dies ist der Hauptfehler, der durch die endliche Anzahl von Stichproben verursacht wird, und er verschwindet, wenn die Stichprobenanzahl gegen Unendlich geht.
2. Funktioneller Approximationsfehler: Dieser Fehler entsteht, wenn die Modelle, beispielsweise neuronale Netze, nicht in der Lage sind, die tatsächliche zugrunde liegende Funktion zu erfassen, die aus den Daten gelernt werden muss.

Eine Stichprobe von Modellergebnissen für mehrere Modellgenerationen, die vom Modellkollaps betroffen sind. Quelle

Wie die KI-Feedbackschleife durch KI-generierte Inhalte beeinflusst wird

Wenn KI-Modelle auf KI-generierten Inhalten trainieren, wirkt sich dies destruktiv auf KI-Feedbackschleifen aus und kann viele Probleme für die neu trainierten KI-Modelle verursachen, wie zum Beispiel:

• Modellzusammenbruch: Wie oben erläutert, ist ein Modellkollaps wahrscheinlich, wenn die KI-Feedbackschleife KI-generierte Inhalte enthält.
• Katastrophales Vergessen: Eine typische Herausforderung beim kontinuierlichen Lernen besteht darin, dass das Modell frühere Beispiele vergisst, wenn es neue Informationen lernt. Dies wird als katastrophales Vergessen bezeichnet.
• Datenverschmutzung: Dabei handelt es sich um die Einspeisung manipulativer synthetischer Daten in das KI-Modell, die die Leistung beeinträchtigen und zu ungenauen Ergebnissen führen.

Wie können Unternehmen eine robuste Feedbackschleife für ihre KI-Modelle erstellen?

Unternehmen können von Feedbackschleifen in ihren KI-Workflows profitieren. Befolgen Sie die drei folgenden Schritte, um die Leistung Ihrer KI-Modelle zu verbessern.

• Feedback von Fachexperten: KMU verfügen über umfassende Fachkenntnisse in ihrem Bereich und verstehen den Einsatz von KI-Modellen. Sie können Einblicke bieten, um die Modellanpassung an reale Umgebungen zu verbessern und so die Chance auf korrekte Ergebnisse zu erhöhen. Außerdem können sie KI-generierte Daten besser steuern und verwalten.
• Wählen Sie relevante Modellqualitätsmetriken aus: Durch die Auswahl der richtigen Bewertungsmetrik für die richtige Aufgabe und die Überwachung des Modells in der Produktion auf der Grundlage dieser Metriken kann die Modellqualität sichergestellt werden. KI-Praktiker nutzen außerdem MLOps-Tools zur automatisierten Auswertung und Überwachung, um alle Beteiligten zu warnen, wenn sich die Modellleistung in der Produktion zu verschlechtern beginnt.
• Strikte Datenkuration: Wenn Produktionsmodelle anhand neuer Daten neu trainiert werden, können sie frühere Informationen vergessen. Daher ist es von entscheidender Bedeutung, qualitativ hochwertige Daten zu kuratieren, die gut mit dem Zweck des Modells übereinstimmen. Diese Daten können verwendet werden, um das Modell in nachfolgenden Generationen neu zu trainieren, zusammen mit Benutzerfeedback, um die Qualität sicherzustellen.

Weitere Informationen zu KI-Fortschritten finden Sie unter Unite.ai.