Die ‘Laden Sie mehr Labels herunter!’-Illusion in der KI-Forschung

Eine gängige Meinung in der aktuellen maschinellen Lernforschung ist, dass maschinelles Lernen selbst verwendet werden kann, um die Qualität von KI-Datensatz-Anmerkungen zu verbessern – insbesondere Bildunterschriften, die für die Verwendung in Vision-Sprachmodellen (VLMs) bestimmt sind. Diese Denkweise wird durch die hohen Kosten der menschlichen Anmerkung und die zusätzliche Belastung der Überwachung der Leistung der Anmerker getrieben.

Man könnte argumentieren, dass dies das Äquivalent der frühen 2000er ‘Laden Sie mehr RAM herunter’-Meme ist, das die Vorstellung satirisiert, dass eine Hardware-Beschränkung durch eine softwarebasierte Lösung behoben werden kann.

Es ist auch ein unterbewertetes Problem; während neue KI-Modelle in öffentlichen und kommerziellen Bereichen weit verbreitet sind, erscheint die Anmerkung oft als ein triviales Detail in maschinellen Lernpipelines, überschattet von der Aufregung um umfassendere Frameworks.

In Wirklichkeit hängt die Fähigkeit von maschinellen Lernsystemen, Muster zu erkennen und zu reproduzieren (der zentrale Anwendungsfall fast aller KI-Systeme), von der Qualität und Konsistenz realer Anmerkungen ab – Labels und Phrasen, die von realen Menschen erstellt oder beurteilt werden, oft unter subjektiven Urteilen über einzelne Datenpunkte in nicht idealen Umständen.

Unvermeidlich können Systeme, die versuchen, Muster im Anmerkungsverhalten zu beobachten und zu reproduzieren (und damit menschliche Anmerker zu ersetzen und genaue Beschriftung im großen Maßstab zu ermöglichen), nicht gut auf Daten funktionieren, die nicht in den Beispielen enthalten sind, die von menschlichen Beobachtern genommen wurden. Nichts “Ähnliches” ist ganz gleich, und die cross-domänenäquivalente bleibt ein problematisches Vorhaben in der Computer-Vision.

Der “upstream-Daten-Buck” muss irgendwo stoppen, und in diesem Fall ist das genau, wo er stoppt – mit einem menschlichen Kleinhirn, das eine Art subjektive Unterscheidung trifft, um Daten für ein künstliches System zu kodifizieren.

Die RAG-Branche

Bis vor kurzem wurden die Ungenauigkeiten, die durch unterkuratierte Datensatzanmerkungen entstanden, vielleicht als akzeptable Kollateralschäden im Kontext der unvollkommenen, aber immer noch marktfähigen Ergebnisse von generativen KI-Systemen angesehen.

Tatsächlich kam eine Studie aus Singapur zum Schluss, dass Halluzinationen – d. h. die Gelegenheiten, bei denen KI-Systeme Dinge erfinden, die unsere Absichten untergraben – unvermeidlich sind und in der konzeptionellen Architektur solcher Systeme verwurzelt sind.

Um dies zu bekämpfen, werden RAG-basierte Agenten – die Fakten durch Internet-Suchen “überprüfen” können – in der Forschung und in kommerziellen Lösungen beliebt. Allerdings erhöhen sie die Ressourcenkosten und die Latenz bei Abfragen; zusätzlich kann neue Information, die auf ein trainiertes Modell angewendet wird, nicht mit den komplexeren und tiefer verflochtenen Verbindungen konkurrieren, die die nativen Schichten in einem trainierten Modell kennzeichnen.

Es wäre daher besser, wenn die Anmerkungsdaten, die diese Modelle informieren, von vornherein erheblich weniger fehlerhaft wären, auch wenn sie nicht perfekt sein können (nicht zuletzt, weil diese Aktivität in den Bereich der menschlichen Subjektivität eindringt).

RePOPE

Ein neues Papier aus Deutschland hebt die Probleme hervor, die durch die Verwendung älterer, weit verbreiteter Datensätze entstehen, insbesondere im Hinblick auf die Genauigkeit und Zuverlässigkeit ihrer Bildunterschriften. Die Forscher kommen zu dem Schluss, dass Bezeichnungsfehler in Benchmarks Halluzinationen in Vision-Sprachmodellen maskieren oder falsch darstellen können.

Aus dem neuen Papier, einige Beispiele, in denen die ursprünglichen Bildunterschriften es nicht schafften, Objekte im MSCOCO-Datensatz von Bildern richtig zu identifizieren. Die manuelle Revision des POPE-Benchmark-Datensatzes durch die Forscher behebt diese Mängel und zeigt die Kosten der Einsparungen bei der Anmerkungskuration. Quelle: https://arxiv.org/pdf/2504.15707

Stellen Sie sich vor, ein Modell wird ein Bild einer Straßenszene gezeigt und gefragt, ob sich darauf ein Fahrrad befindet. Das Modell antwortet ja. Wenn der Benchmark-Datensatz angibt, dass es kein Fahrrad gibt, wird das Modell als falsch markiert. Aber wenn ein Fahrrad deutlich sichtbar auf dem Bild ist und einfach während der Anmerkung übersehen wurde, dann war die Antwort des Modells korrekt, und der Benchmark hat versagt. Fehler wie dieser können sich über den Datensatz hinweg ansammeln und ein verzerrtes Bild davon vermitteln, welche Modelle genau sind und welche anfällig für Halluzinationen sind.

Daher können Modelle, die falsche oder mehrdeutige Anmerkungen als Grundwahrheit behandeln, als halluzinierend erscheinen, wenn sie korrekt sind, oder als genau, wenn sie es nicht sind, und so die Messung der Halluzination und die Bewertung der Modellleistung verzerren und es schwieriger machen, das Problem mit Sicherheit zu diagnostizieren oder anzugehen.

Das neue Papier überprüft einen weit verbreiteten Benchmark namens Polling-basierte Objekt-Prüfungsbewertung (POPE), der testet, ob Vision-Sprachmodelle korrekt sagen können, was in einem Bild ist oder nicht.

POPE basiert auf Bezeichnungen aus dem einflussreichen Microsoft COCO: Common Objects in Context (MSCOCO)-Datensatz, einer Sammlung von annotierten Bildern, die lange als gut annotiert galten.

POPE bewertet die Objekthalluzination in großen Vision-Sprachmodellen, indem es das Problem als binäre Klassifizierungsaufgabe umformuliert. Anstatt generierte Bildunterschriften zu analysieren, stellt das System dem Modell einfache ja/nein-Fragen zu bestimmten Objekten in einem Bild, unter Verwendung von Vorlagen wie ‘Gibt es ein <Objekt> im Bild?’.

Beispiele für Objekthalluzinationen in Vision-Sprachmodellen. Fettgedruckte Bezeichnungen zeigen Objekte an, die in den ursprünglichen Anmerkungen als vorhanden markiert sind, während rote Bezeichnungen Objekte anzeigen, die von den Modellen halluziniert werden. Das linke Beispiel spiegelt eine traditionelle instruktionsbasierte Bewertung wider, während die drei Beispiele rechts aus verschiedenen POPE-Benchmark-Varianten stammen. Quelle: https://aclanthology.org/2023.emnlp-main.20.pdf

Die Autoren des neuen Papiers – betitelt RePOPE: Auswirkungen von Anmerkungsfehlern auf den POPE-Benchmark – hinterfragen die angenommene Genauigkeit von POPE, indem sie die Bezeichnungen auf den Bildern des Benchmarks (d. h. MSCOCO) überprüfen – und feststellen, dass eine überraschend große Anzahl davon falsch oder unklar ist.

Beispiele aus dem MSCOCO-Datensatz von 2014. Quelle: https://arxiv.org/pdf/1405.0312

Diese Fehler ändern die Art und Weise, wie Modelle bewertet werden, wobei einige, die ursprünglich gut abschnitten, unter den korrigierten Bezeichnungen zurückfallen.

In Tests bewerteten die Autoren eine Reihe von offenen Gewichts-Vision-Sprachmodellen auf dem ursprünglichen POPE-Benchmark und ihrer überarbeiteten RePOPE-Version.

Laut dem Papier führten die korrigierten Anmerkungen zu bemerkenswerten Änderungen in den Modellbewertungen, insbesondere in den F1-Scores, wobei mehrere Spitzenmodelle unter POPE auf RePOPE zurückfielen.

Die Autoren argumentieren, dass dieser Wechsel die Auswirkungen von Anmerkungsfehlern auf Benchmark-Ergebnisse unterstreicht und den Bedarf an hochwertigen Daten unterstreicht. Um eine zuverlässigere Bewertung der Objekthalluzination zu unterstützen, haben sie die korrigierten Bezeichnungen auf GitHub veröffentlicht.

Die Autoren weisen jedoch darauf hin, dass diese Überarbeitung das Sättigungsproblem des Benchmarks nicht vollständig löst, da viele Modelle immer noch wahre positive und wahre negative Raten über 90 % erzielen. Sie schlagen vor, dass zusätzliche Benchmarks wie DASH-B, der eine herausforderndere Menge von negativen Beispielen verwendet, neben RePOPE verwendet werden sollten.

Methode und Tests

Die Forscher haben alle Anmerkungen im ursprünglichen MSCOCO-Datensatz überarbeitet, wobei zwei menschliche Anmerker für jeden Datenpunkt zugewiesen wurden. Wenn Unsicherheiten hinsichtlich der Qualität der ursprünglichen Bezeichnungen auftraten (wie in den folgenden Beispielen), wurden diese Ergebnisse von der Testrunde ausgeschlossen.

Zweideutige Fälle, in denen Inkonsistenzen in POPE auf unklare Kategoriegrenzen hinweisen. Zum Beispiel ein Teddybär, der als Bär bezeichnet wird, ein Motorrad, das als Fahrrad bezeichnet wird, oder Flughafengefährte, die als Autos bezeichnet werden. Diese Fälle werden aufgrund der subjektiven Natur solcher Klassifizierungen sowie der Inkonsistenzen in den ursprünglichen Bezeichnungen von MSCOCO aus RePOPE ausgeschlossen.

Das Papier besagt:

‘Die ursprünglichen Anmerker haben Personen im Hintergrund oder hinter Glas übersehen, der Tennispieler verdeckt die ‘Stühle’ im Hintergrund und der Cole-Salat enthält nur einen kleinen sichtbaren Streifen von einer Karotte.

‘Für einige Objekte sind die COCO-Anmerkungen aufgrund unterschiedlicher Definitionen, die von den ursprünglichen Anmerkern verwendet wurden, sehr inkonsistent. Die Klassifizierung eines ‘Teddybären’ als ‘Bär’, ein Motorrad als motorisiertes ‘Fahrrad’ oder ein Flughafengefährt als ‘Auto’ hängt von spezifischen Definitionen ab, was zu Inkonsistenzen in den POPE-Grundwahrheitsanmerkungen führt. Daher bezeichnen wir die entsprechenden Bild-Frage-Paare als ‘zweideutig’.’

Ergebnisse der Überarbeitung: Die positiven Fragen sind in allen drei POPE-Varianten gleich. Von den mit ‘Ja’ bezeichneten Fragen in POPE wurden 9,3 % als falsch und 13,8 % als zweideutig befunden. Von den mit ‘Nein’ bezeichneten Fragen wurden 1,7 % falsch und 4,3 % als zweideutig befunden.

Die Autoren bewerteten eine Reihe von offenen Gewichtsmodellen auf POPE und auf RePOPE, über verschiedene Architekturen und Modellgrößen hinweg. Die ausgewählten Modelle umfassten einige der führenden Architekturen auf der OpenVLM-Rangliste: InternVL2.5 (8B/26B/38B/78B und 8B-MPO/26B-MPO); LLaVA-NeXT; Vicuna; Mistral 7b; Llama; LLaVA-OneVision; Ovis2 (1B/2B/4B/8B); PaliGemma-3B; und PaliGemma2 (3B/10B).

Anfängliche Ergebnisse: Die hohe Fehlerrate in den ursprünglichen positiven Bezeichnungen führt zu einem starken Rückgang der wahren Positiven bei allen Modellen. Falsche Positiven variieren über die Subsets hinweg, fast verdoppeln sich auf dem zufälligen Subset, bleiben aber im Wesentlichen unverändert auf dem populären Subset und zeigen einen leichten Rückgang auf dem adversativen Subset. Die Überarbeitung der Bezeichnungen hat einen großen Einfluss auf die F1-basierten Bewertungen. Modelle wie Ovis2-4B und Ovis2-8B, die auf dem populären und adversativen Splits in POPE gut abschnitten, steigen auch auf dem zufälligen Subset unter RePOPE auf.

Die Ergebnisgrafiken oben zeigen, wie sich die Anzahl der wahren Positiven und falschen Positiven nach der Korrektur der Bezeichnungen im Benchmark ändert.

Die wahren Positiven sanken bei allen Modellen, was zeigt, dass sie oft für korrekte Antworten gutgeschrieben wurden, wenn diese Antworten nur unter fehlerhaften Bezeichnungen korrekt waren, während die falschen Positiven ein variierteres Muster aufwiesen.

Auf dem ‘zufälligen’ Teil von POPE verdoppelten sich die falschen Positiven bei vielen Modellen fast, was darauf hindeutet, dass eine erhebliche Anzahl von Objekten, die als Halluzinationen markiert wurden, tatsächlich auf den Bildern vorhanden, aber in den ursprünglichen Anmerkungen übersehen wurden. In diesem Fall waren viele vermeintliche Modellfehler tatsächlich Fehler in der Datensatzbezeichnung.

Bei der ‘adversativen’ Version von POPE, bei der Fragen auf Objekten basierten, die häufig zusammen vorkommen, sanken die falschen Positiven. Dies spiegelt wahrscheinlich eine höhere Wahrscheinlichkeit wider, dass das vermeintlich abwesende Objekt tatsächlich im Bild war, aber unmarkiert blieb.

Obwohl diese Verschiebungen die Genauigkeit und die Treffsicherheit beeinflussten, blieben die Modellbewertungen für beide Metriken relativ stabil.

Der F1-Score – die Hauptbewertungsmesszahl von POPE – war viel empfindlicher gegenüber den Bezeichnungskorrekturen. Auf dem zufälligen Subset fielen Modelle, die ursprünglich unter den besten waren, wie InternVL2.5-8B und -26B, auf die unteren Ränge zurück, wenn sie mit RePOPE bewertet wurden. Andere, wie Ovis2-4B und -8B, stiegen auf die oberen Ränge auf.

Ein ähnliches Muster zeigte sich in den Genauigkeitswerten, obwohl die Autoren anmerken, dass diese jetzt möglicherweise verzerrt sind, da der korrigierte Datensatz eine ungleiche Anzahl von positiven und negativen Beispielen enthält.

Die Autoren argumentieren, dass der starke Einfluss von Anmerkungsfehlern auf Benchmark-Ergebnisse den Bedarf an hochwertigen Daten unterstreicht und präsentieren RePOPE als zuverlässigeres Werkzeug zur Bewertung der Halluzinationsanfälligkeit.

Schlussfolgerung

Dieses spezifische Experiment war möglich, weil der Datensatz sehr klein war. Die Beweisführung für dieselbe Hypothese auf hyperskaligen Datensätzen würde bedeuten, an sehr begrenzten Fragmenten der Daten zu arbeiten; in sehr vielfältigen großen Datensätzen könnte es fast unmöglich sein, statistisch repräsentative und semantisch kohärente Gruppierungen zu isolieren – was die Ergebnisse verzerren könnte.

Was auch immer die Lösung sein mag, sie führt unweigerlich zurück zur Notwendigkeit besserer und umfangreicherer menschlicher Anmerkung.

In dieser Hinsicht sind ‘besser’ und ‘umfangreicher’ separate Probleme, da man durch Billigkeitsökonomien wie Amazon Mechanical Turk (AMT) eine größere Menge an Anmerkungen erhalten kann. Offensichtlich führt diese potenziell ausbeuterische Subökonomie häufig zu unterlegenen Ergebnissen.

Alternativ könnte man Anmerkaufgaben in wirtschaftliche Regionen auslagern, in denen dieselben Ausgaben eine größere Menge an Anmerkungen ergeben würden. Allerdings ist es desto unwahrscheinlicher, dass das resultierende Modell den Bedürfnissen oder Erwartungen des Zielbereichs entspricht, je weiter der Anmerker von der beabsichtigten Verwendung des Modells entfernt ist, dessen Bezeichnungen er gestalten wird.

Dies bleibt eine der hartnäckigsten und ungelösten Herausforderungen in der Ökonomie der maschinellen Lernentwicklung.

Erstveröffentlicht am Mittwoch, 23. April 2025