Überinterpretation kann eine größere und unüberwindbarere Bedrohung sein als Überanpassung

Wenn Ihre gute Freundin Alice gerne gelbe Pullover trägt, werden Sie wahrscheinlich viele mehr gelbe Pullover sehen als der Durchschnittsmensch. Nach einer Weile ist es möglich, dass Ihnen, wenn Sie eine andere Frau mit einem gelben Pullover sehen, das Kernkonzept Alice in den Sinn kommt.

Wenn Sie eine Frau mit einem gelben Pullover sehen, die ähnlich wie Alice aussieht, können Sie sie sogar vorübergehend mit Ihrer Freundin verwechseln.

Aber es ist nicht Alice. Irgendwann werden Sie erkennen, dass gelber Pullover kein nützliches Merkmal für die Identifizierung von Alice ist, da sie nie im Sommer und nicht immer im Winter Pullover trägt. Irgendwann in der Freundschaft werden Sie anfangen, gelber Pullover als mögliche Alice-Identität herabzustufen, weil Ihre Erfahrung damit unzureichend war und die kognitive Energie, die für die Aufrechterhaltung dieses Shortcuts verwendet wird, nicht häufig belohnt wird.

Wenn Sie ein computervisionbasiertes Erkennungssystem sind, ist es jedoch möglich, dass Sie Alice überall sehen, wo Sie einen gelben Pullover sehen.

Es ist nicht Ihre Schuld; Sie wurden beauftragt, Alice unter allen Umständen zu identifizieren, mit dem minimalen verfügbaren Informationen, und es gibt keine Knappheit an kognitiven Ressourcen, um diese reduzierte Alice-Hilfe aufrechtzuerhalten.

Unheimliche Erkenntnis

Laut einer aktuellen Studie des MIT Computer Science & Artificial Intelligence Laboratory (CSAIL) und Amazon Web Services ist dieses Syndrom, das als Überinterpretation bezeichnet wird, im Bereich der computervisionbasierten Forschung (CV) weit verbreitet; kann nicht durch die Bekämpfung von Überanpassung gemildert werden (da es nicht direkt mit Überanpassung zusammenhängt); tritt häufig in Forschungen auf, die die beiden einflussreichsten Datensätze für Bilderkennung und -transformation, CIFAR-10 und ImageNet, verwenden; und hat keine einfachen Lösungen – sicherlich keine billigen Lösungen.

Die Forscher fanden heraus, dass, wenn die Eingabebilder auf nur 5% ihres kohärenten Inhalts reduziert werden, eine Vielzahl von populären Frameworks die Bilder weiterhin korrekt klassifizieren, die in den meisten Fällen wie visuelles “Kauderwelsch” für jeden menschlichen Beobachter erscheinen:

Ursprüngliche Trainingsbilder aus CIFAR-10, reduziert auf nur 5% des ursprünglichen Pixelinhalts, aber korrekt klassifiziert von einer Vielzahl von populären computervisionbasierten Frameworks mit einer Genauigkeit von 90-99%. Quelle: https://arxiv.org/pdf/2003.08907.pdf

In einigen Fällen finden die Klassifizierungsframeworks diese reduzierten Bilder sogar leichter zu klassifizieren als die vollständigen Frames in den ursprünglichen Trainingsdaten, wobei die Autoren beobachten: ‘[CNNs] sind auf diesen Pixel-Subsets zuversichtlicher als auf vollständigen Bildern’.

Dies deutet auf eine potenziell untergrabende Art von “Schummeln” hin, die bei CV-Systemen, die Benchmark-Datensätze wie CIFAR-10 und ImageNet und Benchmark-Frameworks wie VGG16, ResNet20 und ResNet18 verwenden, als gängige Praxis auftritt.

Überinterpretation hat bemerkenswerte Auswirkungen auf CV-basierte autonome Fahrzeugsysteme, die kürzlich mit Teslas Entscheidung in den Fokus gerückt sind, Bildinterpretation gegenüber LiDAR und anderen strahlungsbasierten Sensorsystemen für selbstfahrende Algorithmen zu bevorzugen.

Obwohl “Shortcut-Lernen” eine bekannte Herausforderung ist und ein Forschungsgebiet in der computervisionbasierten Forschung, kommentieren die Autoren der Studie, dass die deutsch-kanadische Forschung, die das Problem 2019 einrahmte, nicht erkennt, dass die “spuriosen” Pixel-Subsets, die die Überinterpretation charakterisieren, “statistisch gültige Daten” sind, die in Bezug auf Architektur und höhere Ansätze angegangen werden müssen, anstatt durch sorgfältigere Kuratierung von Datensätzen.

Die Studie trägt den Titel Überinterpretation enthüllt Pathologien von Bildklassifizierungsmodellen und stammt von Brandon Carter, Siddhartha Jain und David Gifford von CSAIL in Zusammenarbeit mit Jonas Mueller von Amazon Web Services. Der Code für die Studie ist unter https://github.com/gifford-lab/overinterpretation verfügbar.

Daten reduzieren

Die Daten, die die Forscher verwendet haben, werden von ihnen als ausreichende Eingabe-Subsets (SIS) bezeichnet – im Wesentlichen enthält ein SIS-Bild den minimal möglichen “äußeren Rahmen”, der ein Bild gut genug umreißen kann, um es einem computervisionbasierten System zu ermöglichen, das ursprüngliche Thema des Bildes zu identifizieren (d. h. Hund, Schiff usw.).

In der oberen Reihe sehen wir vollständige ImageNet-Validierungsbilder; unten die SIS-Subsets, korrekt klassifiziert von einem Inception-V3-Modell mit 90% Konfidenz, basierend offensichtlich auf allem, was vom Bild übrig bleibt – Hintergrundkontext. Natürlich hat die letzte Spalte bemerkenswerte Auswirkungen auf die Erkennung von Schildern in selbstfahrenden Fahrzeugalgorithmen.

In Bezug auf die in dem obigen Bild erhaltenen Ergebnisse bemerken die Forscher:

‘Wir finden, dass SIS-Pixel außerhalb des tatsächlichen Objekts konzentriert sind, das die Klassenbezeichnung bestimmt. Zum Beispiel ist im “Pizza”-Bild das SIS auf die Form des Tellers und den Hintergrundtisch konzentriert, anstatt auf die Pizza selbst, was darauf hindeutet, dass das Modell möglicherweise schlecht generalisiert auf Bilder mit unterschiedlichen runden Gegenständen auf einem Tisch. Im “Riesenpanda”-Bild enthält das SIS Bambus, der wahrscheinlich in der Sammlung von ImageNet-Fotos für diese Klasse auftrat.

‘In den “Ampel”- und “Straßenschild”-Bildern besteht das SIS aus Pixeln im Himmel, was darauf hindeutet, dass autonome Fahrzeugsysteme, die auf diese Modelle angewiesen sind, sorgfältig auf Überinterpretationspathologien überprüft werden sollten.’

SIS-Bilder werden nicht willkürlich beschnitten, sondern wurden für das Projekt durch einen Batched-Gradient-Backselect-Prozess auf Inception-V3 und ResNet50 via PyTorch erstellt. Die Bilder werden durch eine Ablationsroutine abgeleitet, die die Beziehung zwischen der Fähigkeit eines Modells, ein Bild genau zu klassifizieren, und den Bereichen berücksichtigt, in denen die ursprünglichen Daten iterativ entfernt werden.

Um die Gültigkeit von SIS zu bestätigen, testeten die Autoren einen Prozess der zufälligen Pixelentfernung und fanden die Ergebnisse “erheblich weniger informativ” in Tests, was darauf hindeutet, dass SIS-Bilder tatsächlich die Mindestdaten darstellen, die populäre Modelle und Datensätze benötigen, um akzeptable Vorhersagen zu treffen.

Ein Blick auf eines der reduzierten Bilder legt nahe, dass diese Modelle auf einem Niveau scheitern sollten, das dem menschlichen visuellen Urteilsvermögen entspricht, was zu einer mittleren Genauigkeit von weniger als 20% führen würde.

Mit SIS-Bildern, reduziert auf nur 5% ihrer ursprünglichen Pixel, erreichen Menschen kaum eine “größer als zufällige” Klassifizierungsrate, im Vergleich zu der 90-99%-igen Erfolgsrate der populären Datensätze und Frameworks, die in der Studie untersucht wurden.

Jenseits der Überanpassung

Überanpassung tritt auf, wenn ein maschinelles Lernmodell so intensiv auf einem Datensatz trainiert wird, dass es bei der Vorhersage für diesen spezifischen Datensatz sehr gut wird, aber viel weniger effektiv (oder sogar völlig ineffektiv) auf neue Daten, die nach dem Training eingeführt werden (außerhalb der Verteilung).

Die Forscher bemerken, dass das aktuelle akademische und industrielle Interesse an der Bekämpfung von Überanpassung nicht gleichzeitig die Überinterpretation lösen wird, da die reduzierten Pixel-Subsets, die für Computer erkennbare Bilder darstellen und für Menschen sinnloses Kauderwelsch sind, tatsächlich gültige Daten sind, anstatt eine “besessene” Konzentration auf schlecht kuratierte oder anämische Daten:

‘Überinterpretation ist mit Überanpassung verwandt, aber Überanpassung kann durch verringerte Testgenauigkeit diagnostiziert werden. Überinterpretation kann aus wahren statistischen Signalen in der zugrunde liegenden Datensatzverteilung resultieren, die durch bestimmte Eigenschaften der Datenquelle entstehen (z. B. Dermatologen-Maßstäbe).

‘Daher kann Überinterpretation schwieriger zu diagnostizieren sein, da sie Entscheidungen zulässt, die durch statistisch gültige Kriterien getroffen werden, und Modelle, die solche Kriterien verwenden, bei Benchmarks hervorragend abschneiden können.’

Mögliche Lösungen

Die Autoren schlagen vor, dass Modell-Ensembling, bei dem mehrere Architekturen zum Bewertungs- und Trainingsprozess beitragen, dazu beitragen kann, die Überinterpretation zu mildern. Sie fanden auch heraus, dass die Anwendung von Input-Dropout, ursprünglich entwickelt, um Überanpassung zu verhindern, zu einem “kleinen Rückgang” in der CIFAR-10-Testgenauigkeit (was wahrscheinlich wünschenswert ist) führte, aber einem “erheblichen” (∼ 6%) Anstieg in der Genauigkeit der Modelle auf nicht gesehenen Daten. Allerdings deuten die niedrigen Zahlen darauf hin, dass jede nachfolgende Heilung für Überanpassung wahrscheinlich nicht vollständig die Überinterpretation angehen wird.

Die Autoren räumen die Möglichkeit ein, Saliency-Maps zu verwenden, um zu zeigen, welche Bereiche eines Bildes für die Merkmalsextraktion relevant sind, aber bemerken, dass dies das Ziel der automatischen Bildanalyse konterkariert und menschliche Annotation erfordert, die in großem Umfang nicht machbar ist. Sie bemerken weiter, dass Saliency-Maps als nur grobe Schätzer in Bezug auf Einblicke in die Modelloperationen gefunden wurden.

Die Studie schließt mit folgendem Ergebnis:

‘Angesichts der Existenz nicht-salienter Pixel-Subsets, die allein für eine korrekte Klassifizierung ausreichen, kann ein Modell sich ausschließlich auf diese Muster verlassen. In diesem Fall sollte eine Interpretationsmethode, die das Modell genau beschreibt, diese sinnlosen Begründungen ausgeben, während Interpretationsmethoden, die Begründungen auf menschliche Prioritäten hin ausrichten, Ergebnisse liefern können, die Benutzer glauben lassen, dass ihre Modelle wie beabsichtigt funktionieren.’

Erstveröffentlicht am 13. Januar 2022.