Forscher entwickeln neues Tool, um Bias in der Computer-Vision zu bekämpfen

Eines der aktuellen Probleme, die im Bereich der künstlichen Intelligenz (KI) aufgetaucht sind, ist das Vorhandensein von Bias in der Computer-Vision. Viele Experten entdecken nun Bias in KI-Systemen, was zu verzerrten Ergebnissen in verschiedenen Anwendungen wie z.B. Gerichts-Verurteilungsprogrammen führt.

Es gibt eine große Anstrengung, um einige dieser Probleme zu lösen, und die neueste Entwicklung kommt von der Princeton University. Forscher an der Institution haben ein neues Tool entwickelt, das in der Lage ist, potenzielle Bias in Bildern zu erkennen, die verwendet werden, um KI-Systeme zu trainieren.

Die Arbeit wurde am 24. August auf der virtuellen European Conference on Computer Vision vorgestellt.

Bias in KI-Systemen

Einer der Hauptgründe für den Bias in aktuellen KI-Systemen ist, dass sie oft auf großen Mengen von Bildern trainiert werden, die aus Online-Quellen stammen. Diese Bilder können stereotypisch sein, und wenn sie zur Entwicklung der Computer-Vision verwendet werden, kann das Ergebnis ungewollt beeinflusst werden. Die Computer-Vision ermöglicht es Computern, Menschen, Objekte und Aktionen zu erkennen.

Das von den Forschern entwickelte Tool ist Open-Source und kann potenzielle Bias in visuellen Datenmengen automatisch aufdecken. Es funktioniert, indem es vor der Verwendung der Bildmengen zum Trainieren der Computer-Vision-Modelle handelt und Probleme im Zusammenhang mit Unterrepräsentation und Stereotypen können vorher gelöst werden, bevor sie eine Auswirkung haben.

REVISE

Das neue Tool heißt REVISE und basiert auf statistischen Methoden, um potenzielle Bias in einer Datenmenge zu erkennen. Es konzentriert sich auf die drei Bereiche objektbasiert, geschlechtsbasiert und geografisch basiert.

REVISE ist vollautomatisch und wurde auf Basis vorheriger Methoden entwickelt, die das Filtern und Ausbalancieren von Bildern in Datenmengen beinhalteten, um dem Benutzer mehr Kontrolle zu geben.

Das neue Tool basiert auf bestehenden Bildanmerkungen und Messungen, um den Inhalt einer Datenmenge zu analysieren. Einige dieser bestehenden Anmerkungen umfassen Objektzählung und Länder der Herkunft der Bilder.

In einem Beispiel, in dem das Tool funktioniert, zeigte REVISE, wie Bilder von Menschen und Blumen je nach Geschlecht unterschiedlich waren. Männer waren eher mit Blumen in Zeremonien oder Treffen zu sehen, während Frauen eher mit Blumen in Gemälden oder inszenierten Szenarien zu sehen waren.

Olga Russakovsky ist Assistant Professor für Informatik und Leiterin des Visual AI Lab. Die Arbeit wurde zusammen mit der Doktorandin Angelina Wang und dem Associate Professor für Informatik, Arvind Narayanan, verfasst.

Nachdem das Tool Ungereimtheiten identifiziert hat, “ist die Frage, ob dies ein völlig harmloser Fakt ist oder ob etwas Tieferes vor sich geht, und das ist sehr schwer zu automatisieren”, sagte Russakovsky.

Unterrepräsentierte oder Falsch dargestellte Regionen

Verschiedene Regionen auf der ganzen Welt sind in Datenmengen für die Computer-Vision unterrepräsentiert, was zu Bias in KI-Systemen führen kann. Eine der Erkenntnisse war, dass eine dramatisch größere Anzahl von Bildern aus den USA und europäischen Ländern stammt. REVISE enthüllte auch, dass Bilder aus anderen Teilen der Welt oft keine Bildunterschriften in der lokalen Sprache haben, was bedeutet, dass viele aus der Sicht eines Touristen stammen könnten.

“… diese geografische Analyse zeigt, dass Objekterkennung immer noch ziemlich voreingenommen und ausschließend sein kann und unterschiedliche Regionen und Menschen ungleich betreffen kann”, fuhr Russakovsky fort.

“Die Praxis der Datensammlung in der Informatik wurde bis vor kurzem nicht so gründlich überprüft”, sagte Wang. Wenn es um die Bildsammlung geht, werden sie “vom Internet gesammelt, und die Menschen realisieren nicht immer, dass ihre Bilder in Datenmengen verwendet werden. Wir sollten Bilder von diversen Gruppen von Menschen sammeln, aber wenn wir es tun, sollten wir vorsichtig sein, dass wir die Bilder auf eine respektvolle Weise erhalten.”

Vicente Ordonez-Roman ist Assistant Professor für Informatik an der University of Virginia.

“Tools und Benchmarks sind ein wichtiger Schritt … sie ermöglichen es uns, diese Bias früher in der Pipeline zu erfassen und unsere Problemstellung und Annahmen sowie unsere Datensammlungspraktiken zu überdenken”, sagte Ordonez-Roman. “In der Computer-Vision gibt es einige spezifische Herausforderungen im Hinblick auf Repräsentation und die Verbreitung von Stereotypen. Arbeiten wie die des Princeton Visual AI Lab helfen, diese Probleme zu erhellen und auf die Aufmerksamkeit der Computer-Vision-Community zu lenken und Strategien zu bieten, um sie zu mildern.”

Das neue Tool, das von den Forschern entwickelt wurde, ist ein wichtiger Schritt, um den Bias in KI-Systemen zu beheben. Jetzt ist der Zeitpunkt, um diese Probleme zu lösen, da es viel schwieriger werden wird, wenn die Systeme fortschreiten und komplexer werden.