Vision-Transformers überwinden Herausforderungen mit neuer “Patch-to-Cluster-Aufmerksamkeits”-Methode

Künstliche Intelligenz (KI)-Technologien, insbesondere Vision-Transformers (ViTs), haben enorme Versprechen in ihrer Fähigkeit gezeigt, Objekte in Bildern zu identifizieren und zu kategorisieren. Allerdings wurde ihre praktische Anwendung durch zwei signifikante Herausforderungen eingeschränkt: die hohen Rechenleistungsanforderungen und der Mangel an Transparenz bei der Entscheidungsfindung. Jetzt hat eine Gruppe von Forschern eine bahnbrechende Lösung entwickelt: eine neue Methode, die als “Patch-to-Cluster-Aufmerksamkeit” (PaCa) bezeichnet wird. PaCa zielt darauf ab, die Fähigkeiten von ViTs bei der Identifizierung, Klassifizierung und Segmentierung von Objekten in Bildern zu verbessern, während gleichzeitig die langjährigen Probleme der Rechenleistungsanforderungen und der Entscheidungsfindung gelöst werden.

Herausforderungen von ViTs angehen: Ein Blick auf die neue Lösung

Transformers, aufgrund ihrer überlegenen Fähigkeiten, sind unter den einflussreichsten Modellen in der KI-Welt. Die Macht dieser Modelle wurde auf visuelle Daten durch ViTs erweitert, einer Klasse von Transformern, die mit visuellen Eingaben trainiert werden. Trotz des enormen Potenzials, das ViTs bei der Interpretation und dem Verständnis von Bildern bieten, wurden sie durch zwei große Probleme behindert.

Erstens erfordern ViTs aufgrund der Tatsache, dass Bilder enorme Mengen an Daten enthalten, erhebliche Rechenleistung und Speicher. Diese Komplexität kann für viele Systeme überwältigend sein, insbesondere bei der Verarbeitung von hochauflösenden Bildern. Zweitens ist der Entscheidungsprozess innerhalb von ViTs oft verwirrend und undurchsichtig. Benutzer finden es schwierig zu verstehen, wie ViTs zwischen verschiedenen Objekten oder Merkmalen in einem Bild unterscheiden, was für zahlreiche Anwendungen von entscheidender Bedeutung ist.

Die innovative PaCa-Methode bietet jedoch eine Lösung für beide Herausforderungen. “Wir gehen das Problem der Rechenleistungs- und Speicheranforderungen durch die Verwendung von Clustering-Techniken an, die es dem Transformer-Architektur ermöglichen, besser auf Objekte in einem Bild zu fokussieren”, erklärt Tianfu Wu, korrespondierender Autor eines Artikels über die Arbeit und Associate Professor für Elektrotechnik und Informatik an der North Carolina State University.

Die Verwendung von Clustering-Techniken in PaCa reduziert die Rechenleistungsanforderungen drastisch, indem sie das Problem von einem quadratischen Prozess in einen linearen Prozess umwandelt. Wu erklärt den Prozess weiter: “Durch Clustering können wir diesen Prozess linear machen, bei dem jedes kleinere Einheit nur mit einer vorher festgelegten Anzahl von Clustern verglichen werden muss.”

Clustering dient auch dazu, den Entscheidungsprozess in ViTs zu klären. Der Prozess der Clusterbildung zeigt, wie die ViT entscheidet, welche Merkmale wichtig sind, um Abschnitte der Bildaten zusammenzufassen. Da die KI nur eine begrenzte Anzahl von Clustern erstellt, können Benutzer den Entscheidungsprozess leicht verstehen und untersuchen, was die Interpretierbarkeit des Modells erheblich verbessert.

PaCa-Methode übertrifft andere State-of-the-Art-ViTs

Durch umfassende Tests fanden die Forscher heraus, dass die PaCa-Methode andere ViTs in mehreren Bereichen übertrifft. Wu erläutert: “Wir fanden heraus, dass PaCa SWin und PVT in jeder Hinsicht übertraf.” Der Testprozess zeigte, dass PaCa hervorragend darin war, Objekte in Bildern zu klassifizieren und zu identifizieren, sowie bei der Segmentierung, bei der es effizient die Grenzen von Objekten in Bildern umreißt. Darüber hinaus wurde festgestellt, dass es zeiteffizienter war und Aufgaben schneller als andere ViTs ausführte.

Ermutigt durch den Erfolg von PaCa, plant das Forschungsteam, die Entwicklung weiter voranzutreiben, indem es auf größeren Grundlagendatensätzen trainiert. Dadurch hoffen sie, die Grenzen dessen zu erweitern, was derzeit mit bildbasierten KI-Systemen möglich ist.

Der Forschungsbericht “PaCa-ViT: Learning Patch-to-Cluster Attention in Vision Transformers” wird auf der anstehenden IEEE/CVF-Konferenz zu Computer-Vision und Mustererkennung präsentiert. Es ist ein wichtiger Meilenstein, der den Weg für effizientere, transparentere und zugänglichere KI-Systeme ebnen könnte.