Forscher entwickeln neue Methode für die Steuerung der KI-Bildgenerierung

Forscher der North Carolina State University haben eine neue Methode für die Steuerung der künstlichen Intelligenz (KI) bei der Bildgenerierung entwickelt, die in Bereichen wie autonomen Fahrzeugen eingesetzt werden könnte.

Bedingte Bildgenerierung und andere Techniken

Die bedingte Bildgenerierung ist eine KI-Aufgabe, bei der KI-Systeme Bilder auf der Grundlage eines bestimmten Satzes von Bedingungen erstellen, die der Benutzer anfordern kann. Neuere Techniken haben dies noch weiterentwickelt und Bedingungen für die Bildanordnung aufgenommen, was es den Benutzern ermöglicht, die Arten von Objekten anzugeben, die an bestimmten Stellen auf dem Bildschirm erscheinen sollen.

Die neue Methode, die von den Forschern an der Universität entwickelt wurde, baut auf all diesen Techniken auf und ermöglicht es den Benutzern, mehr Kontrolle über die Bilder zu haben, während bestimmte Merkmale über eine Reihe von Bildern hinweg beibehalten werden.

Tianfu Wu ist Co-Autor des Forschungsberichts und Assistant Professor für Computer-Ingenieurwesen an der NC State.

“Unser Ansatz ist sehr anpassungsfähig”, sagt Wu. “Wie bei vorherigen Ansätzen ermöglicht unser Ansatz es den Benutzern, das System so zu konfigurieren, dass es ein Bild auf der Grundlage eines bestimmten Satzes von Bedingungen generiert. Aber unser Ansatz ermöglicht es auch, das Bild zu behalten und es zu erweitern. Zum Beispiel könnten die Benutzer das KI-System so konfigurieren, dass es eine Bergszene generiert. Die Benutzer könnten dann das System so konfigurieren, dass es Skifahrer in dieser Szene hinzufügt.”

Manipulation von Elementen

Mit der neuen Methode können die Benutzer auch das KI-System so konfigurieren, dass es Elemente manipuliert, sodass sie identifizierbar sind, während sie sich gleichzeitig bewegen oder ändern. Ein Beispiel dafür wäre, dass das KI-System eine Reihe von Bildern generiert, auf denen Skifahrer sich dem Betrachter zuwenden, während sie über eine Landschaft fahren.

“Eine Anwendung dafür wäre, autonome Roboter zu helfen, sich das Endresultat vorzustellen, bevor sie eine bestimmte Aufgabe beginnen”, sagt Wu. “Man könnte das System auch verwenden, um Bilder für die KI-Schulung zu generieren. Anstatt Bilder aus externen Quellen zu sammeln, könnte man dieses System verwenden, um Bilder für die Schulung anderer KI-Systeme zu erstellen.”

Der neue Ansatz wurde mit dem COCO-Stuff-Datensatz und dem Visual-Genome-Datensatz getestet und übertrifft auf der Grundlage der Standards für die Bildqualität die vorherigen State-of-the-Art-Techniken.

“Unser nächster Schritt ist, zu sehen, ob wir diese Arbeit auf Videos und dreidimensionale Bilder erweitern können”, sagt Wu.

Um den neuen Ansatz zu trainieren, mussten die Forscher auf eine 4-GPU-Arbeitsstation zurückgreifen, da die erforderliche Rechenleistung sehr hoch war. Trotzdem ist die Bereitstellung des Systems immer noch rechenleistungsfähiger.

“Wir haben festgestellt, dass ein GPU fast Echtzeit-Geschwindigkeit bietet”, sagt Wu.

“Neben unserem Bericht haben wir unseren Quellcode für diesen Ansatz auf GitHub verfügbar gemacht. Wir sind jedoch immer offen für eine Zusammenarbeit mit Industriepartnern.”