KI-Modell kann unscharfe Bilder und Auflösung um 60 Mal erhöhen

Forscher der Duke University haben ein KI-Modell entwickelt, das in der Lage ist, sehr unscharfe, pixelige Bilder mit hoher Detailgenauigkeit zu rendern. Laut TechXplore ist das Modell in der Lage, aus relativ wenigen Pixeln realistisch aussehende Gesichter zu erstellen, die etwa 64 Mal die Auflösung des ursprünglichen Bildes haben. Das Modell “halluziniert” oder stellt sich Merkmale vor, die zwischen den Linien des ursprünglichen Bildes liegen.

Die Forschung ist ein Beispiel für Super-Auflösung. Wie Cynthia Rudin vom Computer-Team der Duke University gegenüber TechXplore erklärte, stellt dieses Forschungsprojekt einen Rekord für Super-Auflösung dar, da noch nie zuvor Bilder mit so viel Detail aus so kleinen Ausgangspixeln erstellt wurden. Die Forscher betonten, dass das Modell nicht das Gesicht der Person im ursprünglichen Bild rekonstruiert, sondern stattdessen neue Gesichter generiert, indem es Details hinzufügt, die zuvor nicht vorhanden waren. Aus diesem Grund kann das Modell nicht für Sicherheitssysteme verwendet werden, da es unscharfe Bilder nicht in Bilder von realen Personen umwandeln kann.

Traditionelle Super-Auflösungstechniken funktionieren, indem sie Vermutungen über die benötigten Pixel anstellen, um das Bild in ein hochauflösendes Bild umzuwandeln, basierend auf Bildern, die das Modell zuvor gelernt hat. Da die hinzugefügten Pixel das Ergebnis von Vermutungen sind, passen nicht alle Pixel zu ihren umgebenden Pixeln und bestimmte Bereiche des Bildes können unscharf oder verzerrt aussehen. Die Forscher der Duke University verwendeten eine andere Methode, um ihr KI-Modell zu trainieren. Das von den Duke-Forschern erstellte Modell funktioniert, indem es zunächst niedrigauflösende Bilder nimmt und Details über die Zeit hinweg hinzufügt, indem es auf hochauflösende, künstlich generierte Gesichter als Beispiele verweist. Das Modell verweist auf die künstlich generierten Gesichter und versucht, solche zu finden, die den Zielbildern ähneln, wenn die generierten Gesichter auf die Größe des Zielbildes skaliert werden.

Das Forschungsteam erstellte ein Generative Adversarial Network-Modell, um die Erstellung neuer Bilder zu bewältigen. GANs sind tatsächlich zwei neuronale Netze, die auf demselben Datensatz trainiert werden und gegeneinander ausgetragen werden. Ein Netzwerk ist für die Generierung von Fake-Bildern verantwortlich, die die echten Bilder im Trainingsdatensatz nachahmen, während das zweite Netzwerk für die Erkennung der Fake-Bilder von den echten Bildern verantwortlich ist. Das erste Netzwerk wird benachrichtigt, wenn seine Bilder als Fake-Bilder identifiziert wurden, und es verbessert sich, bis die Fake-Bilder hoffentlich nicht mehr von den echten Bildern zu unterscheiden sind.

Die Forscher haben ihr Super-Auflösungsmodell PULSE genannt, und das Modell produziert konsistent hochwertige Bilder, auch wenn es Bilder erhält, die so unscharf sind, dass andere Super-Auflösungsmethoden keine hochwertigen Bilder daraus erstellen können. Das Modell ist sogar in der Lage, realistisch aussehende Gesichter aus Bildern zu erstellen, bei denen die Gesichtszüge fast nicht zu erkennen sind. Zum Beispiel kann es bei einem Bild mit einer Auflösung von 16×16 ein Bild mit 1024 x 1024 Pixeln erstellen. Während dieses Prozesses werden über eine Million Pixel hinzugefügt, um Details wie Haarsträhnen, Falten und sogar Beleuchtung zu füllen. Als die Forscher 1440 PULSE-generierte Bilder gegen Bilder von anderen Super-Auflösungstechniken bewerteten, erhielten die PULSE-generierten Bilder konsistent die höchsten Bewertungen.

Obwohl die Forscher ihr Modell auf Bilder von Gesichtern anwendeten, können die gleichen Techniken, die sie verwenden, auf fast jedes Objekt angewendet werden. Niedrigauflösende Bilder von verschiedenen Objekten können verwendet werden, um hochauflösende Bilder dieser Objekte zu erstellen, was mögliche Anwendungen in verschiedenen Branchen und Bereichen wie Mikroskopie, Satellitenbildern, Bildung, Fertigung und Medizin eröffnet.