KI-Modell kann unscharfe Bilder nehmen und Auflösung um 60 Mal erhöhen

Forscher von der Duke University haben ein KI-Modell entwickelt, das in der Lage ist, stark unscharfe, pixelige Bilder mit hohem Detailgrad zu rendern. Laut TechXplore ist das Modell in der Lage, relativ wenige Pixel zu nehmen und die Bilder aufzuskalieren, um realistisch aussehende Gesichter zu erstellen, die etwa 64 Mal die Auflösung des ursprünglichen Bildes haben. Das Modell halluciniert oder stellt sich Merkmale vor, die zwischen den Linien des ursprünglichen Bildes liegen.

Die Forschung ist ein Beispiel für Super-Auflösung. Wie Cynthia Rudin vom Computer-Science-Team der Duke University TechXplore erklärte, setzt dieses Forschungsprojekt einen Rekord für Super-Auflösung, da noch nie zuvor Bilder mit so viel Detail aus so kleinen Ausgangspixeln erstellt wurden. Die Forscher betonten, dass das Modell nicht tatsächlich das Gesicht der Person im ursprünglichen, niedrigauflösenden Bild rekonstruiert. Stattdessen generiert es neue Gesichter und füllt Details aus, die zuvor nicht vorhanden waren. Aus diesem Grund kann das Modell nicht für etwas wie Sicherheitssysteme verwendet werden, da es nicht in der Lage wäre, unscharfe Bilder in Bilder einer realen Person umzuwandeln.

Traditionelle Super-Auflösungstechniken funktionieren, indem sie Vermutungen über die benötigten Pixel anstellen, um das Bild in ein Hochauflösungsbild umzuwandeln, basierend auf Bildern, die das Modell zuvor gelernt hat. Da die hinzugefügten Pixel das Ergebnis von Vermutungen sind und nicht alle Pixel mit den umliegenden Pixeln übereinstimmen, können bestimmte Bereiche des Bildes unscharf oder verzerrt aussehen. Die Forscher von der Duke University verwendeten eine andere Methode, um ihr KI-Modell zu trainieren. Das von den Duke-Forschern erstellte Modell funktioniert, indem es zunächst niedrigauflösende Bilder nimmt und Details zum Bild hinzufügt, indem es auf hochauflösende, künstlich generierte Gesichter als Beispiele verweist. Das Modell verweist auf die künstlich generierten Gesichter und versucht, solche zu finden, die dem Zielbild ähneln, wenn die generierten Gesichter auf die Größe des Zielbildes skaliert werden.

Das Forscherteam erstellte ein Generative Adversarial Network-Modell, um die Erstellung neuer Bilder zu bewältigen. GANs sind tatsächlich zwei neuronale Netze, die auf dem gleichen Datensatz trainiert werden und gegeneinander ausgetragen werden. Ein Netzwerk ist für die Erstellung von Fake-Bildern verantwortlich, die die echten Bilder im Trainingsdatensatz nachahmen, während das zweite Netzwerk für die Erkennung der Fake-Bilder von den echten Bildern verantwortlich ist. Das erste Netzwerk wird benachrichtigt, wenn seine Bilder als Fake identifiziert wurden, und es verbessert sich, bis die Fake-Bilder hoffentlich nicht mehr von den echten Bildern zu unterscheiden sind.

Die Forscher haben ihr Super-Auflösungsmodell PULSE genannt, und das Modell produziert konsistent hochwertige Bilder, auch wenn es Bilder erhält, die so unscharf sind, dass andere Super-Auflösungsmethoden keine hochwertigen Bilder daraus erstellen können. Das Modell ist sogar in der Lage, realistisch aussehende Gesichter aus Bildern zu erstellen, bei denen die Gesichtszüge fast nicht zu erkennen sind. Zum Beispiel kann es bei einem Bild eines Gesichts mit 16×16-Auflösung ein 1024-x-1024-Bild erstellen. Mehr als eine Million Pixel werden während dieses Prozesses hinzugefügt, wodurch Details wie Haarsträhnen, Falten und sogar Beleuchtung ausgefüllt werden. Als die Forscher 1440 PULSE-generierte Bilder gegen Bilder von anderen Super-Auflösungstechniken bewerteten, erzielten die PULSE-generierten Bilder konsistent die besten Bewertungen.

Während die Forscher ihr Modell auf Bilder von Menschen gesichtern verwendet haben, können die gleichen Techniken, die sie verwenden, auf fast jedes Objekt angewendet werden. Niedrigauflösende Bilder von verschiedenen Objekten können verwendet werden, um hochauflösende Bilder dieser Objekte zu erstellen, wodurch mögliche Anwendungen für verschiedene Branchen und Bereiche wie Mikroskopie, Satellitenbilder, Bildung, Fertigung und Medizin geöffnet werden.