Das KI-Modell kann verschwommene Bilder aufnehmen und die Auflösung um das 60-fache erhöhen

Forscher der Duke University haben ein KI-Modell entwickelt, das in der Lage ist, stark verschwommene, pixelige Bilder aufzunehmen und diese mit hoher Detailgenauigkeit wiederzugeben.  Laut TechXploreist das Modell in der Lage, relativ wenige Pixel aufzunehmen und die Bilder zu skalieren, um realistisch aussehende Gesichter zu erstellen, die etwa die 64-fache Auflösung des Originalbilds haben. Das Modell halluziniert oder stellt sich Merkmale vor, die zwischen den Zeilen des Originalbildes liegen.

Die Forschung ist ein Beispiel für Superauflösung. Als Cynthia Rudin vom Informatikteam der Duke University gegenüber TechXplore erklärtDieses Forschungsprojekt stellt einen Rekord für Superauflösung auf, da noch nie zuvor Bilder mit so viel Geschwindigkeit aus einer so kleinen Auswahl an Startpixeln erstellt wurden. Die Forscher betonten sorgfältig, dass das Modell das Gesicht der Person im Originalbild mit geringer Qualität nicht wirklich wiedergibt. Stattdessen werden neue Gesichter generiert und Details ergänzt, die vorher nicht vorhanden waren. Aus diesem Grund konnte das Modell nicht für Sicherheitssysteme verwendet werden, da es nicht in der Lage wäre, unscharfe Bilder in Bilder einer realen Person umzuwandeln.

Herkömmliche Superauflösungstechniken funktionieren, indem sie auf der Grundlage von Bildern, die das Modell zuvor kennengelernt hat, Vermutungen darüber anstellen, welche Pixel erforderlich sind, um das Bild in ein hochauflösendes Bild umzuwandeln. Da die hinzugefügten Pixel das Ergebnis von Schätzungen sind, stimmen nicht alle Pixel mit den umgebenden Pixeln überein und bestimmte Bereiche des Bildes können unscharf oder verzerrt aussehen. Die Forscher der Duke University nutzten eine andere Methode zum Trainieren ihres KI-Modells. Das von den Duke-Forschern erstellte Modell funktioniert, indem es zunächst Bilder mit niedriger Auflösung aufnimmt und dem Bild im Laufe der Zeit Details hinzufügt, wobei auf hochauflösende KI-generierte Gesichter als Beispiele verwiesen wird. Das Modell referenziert die von der KI generierten Gesichter und versucht, solche zu finden, die den Zielbildern ähneln, wenn die generierten Gesichter auf die Größe des Zielbilds verkleinert werden.

Das Forschungsteam erstellte ein Generative Adversarial Network-Modell, um die Erstellung neuer Bilder zu bewältigen. GANs sind eigentlich zwei neuronale Netze, die beide auf demselben Datensatz trainiert und gegeneinander ausgespielt werden. Ein Netzwerk ist für die Generierung gefälschter Bilder verantwortlich, die die echten Bilder im Trainingsdatensatz nachahmen, während das zweite Netzwerk dafür verantwortlich ist, die gefälschten Bilder von den echten zu unterscheiden. Das erste Netzwerk wird benachrichtigt, wenn seine Bilder als gefälscht identifiziert wurden, und es verbessert sich, bis die gefälschten Bilder hoffentlich nicht mehr von den echten Bildern zu unterscheiden sind.

Die Forscher haben ihr Modell Superauflösung getauft IMPULS, und das Modell erzeugt durchgängig qualitativ hochwertige Bilder, selbst wenn die Bilder so unscharf sind, dass andere Superauflösungsmethoden daraus keine qualitativ hochwertigen Bilder erstellen können. Das Modell ist sogar in der Lage, realistisch aussehende Gesichter aus Bildern zu erstellen, bei denen die Gesichtszüge kaum zu unterscheiden sind. Wenn man beispielsweise ein Bild eines Gesichts mit einer Auflösung von 16×16 erhält, kann ein Bild mit 1024 x 1024 erstellt werden. Bei diesem Vorgang werden mehr als eine Million Pixel hinzugefügt, die Details wie Haarsträhnen, Falten und sogar Beleuchtung ausfüllen. Als die Forscher Menschen 1440 PULSE-generierte Bilder mit Bildern vergleichen ließen, die mit anderen hochauflösenden Techniken erzeugt wurden, erzielten die PULSE-generierten Bilder durchweg die besten Ergebnisse.

Während die Forscher ihr Modell auf Bildern von Gesichtern von Menschen verwendeten, könnten die gleichen Techniken, die sie verwenden, auf fast jedes Objekt angewendet werden. Bilder verschiedener Objekte mit niedriger Auflösung könnten verwendet werden, um hochauflösende Bilder dieser Gruppe von Objekten zu erstellen, was mögliche Anwendungen für eine Vielzahl unterschiedlicher Branchen und Bereiche von der Mikroskopie über Satellitenbilder, Bildung, Fertigung und Medizin eröffnet.