Ein Bild kann viel aussagen, aber es kann auch durch verschiedene Probleme wie Bewegungsunschärfe, Dunst, Rauschen und niedrigem Kontrast beeinträchtigt werden. Diese Probleme, die in der Computer-Vision als Degradationen bezeichnet werden, können durch schwierige Umgebungsbedingungen wie Hitze oder Regen oder durch die Einschränkungen der Kamera selbst entstehen. Die Bildwiederherstellung ist eine Kernherausforderung in der Computer-Vision, die darauf abzielt, ein hochwertiges, sauberes Bild aus einem Bild mit solchen Degradationen wiederherzustellen. Die Bildwiederherstellung ist komplex, weil es möglicherweise mehrere Lösungen für die Wiederherstellung eines Bildes gibt. Einige Ansätze konzentrieren sich auf spezifische Degradationen, wie z.B. Rauschen reduzieren oder Unschärfe entfernen.

Während diese Methoden gute Ergebnisse für bestimmte Probleme liefern können, haben sie oft Schwierigkeiten, sich auf verschiedene Arten von Degradationen zu verallgemeinern. Viele Frameworks verwenden ein generisches neuronales Netzwerk für eine Vielzahl von Bildwiederherstellungsaufgaben, aber diese Netze werden jeweils separat trainiert. Die Notwendigkeit, separate Modelle für jede Art von Degradation zu haben, macht diesen Ansatz rechenintensiv und zeitaufwändig, was zu einem Fokus auf All-in-One-Wiederherstellungsmodelle in jüngsten Entwicklungen geführt hat. Diese Modelle verwenden ein einzelnes, tiefes blindes Wiederherstellungsmodell, das multiple Ebenen und Arten von Degradationen anspricht, oft mit Degradationsspezifischen Prompts oder Leitvektoren, um die Leistung zu verbessern. Obwohl All-in-One-Modelle typischerweise vielversprechende Ergebnisse liefern, stehen sie noch vor Herausforderungen bei inversen Problemen.

InstructIR stellt einen bahnbrechenden Ansatz in diesem Bereich dar, da es das erste Bildwiederherstellungsframework ist, das die Wiederherstellungsmodell durch menschlich geschriebene Anweisungen anleitet. Es kann natürliche Sprachprompts verarbeiten, um hochwertige Bilder aus degradierten Bildern wiederherzustellen, unter Berücksichtigung verschiedener Degradationstypen. InstructIR setzt einen neuen Standard in der Leistung für eine breite Palette von Bildwiederherstellungsaufgaben, einschließlich Entregnen, Rauschenreduzierung, Dunsterkennung, Unschärfeentfernung und Verbesserung von Bildern mit niedrigem Licht.

Dieser Artikel soll das InstructIR-Framework in der Tiefe abdecken, und wir erkunden den Mechanismus, die Methodik, die Architektur des Frameworks sowie dessen Vergleich mit State-of-the-Art-Bild- und Video-Generierungsframeworks. Also los geht’s.

InstructIR: Hochwertige Bildwiederherstellung

Die Bildwiederherstellung ist ein fundamentales Problem in der Computer-Vision, da sie darauf abzielt, ein hochwertiges, sauberes Bild aus einem Bild mit Degradationen wiederherzustellen. In der Computer-Vision wird der Begriff Degradation verwendet, um unerwünschte Effekte in einem Bild wie Bewegungsunschärfe, Dunst, Rauschen, niedrigem Kontrast und mehr zu beschreiben. Der Grund, warum die Bildwiederherstellung eine komplexe inverse Herausforderung ist, liegt darin, dass es möglicherweise mehrere Lösungen für die Wiederherstellung eines Bildes gibt. Einige Frameworks konzentrieren sich auf spezifische Degradationen wie Rauschen reduzieren oder Unschärfe entfernen, während andere sich mehr auf die Entfernung von Dunst oder die Verbesserung von Bildern mit niedrigem Licht konzentrieren.

Neue Deep-Learning-Methoden haben eine stärkere und konsistentere Leistung im Vergleich zu traditionellen Bildwiederherstellungsmethoden gezeigt. Diese Deep-Learning-Bildwiederherstellungsmodelle schlagen vor, neuronale Netze auf der Grundlage von Transformern und Convolutional Neural Networks zu verwenden. Diese Modelle können unabhängig für verschiedene Bildwiederherstellungsaufgaben trainiert werden und besitzen die Fähigkeit, lokale und globale Feature-Interaktionen zu erfassen und zu verbessern, was zu einer zufriedenstellenden und konsistenten Leistung führt. Obwohl einige dieser Methoden für bestimmte Arten von Degradationen ausreichend funktionieren können, verallgemeinern sie sich typischerweise nicht gut auf verschiedene Arten von Degradationen. Darüber hinaus verwenden viele bestehende Frameworks das gleiche neuronale Netzwerk für eine Vielzahl von Bildwiederherstellungsaufgaben, aber jedes neuronale Netzwerk wird separat trainiert. Es ist daher offensichtlich, dass die Verwendung eines separaten neuronalen Modells für jede mögliche Degradation unpraktisch und zeitaufwändig ist, was zu einem Fokus auf All-in-One-Wiederherstellungsproxies in jüngsten Entwicklungen geführt hat.

All-in-One- oder Multi-Degradation- oder Multi-Task-Bildwiederherstellungsmodelle gewinnen in der Computer-Vision an Popularität, da sie in der Lage sind, multiple Arten und Ebenen von Degradationen in einem Bild ohne die Notwendigkeit, die Modelle unabhängig für jede Degradation zu trainieren, wiederherzustellen. All-in-One-Bildwiederherstellungsmodelle verwenden ein einzelnes, tiefes blindes Wiederherstellungsmodell, um verschiedene Arten und Ebenen von Bilddegradationen anzusprechen. Verschiedene All-in-One-Modelle implementieren unterschiedliche Ansätze, um das blinde Modell zur Wiederherstellung des degradierten Bildes zu leiten, z.B. ein Hilfsmodell, um die Degradation zu klassifizieren, oder mehrdimensionale Leitvektoren oder Prompts, um die Leistung zu verbessern.

Mit dem InstructIR-Framework kommen wir zum textbasierten Bildmanipulation, da es in den letzten Jahren von mehreren Frameworks für Text-zu-Bild-Generierung und textbasierte Bildbearbeitungsaufgaben implementiert wurde. Diese Modelle verwenden oft Textprompts, um Aktionen oder Bilder zu beschreiben, sowie Diffusionsmodelle, um die entsprechenden Bilder zu generieren. Die Hauptinspiration für das InstructIR-Framework ist das InstructPix2Pix-Framework, das es dem Modell ermöglicht, das Bild mithilfe von Benutzeranweisungen zu bearbeiten, die dem Modell sagen, welche Aktion auszuführen ist, anstatt Textlabels, Beschreibungen oder Bildunterschriften. Als Ergebnis können Benutzer natürliche Texte verwenden, um dem Modell Anweisungen zu geben, ohne Beispielbilder oder zusätzliche Bildbeschreibungen bereitstellen zu müssen.

Basierend auf diesen Grundlagen ist das InstructIR-Framework das erste Computer-Vision-Modell, das menschlich geschriebene Anweisungen verwendet, um Bildwiederherstellung und inverse Probleme zu lösen. Für natürliche Sprachprompts kann das InstructIR-Modell hochwertige Bilder aus degradierten Bildern wiederherstellen und berücksichtigt dabei multiple Degradationstypen. Das InstructIR-Framework kann State-of-the-Art-Leistung auf einer breiten Palette von Bildwiederherstellungsaufgaben liefern, einschließlich Entregnen, Rauschenreduzierung, Dunsterkennung, Unschärfeentfernung und Verbesserung von Bildern mit niedrigem Licht.

InstructIR: Methode und Architektur

Im Kern besteht das InstructIR-Framework aus einem Text-Encoder und einem Bildmodell. Das Modell verwendet das NAFNet-Framework, ein effizientes Bildwiederherstellungsmodell, das einer U-Net-Architektur folgt, als Bildmodell. Darüber hinaus implementiert das Modell Task-Routing-Techniken, um mehrere Aufgaben mit einem einzigen Modell erfolgreich zu erlernen. Die folgende Abbildung zeigt den Trainings- und Evaluierungsansatz für das InstructIR-Framework.

Inspirierte durch das InstructPix2Pix-Modell, übernimmt das InstructIR-Framework menschlich geschriebene Anweisungen als Steuermechanismus, da es keine Notwendigkeit gibt, zusätzliche Informationen bereitzustellen. Diese Anweisungen bieten eine ausdrucksstarke und klare Möglichkeit, zu interagieren, und ermöglichen es Benutzern, die genaue Position und Art der Degradation im Bild anzugeben. Darüber hinaus verbessert die Verwendung von Benutzerprompts anstelle von festen Degradationsspezifischen Prompts die Benutzerfreundlichkeit und Anwendungen des Modells, da es auch von Benutzern ohne erforderliche Domänenexpertise verwendet werden kann. Um das InstructIR-Framework mit der Fähigkeit auszustatten, diverse Prompts zu verstehen, verwendet das Modell GPT-4, ein großes Sprachmodell, um diverse Anfragen zu erstellen, wobei unscharfe und unklare Prompts nach einem Filterprozess entfernt werden.

Text-Encoder

Ein Text-Encoder wird von Sprachmodellen verwendet, um Benutzerprompts auf eine Text-Einbettung oder eine feste Vektor-Darstellung zu kartieren. Traditionell ist der Text-Encoder eines CLIP-Modells ein wichtiger Bestandteil für textbasierte Bildgenerierung und textbasierte Bildmanipulationsmodelle, um Benutzerprompts zu encodieren, da das CLIP-Framework in visuellen Prompts hervorragt. Allerdings enthalten Benutzerprompts für Degradationen in der Regel wenig bis kein visuelles Material, was den großen CLIP-Encodern für solche Aufgaben nutzlos macht, da es die Effizienz erheblich beeinträchtigen würde. Um dieses Problem zu lösen, wählt das InstructIR-Framework einen textbasierten Satz-Encoder, der trainiert wurde, um Sätze in einem sinnvollen Einbettungsraum zu encodieren. Satz-Encoder sind auf Millionen von Beispielen vortrainiert und dennoch kompakt und effizient im Vergleich zu traditionellen CLIP-basierten Text-Encodern, während sie die Fähigkeit besitzen, die Semantik von diversen Benutzerprompts zu encodieren.

Text-Anleitung

Ein wichtiger Aspekt des InstructIR-Frameworks ist die Implementierung der encodierten Anweisung als Steuermechanismus für das Bildmodell. Basierend darauf und inspiriert durch die Aufgaben-Routing für das Lernen vieler Aufgaben, schlägt das InstructIR-Framework einen Anweisungs-Konstruktions-Block oder ICB vor, um Aufgaben-spezifische Transformationen innerhalb des Modells zu ermöglichen. Konventionelle Aufgaben-Routing wendet Aufgaben-spezifische binäre Masken auf Kanal-Features an. Allerdings wird das InstructIR-Framework nicht direkt implementiert, da es die Degradation nicht kennt. Darüber hinaus wendet das InstructIR-Framework Aufgaben-Routing auf Bild-Features und die encodierten Anweisungen an und erzeugt die Maske mithilfe einer linearen Schicht, die mit der Sigmoid-Funktion aktiviert wird, um eine Menge von Gewichten in Abhängigkeit von den Text-Einbettungen zu produzieren, um so eine c-dimensionale pro-Kanal-binäre Maske zu erhalten. Das Modell verbessert die bedingten Features mithilfe eines NAFBlock und verwendet den NAFBlock und den Anweisungs-Konditionierten-Block, um die Features sowohl im Encoder-Block als auch im Decoder-Block zu konditionieren.

Obwohl das InstructIR-Framework die neuronalen Netzwerk-Filter nicht explizit konditioniert, ermöglicht die Maske es dem Modell, die Kanäle auszuwählen, die auf der Grundlage der Bildanweisung und -information am relevantesten sind.

InstructIR: Implementierung und Ergebnisse

Das InstructIR-Modell ist end-to-end-trainierbar, und das Bildmodell benötigt keine Vor-Trainierung. Es müssen nur die Text-Einbettungs-Projektionen und der Klassifikations-Kopf trainiert werden. Der Text-Encoder wird mit einem BGE-Encoder initialisiert, einem BERT-ähnlichen Encoder, der auf einer großen Menge von überwachten und unüberwachten Daten für generische Satz-Encodierung vortrainiert wurde. Das InstructIR-Framework verwendet das NAFNet-Modell als Bildmodell, und die Architektur von NAFNet besteht aus einem 4-Ebenen-Encoder-Decoder mit einer variablen Anzahl von Blöcken auf jeder Ebene. Das Modell fügt auch 4 mittlere Blöcke zwischen den Encoder und den Decoder ein, um die Features weiter zu verbessern. Darüber hinaus implementiert der InstructIR-Decoder anstelle von Konkatenation die Addition, und das InstructIR-Modell implementiert nur den ICB oder den Anweisungs-Konditionierten-Block für die Aufgaben-Routing nur im Encoder und Decoder. Das InstructIR-Modell wird mithilfe des Verlusts zwischen dem wiederhergestellten Bild und dem sauberen Bild optimiert, und der Kreuz-Entropie-Verlust wird für den Intent-Klassifikations-Kopf des Text-Encoders verwendet. Das InstructIR-Modell verwendet den AdamW-Optimizer mit einer Batch-Größe von 32 und einer Lernrate von 5e-4 für fast 500 Epochen und implementiert auch den Cosine-Annealing-Lernrate-Abfall. Da das Bildmodell im InstructIR-Framework nur 16 Millionen Parameter umfasst und es nur 100.000 gelernte Text-Projektions-Parameter gibt, kann das InstructIR-Framework leicht auf Standard-GPUs trainiert werden, was die Rechenkosten reduziert und die Anwendbarkeit erhöht.

Mehrere Degradationsergebnisse

Für multiple Degradationen und Multi-Task-Wiederherstellungen definiert das InstructIR-Framework zwei anfängliche Einrichtungen:

1. 3D für drei-Degradations-Modelle, um Degradationsprobleme wie Dunsterkennung, Rauschenreduzierung und Entregnen zu behandeln.
2. 5D für fünf-Degradations-Modelle, um Degradationsprobleme wie Bildrauschen, Niedriglicht-Verbesserung, Dunsterkennung, Rauschenreduzierung und Entregnen zu behandeln.

Die Leistung der 5D-Modelle wird in der folgenden Tabelle demonstriert und mit State-of-the-Art-Bildwiederherstellungs- und All-in-One-Modellen verglichen.

Wie zu sehen ist, kann das InstructIR-Framework mit einem einfachen Bildmodell und nur 16 Millionen Parametern fünf verschiedene Bildwiederherstellungsaufgaben erfolgreich bearbeiten, dank der anweisungs-basierten Anleitung, und liefert wettbewerbsfähige Ergebnisse. Die folgende Tabelle zeigt die Leistung des Frameworks auf 3D-Modellen, und die Ergebnisse sind mit den oben genannten Ergebnissen vergleichbar.

Der Hauptvorteil des InstructIR-Frameworks ist die anweisungs-basierte Bildwiederherstellung, und die folgende Abbildung zeigt die erstaunlichen Fähigkeiten des InstructIR-Modells, um eine breite Palette von Anweisungen für eine gegebene Aufgabe zu verstehen. Auch für eine feindliche Anweisung führt das InstructIR-Modell eine Identität aus, die nicht erzwungen wird.

Letzte Gedanken

Die Bildwiederherstellung ist ein fundamentales Problem in der Computer-Vision, da sie darauf abzielt, ein hochwertiges, sauberes Bild aus einem Bild mit Degradationen wiederherzustellen. In der Computer-Vision wird der Begriff Degradation verwendet, um unerwünschte Effekte in einem Bild wie Bewegungsunschärfe, Dunst, Rauschen, niedrigem Kontrast und mehr zu beschreiben. In diesem Artikel haben wir über InstructIR gesprochen, das weltweit erste Bildwiederherstellungsframework, das darauf abzielt, das Bildwiederherstellungsmodell mithilfe menschlich geschriebener Anweisungen zu steuern. Für natürliche Sprachprompts kann das InstructIR-Modell hochwertige Bilder aus degradierten Bildern wiederherstellen und berücksichtigt dabei multiple Degradationstypen. Das InstructIR-Framework kann State-of-the-Art-Leistung auf einer breiten Palette von Bildwiederherstellungsaufgaben liefern, einschließlich Entregnen, Rauschenreduzierung, Dunsterkennung, Unschärfeentfernung und Verbesserung von Bildern mit niedrigem Licht.