Görüntüler çok şey ifade edebilir, ancak hareket bulanıklığı, duman, gürültü ve düşük dinamik aralık gibi çeşitli sorunlardan da etkilenebilir. Bu sorunlar, düşük seviyeli bilgisayar görüşünde bozulmalar olarak bilinir ve zorlu çevresel koşullardan veya kamera sınırlamalarından kaynaklanabilir. Görüntü geri kazanımı, bilgisayar görüşünde temel bir zorluk teşkil eder ve bozulmuş bir görüntüden yüksek kaliteli, temiz bir görüntüyü geri kazanmaya çalışır. Görüntü geri kazanımı karmaşıktır, çünkü bir görüntüyü geri kazanmanın birden fazla yolu olabilir. Bazı yöntemler, gürültüyü azaltma veya bulanıklığı giderme gibi belirli bozulmalara odaklanır.

Bu yöntemler belirli sorunlar için iyi sonuçlar verebilir, ancak farklı bozulma türleri için genelleştirme konusunda zorluk yaşayabilirler. Çok fazla çerçeve, geniş bir görüntüleme görevi yelpazesine hitap etmek için tek bir génelleştirilmiş model kullanır, ancak her bir model ayrı ayrı eğitilir. Bu nedenle, her bir bozulma türü için ayrı bir model kullanmak pratik değildir ve zaman alıcıdır, bu nedenle son gelişmeler, Tümünü-Bir-Arada geri kazanım modellerine odaklanmıştır. Bu modeller, birden fazla bozulma seviyesini ve türünü ele almak için tek bir derin kör geri kazanım modeli kullanır. Farklı Tümünü-Bir-Arada modeller, bozulmuş görüntüyü geri kazanmak için farklı yaklaşımlar uygular, örneğin bozulmayı sınıflandırmak için yardımcı bir model veya farklı bozulma türlerini geri kazanmak için çok boyutlu rehber vektörler veya talimatlar.

InstructIR, bu alandaki yenilikçi bir yaklaşımdır ve insan tarafından yazılmış talimatları kullanarak geri kazanım modelini yönlendiren ilk görüntü geri kazanımı çerçevesidir. Doğal dil talimatlarını işleyerek, çeşitli bozulma türlerini dikkate alarak bozulmuş görüntülerden yüksek kaliteli görüntüleri geri kazanabilir. InstructIR, yağmurlama, gürültü azaltma, duman giderme, bulanıklık giderme ve düşük ışıkta görüntü iyileştirme dahil olmak üzere geniş bir görüntü geri kazanımı görevi yelpazesinde üstün performans sağlar.

Bu makale, InstructIR çerçevesini derinlemesine ele almak amaçlamaktadır ve mekanizmasını, metodolojisini, mimarisini ve diğer üstün görüntü ve video oluşturma çerçeveleriyle karşılaştırmasını inceleyeceğiz. Başlayalım.

InstructIR: Yüksek Kaliteli Görüntü Geri Kazanımı

Görüntü geri kazanımı, bilgisayar görüşünde temel bir sorundur, çünkü bozulmuş bir görüntüden yüksek kaliteli, temiz bir görüntüyü geri kazanmayı amaçlar. Düşük seviyeli bilgisayar görüşünde, bozulmalar, hareket bulanıklığı, duman, gürültü, düşük dinamik aralık ve daha fazlası gibi hoş olmayan etkileri temsil eden bir terimdir. Görüntü geri kazanımı karmaşıktır, çünkü bir görüntüyü geri kazanmanın birden fazla yolu olabilir. Bazı çerçeveler, gürültüyü azaltma veya bulanıklığı giderme gibi belirli bozulmalara odaklanırken, diğerleri daha çok bulanıklığı giderme veya dumanı temizleme üzerinde odaklanabilir.

Son derin öğrenme yöntemleri, geleneksel görüntü geri kazanımı yöntemlerine kıyasla daha güçlü ve tutarlı performans göstermiştir. Bu derin öğrenme görüntü geri kazanımı modelleri, Transformers ve Konvolüsyonel Sinir Ağları temelinde nöral ağları kullanmayı önerir. Bu modeller, çeşitli görüntü geri kazanımı görevleri için bağımsız olarak eğitilebilir ve yerel ve küresel özellik etkileşimlerini yakalayabilir ve güçlendirebilir, böylece tatmin edici ve tutarlı performans sağlar. Ancak bu yöntemler belirli bozulma türleri için yeterli sonuçlar verebilir, ancak farklı bozulma türlerine genelleyemezler. Ayrıca, birçok mevcut çerçeve, çeşitli görüntü geri kazanımı görevleri için aynı nöral ağı kullanır, ancak her nöral ağ formülasyonu ayrı ayrı eğitilir. Dolayısıyla, her bir bozulma türü için ayrı bir nöral model kullanmak pratik değildir ve zaman alıcıdır, bu nedenle son görüntü geri kazanımı çerçeveleri, Tümünü-Bir-Arada geri kazanım vekillerine odaklanmıştır.

Tümünü-Bir-Arada veya Çok-Bozulma veya Çok-Görevli görüntü geri kazanımı modelleri, bilgisayar görüşü alanında popülerlik kazanmaktadır, çünkü bir görüntüdeki birden fazla bozulma türünü ve seviyesini bağımsız olarak eğitmeden geri kazanabilirler. Tümünü-Bir-Arada görüntü geri kazanımı modelleri, farklı bozulma türlerini ve seviyelerini ele almak için tek bir derin kör görüntü geri kazanımı modeli kullanır. Farklı Tümünü-Bir-Arada modeller, bozulmuş görüntüyü geri kazanmak için farklı yaklaşımlar uygular, örneğin bozulmayı sınıflandırmak için yardımcı bir model veya farklı bozulma türlerini geri kazanmak için çok boyutlu rehber vektörler veya talimatlar.

InstructIR çerçevesi, insan tarafından yazılmış talimatları kullanarak geri kazanım modelini yönlendiren ilk görüntü geri kazanımı çerçevesidir. Doğal dil talimatlarını işleyerek, çeşitli bozulma türlerini dikkate alarak bozulmuş görüntülerden yüksek kaliteli görüntüleri geri kazanabilir. InstructIR, yağmurlama, gürültü azaltma, duman giderme, bulanıklık giderme ve düşük ışıkta görüntü iyileştirme dahil olmak üzere geniş bir görüntü geri kazanımı görevi yelpazesinde üstün performans sağlar.

InstructIR çerçevesi, NAFNet çerçevesini temel alır, bu da U-Net mimarisine dayanan verimli bir görüntü geri kazanımı modelidir. Ayrıca, görev yönlendirme tekniklerini kullanarak tek bir modelde birden fazla görevi öğrenmeyi sağlar. Aşağıdaki şekil, InstructIR çerçevesinin eğitim ve değerlendirme yaklaşımını gösterir.

InstructIR: Yöntem ve Mimari

InstructIR çerçevesi, temelde bir metin kodlayıcısı ve bir görüntü modelinden oluşur. Model, NAFNet çerçevesini görüntü modeli olarak kullanır ve görev yönlendirme tekniklerini kullanarak birden fazla görevi öğrenmeyi sağlar. Aşağıdaki şekil, InstructIR çerçevesinin eğitim ve değerlendirme yaklaşımını gösterir.

InstructIR çerçevesi, insan tarafından yazılmış talimatları kullanarak geri kazanım modelini yönlendiren ilk görüntü geri kazanımı çerçevesidir. Doğal dil talimatlarını işleyerek, çeşitli bozulma türlerini dikkate alarak bozulmuş görüntülerden yüksek kaliteli görüntüleri geri kazanabilir. InstructIR, yağmurlama, gürültü azaltma, duman giderme, bulanıklık giderme ve düşük ışıkta görüntü iyileştirme dahil olmak üzere geniş bir görüntü geri kazanımı görevi yelpazesinde üstün performans sağlar.

Metin Kodlayıcısı

Metin kodlayıcısı, dil modelleri tarafından kullanıcı talimatlarını metin gömme veya sabit boyutlu vektör temsiline eşlemek için kullanılır. Geleneksel olarak, CLIP modelinin metin kodlayıcısı, metin tabanlı görüntü oluşturma ve metin tabanlı görüntü düzenleme modelleri için kullanıcı talimatlarını kodlamak için önemli bir bileşendir. Ancak, kullanıcı talimatları genellikle görsel içerik içermeyen bozulma özelliklerini içerir, bu nedenle büyük CLIP kodlayıcıları bu görevler için verimsizdir. Bu sorunu çözmek için, InstructIR çerçevesi, anlamlı bir gömme uzayında cümleleri kodlamak için eğitilmiş bir cümle kodlayıcısı kullanır. Cümle kodlayıcıları, milyonlarca örnek üzerinde önceden eğitilmiştir ve geleneksel CLIP tabanlı metin kodlayıcılarına kıyasla daha kompakt ve verimlidir.

Metin Rehberliği

InstructIR çerçevesinin önemli bir yönü, kodlanan talimatın görüntü modeli için bir kontrol mekanizması olarak uygulanmasıdır. Bu, görev yönlendirme tekniklerine dayanarak, Instruction Construction Block (ICB) adlı bir bileşen önerir. ICB, modelin, kullanıcı talimatlarına dayalı olarak görev özgü dönüşümleri gerçekleştirmesini sağlar. InstructIR çerçevesi, görüntü özelliklerine ve kodlanan talimata dayalı olarak ağırlıklar üreterek, görev özgü dönüşümleri gerçekleştirir.

InstructIR çerçevesi, nöral ağ filtrelerini açıkça koşullandırmaz, ancak maskesi, modelin talimat ve görüntü bilgilerine dayalı olarak ilgili kanalları seçmesini sağlar.

InstructIR: Uygulama ve Sonuçlar

InstructIR modeli, uçtan uca eğitilebilir ve görüntü modeli önceden eğitilmiş değildir. Sadece metin gömme projeksiyonları ve sınıflandırma başlığı eğitilir. Metin kodlayıcısı, büyük miktarda denetimli ve denetimsiz veri üzerinde önceden eğitilmiş bir BERT benzeri kodlayıcı olan BGE kodlayıcısı ile başlatılır. InstructIR çerçevesi, NAFNet modelini görüntü modeli olarak kullanır ve NAFNet mimarisi, değişken sayıda bloğa sahip 4 seviyeli bir kodlayıcı ve dekodlayıcıdan oluşur. Model, ayrıca, özellikleri daha da güçlendirmek için kodlayıcı ve dekodlayıcı arasında 4 orta blok ekler. InstructIR modeli, AdamW optimizatörü ile optimize edilir ve 500 epoch için 32’lik bir toplu boyut ve 5e-4’lük bir öğrenme oranı ile eğitilir. InstructIR çerçevesi, sadece 16 milyon parametre içerir ve öğrenilmiş metin projeksiyon parametreleri sadece 100 bin tane vardır, bu nedenle InstructIR çerçevesi standart GPU’lar üzerinde kolayca eğitilebilir, bu da hesaplama maliyetlerini azaltır ve uygulanabilirliğini artırır.

Çoklu Bozulma Sonuçları

Çoklu bozulma ve çoklu görev geri kazanımı için, InstructIR çerçevesi iki ilk kurulum tanımlar:

1. 3D, üç bozulma modeli için, duman giderme, gürültü azaltma ve yağmurlama gibi bozulma sorunlarını ele almak için.
2. 5D, beş bozulma modeli için, görüntü gürültü azaltma, düşük ışık iyileştirme, duman giderme, gürültü azaltma ve yağmurlama gibi bozulma sorunlarını ele almak için.

5D modellerinin performansı aşağıdaki tabloda gösterilir ve üstün görüntü geri kazanımı ve Tümünü-Bir-Arada modellerle karşılaştırılır.

Görülebileceği gibi, InstructIR çerçevesi, basit bir görüntü modeli ve sadece 16 milyon parametre ile, talimat tabanlı rehberlik sayesinde beş farklı görüntü geri kazanımı görevini başarıyla ele alabilir ve rekabetçi sonuçlar sağlar. Aşağıdaki tablo, 3D modellerin performansı gösterir ve sonuçlar yukarıdaki sonuçlara benzerdir.

InstructIR çerçevesinin ana özelliği, talimat tabanlı görüntü geri kazanımıdır ve aşağıdaki şekil, InstructIR modelinin bir görev için geniş bir talimat yelpazesini anlamak için sahip olduğu olağanüstü yetenekleri gösterir. Ayrıca, karşıt bir talimat için, InstructIR modeli kimlik işlemini gerçekleştirir.

Son Düşünceler

Görüntü geri kazanımı, bilgisayar görüşünde temel bir sorundur, çünkü bozulmuş bir görüntüden yüksek kaliteli, temiz bir görüntüyü geri kazanmayı amaçlar. Düşük seviyeli bilgisayar görüşünde, bozulmalar, hareket bulanıklığı, duman, gürültü, düşük dinamik aralık ve daha fazlası gibi hoş olmayan etkileri temsil eden bir terimdir. Bu makalede, InstructIR çerçevesini derinlemesine ele aldık ve mekanizmasını, metodolojisini, mimarisini ve diğer üstün görüntü ve video oluşturma çerçeveleriyle karşılaştırmasını inceledik. InstructIR, insan tarafından yazılmış talimatları kullanarak geri kazanım modelini yönlendiren ilk görüntü geri kazanımı çerçevesidir. Doğal dil talimatlarını işleyerek, çeşitli bozulma türlerini dikkate alarak bozulmuş görüntülerden yüksek kaliteli görüntüleri geri kazanabilir. InstructIR, yağmurlama, gürültü azaltma, duman giderme, bulanıklık giderme ve düşük ışıkta görüntü iyileştirme dahil olmak üzere geniş bir görüntü geri kazanımı görevi yelpazesinde üstün performans sağlar.