Performanță Îmbunătățită a Învățării Automate prin Redimensionarea Bazată pe CNN a Imaginilor

Cercetătorii de la Google au propus o nouă metodă pentru a îmbunătăți eficiența și precizia fluxurilor de lucru de pregătire a viziunii computerizate bazate pe imagini, prin îmbunătățirea modului în care imaginile dintr-un set de date sunt reduse la dimensiuni mai mici în stadiul de preprocesare.

În articolul Învățarea Redimensionării Imaginilor pentru Task-uri de Viziune Computerizată, cercetătorii Hossein Talebi și Peyman Milanfar utilizează o rețea neuronale convolutive (CNN) pentru a crea o nouă arhitectură hibridă de redimensionare a imaginilor, care produce o îmbunătățire notabilă a rezultatelor de recunoaștere obținute pe patru seturi de date populare de viziune computerizată.

Cadrul propus pentru recunoaștere și redimensionare. Sursă: https://arxiv.org/pdf/2103.09950.pdf

Articolul observă că metodele de redimensionare/rescalare utilizate în prezent în fluxurile automate de învățare sunt în urmă cu decenii și frecvent utilizează doar metode simple de redimensionare, cum ar fi bilineare, bicubice și vecinul cel mai apropiat – metode care tratează toate pixelii în mod indiscriminat.

În schimb, metoda propusă îmbunătățește datele imaginilor prin intermediul unei rețele neuronale convolutive (CNN) și incorporează aceste intrări în imaginile redimensionate care vor trece în final prin arhitectura modelului.

Constrângeri de Imagine în Pregătirea Învățării Automate

Pentru a antrena un model care lucrează cu imagini, un cadru de învățare automată va include o etapă de preprocesare, în care o varietate de imagini de diferite dimensiuni, spații de culoare și rezoluții (care vor contribui la setul de date de pregătire) sunt tăiate și redimensionate în dimensiuni consistente și un format stabil.

În general, acest lucru va implica un compromis bazat pe formatul PNG, unde se va stabili un echilibru între timpul de procesare/resurse, dimensiunea fișierului și calitatea imaginii.

În majoritatea cazurilor, dimensiunile finale ale imaginii prelucrate sunt foarte mici. Mai jos, putem vedea un exemplu de imagine cu o rezoluție de 80×80 de pixeli, la care au fost generate unele dintre primele seturi de date de deepfakes :

Deoarece fețele (și alte subiecte posibile) rareori se potrivesc în raportul pătratic necesar, pot fi necesare bare negre (sau spațiu irosit) pentru a omogeniza imaginile, ceea ce reduce și mai mult cantitatea reală de date utile:

Aici fața a fost extrasă dintr-o zonă de imagine mai mare până când a fost tăiată în mod economic pentru a include întreaga zonă a feței. Cu toate acestea, așa cum se poate vedea în partea dreaptă, o cantitate considerabilă a zonei rămase nu va fi utilizată în timpul pregătirii, ceea ce adaugă și mai multă importanță calității imaginii redimensionate.

Pe măsură ce capacitățile GPU au fost îmbunătățite în ultimii ani, cu noile generații de carduri NVIDIA echipate cu cantități crescute de memorie video (VRAM), dimensiunile medii ale imaginilor care contribuie la setul de date au început să crească, deși 224×224 de pixeli rămâne încă standard (de exemplu, este dimensiunea setului de date ResNet-50).

O imagine neredimensionată de 224×244 de pixeli.

Încadrarea Loturilor în VRAM

Motivul pentru care imaginile trebuie să aibă toate aceeași dimensiune este acela că coborârea gradientului, metoda prin care modelul se îmbunătățește în timp, necesită date de pregătire uniforme.

Motivul pentru care imaginile trebuie să fie atât de mici este acela că ele trebuie să fie încărcate (decomprimate în total) în VRAM în timpul pregătirii, în loturi mici, de obicei între 6-24 de imagini pe lot. Prea puține imagini pe lot, și nu există suficient material de grup pentru a generaliza bine, în plus față de extinderea timpului de pregătire; prea multe, și modelul poate să nu obțină caracteristicile și detaliile necesare (a se vedea mai jos).

Acest “încărcare live” a arhitecturii de pregătire se numește spațiu latent. Acesta este locul în care caracteristicile sunt extrase în mod repetat din aceleași date (adică aceleași imagini) până când modelul a convergent către o stare în care are toate cunoștințele generalizate necesare pentru a efectua transformări ulterioare pe date nevizionate de același tip.

Acest proces poate dura zile, deși poate dura chiar și o lună sau mai mult de cogitație constantă și neîntreruptă de înaltă intensitate 24/7 pentru a obține o generalizare utilă. Creșterile în dimensiunea VRAM sunt utile doar până la un anumit punct, deoarece chiar și creșterile minore ale rezoluției imaginii pot avea un efect de ordinul de mărime asupra capacității de procesare și efecte asupra preciziei care nu sunt întotdeauna favorabile.

Utilizarea unei capacități mai mari de VRAM pentru a accommodationa dimensiuni de lot mai mari este și o binecuvântare amestecată, deoarece vitezele de pregătire mai mari obținute prin aceasta sunt probabil să fie compensate de rezultate mai puțin precise.

Prin urmare, deoarece arhitectura de pregătire este atât de limitată, orice lucru care poate efectua o îmbunătățire în cadrul limitărilor existente ale fluxului de lucru este o realizare notabilă.

Cum Ajută Redimensionarea Superioară

Calitatea finală a unei imagini care va fi inclusă într-un set de date de pregătire a fost dovedită a avea un efect de îmbunătățire asupra rezultatului pregătirii, în special în task-urile de recunoaștere a obiectelor. În 2018, cercetători de la Institutul Max Planck pentru Sisteme Intelligente au susținut că alegerea metodei de resampling are un impact semnificativ asupra performanței și rezultatelor pregătirii.

În plus, o lucrare anterioară a Google (co-scrisă de autorii noului articol) a descoperit că precizia de clasificare poate fi îmbunătățită prin menținerea controlului asupra artefactelor de compresie din imaginile setului de date.

Arhitectura CNN pentru algoritmul de redimensionare propus de Google Research.

Modelul CNN integrat în noul redimensionator combină redimensionarea bilineare cu o caracteristică de “conexiune salt” care poate încorpora ieșirea din rețeaua antrenată în imaginea redimensionată.

În contrast cu o arhitectură tipică de encoder/decoder, propunerea nouă poate acționa nu numai ca un blocaj de alimentare directă, ci și ca un blocaj invers pentru redimensionare la orice dimensiune țintă și/sau raport de aspect. În plus, metoda “standard” de resampling poate fi înlocuită cu orice altă metodă tradițională adecvată, cum ar fi Lanczos.

Detalii de Înaltă Frecvență

Noua metodă produce imagini care, în esență, par să “coacă” caracteristici cheie (care vor fi în final recunoscute de procesul de pregătire) direct în imaginea sursă. Din punct de vedere estetic, rezultatele sunt neconvenționale:

Noua metodă aplicată pe patru rețele – Inception V2; DenseNet-121; ResNet-50; și MobileNet-V2. Rezultatele metodei de redimensionare a imaginilor Google Research produc imagini cu agregare de pixeli evidentă, anticipând caracteristicile cheie care vor fi discernute în timpul procesului de pregătire.

Cercetătorii notează că aceste experimente inițiale sunt optimizate exclusiv pentru task-uri de recunoaștere a imaginilor și că, în testele lor, redimensionatorul “învățat” bazat pe CNN a putut obține rate de eroare îmbunătățite în astfel de task-uri. Cercetătorii intenționează să aplice metoda în viitor la alte tipuri de aplicații de viziune computerizată bazate pe imagini.