Redimensionarea imaginilor cu rezoluție ridicată cu ajutorul învățării automate

Noi cercetări din Regatul Unit au propus o metodă îmbunătățită de redimensionare a imaginilor cu ajutorul învățării automate, bazată pe valoarea percepută a diferitelor părți ale conținutului imaginii, în loc de reducerea indiscriminată a dimensiunii (și, prin urmare, a calității și a caracteristicilor extrase) pentru toți pixelii din imagine.

Ca parte a unui interes tot mai mare în sistemele de compresie conduse de inteligență artificială, această abordare ar putea informa în cele din urmă noi codec-uri pentru compresia generală a imaginilor, deși lucrarea este motivată de imagistica medicală, unde reducerea arbitrară a imaginilor medicale de înaltă rezoluție poate duce la pierderea informațiilor care pot salva vieți.

Arhitectura reprezentativă a noului sistem. Modulul de deformare interstițială produce o hartă de deformare care corespunde zonelor de interes din imagine. Densitatea și direcția punctelor roșii indică aceste zone. Harta este utilizată nu numai pentru redimensionare, ci și pentru reconstruirea zonelor de interes principal atunci când conținutul imaginii este reescalat neuniform la cealaltă parte a procesului de antrenare. Sursă: https://arxiv.org/pdf/2109.11071.pdf

Sistemul aplică segmentarea semantică imaginilor – blocuri mari, reprezentate ca blocuri de culori în imaginea de mai sus, care cuprind entități recunoscute din imagine, cum ar fi ‘drum’, ‘bicicletă’, ‘leziune’, etc. Dispoziția hărților de segmentare semantică este apoi utilizată pentru a calcula care părți ale fotografiei nu ar trebui să fie reduse excesiv.

Intitulat Învățarea redimensionării pentru segmentarea imaginilor de înaltă rezoluție, noul articol este o colaborare între cercetători de la Centrul de Calcul Medical de Imagine de la University College London și cercetători de la Departamentul de Inteligență în Sănătate de la Microsoft Cambridge.

Lumea (destul de) joasă a antrenamentului viziunii computaționale

Antrenamentul sistemelor de viziune computațională este semnificativ limitat de capacitatea GPU-urilor. Seturile de date pot conține mii de imagini din care trebuie extrase caracteristici, dar chiar și GPU-urile industriale tind să atingă un maxim de 24 GB de VRAM, cu restricții continue care afectează disponibilitatea și costul.

Acest lucru înseamnă că datele trebuie să fie procesate prin nucleele Tensor limitate ale GPU-ului în loturi gestionabile, cu 8-16 imagini tipice pentru multe fluxuri de lucru de viziune computațională.

Nu există multe soluții evidente: chiar dacă VRAM-ul ar fi nelimitat și arhitecturile CPU ar putea gestiona un astfel de debit de la GPU fără a crea un blocaj arhitectural, dimensiunile foarte mari de lot vor tend să derive caracteristici de nivel înalt în detrimentul transformărilor mai detaliate care pot fi critice pentru utilitatea algoritmului final.

Creșterea rezoluției imaginilor de intrare va însemna că trebuie să utilizați dimensiuni de lot mai mici pentru a încăpea datele în “spațiul latent” al GPU-ului de antrenare. Acesta, la rândul său, este probabil să producă un model care este “excentric” și supranivelat.

Nici adăugarea de GPU-uri suplimentare nu ajută, cel puțin în arhitecturile cele mai comune: în timp ce configurațiile cu mai multe GPU-uri pot reduce timpul de antrenament, ele pot compromite, de asemenea, integritatea rezultatelor antrenamentului, ca și cum două fabrici adiacente ar lucra la același produs, cu doar o linie telefonică pentru a-și coordona eforturile.

Imagini redimensionate inteligent

Ce rămâne este că secțiunile cele mai relevante ale unei imagini tipice pentru un set de date de viziune computațională ar putea, cu noua metodă, să fie păstrate intacte în redimensionarea automată care are loc atunci când imaginile de foarte înaltă rezoluție trebuie reduse pentru a se potrivi unui flux de lucru de învățare automată.

Acesta este un challenge separat față de problema artefactelor pierdute în seturile de date de viziune computațională, unde calitatea este pierdută în fluxurile automate de redimensionare, deoarece codec-ul de compresie aruncă prea multă informație (de obicei, irecuperabilă).

Mai mult, în acest caz, chiar și salvarea într-un format de imagine fără pierderi (cum ar fi PNG cu compresie LZW) nu poate recupera informațiile care sunt generic eliminate atunci când se redimensionează (de exemplu) o scanare de imagistică prin rezonanță magnetică (MRI) de la dimensiuni de înregistrare frecvente la o rezoluție tipică de 256×256 sau 512×512 pixeli.

Pentru a face lucrurile și mai grave, în funcție de cerințele cadrului, borderuri negre vor fi adesea adăugate la imagini rectangulare sursă ca o sarcină de procesare a datelor de rutină, pentru a produce un format de intrare pătrat autentic pentru procesarea rețelelor neuronale, reducând și mai mult spațiul disponibil pentru date potențial vitale.

Cercetătorii de la UCL și Microsoft propun, în schimb, să facă procesul de redimensionare mai inteligent, utilizând, în esență, ceea ce a fost întotdeauna o etapă generică din fluxul de lucru pentru a evidenția zonele de interes, transferând o parte din sarcina interpretativă de la sistemul de învățare automată prin care vor trece imaginile în cele din urmă.

Metoda, susțin cercetătorii, îmbunătățește o ofertă din 2019 care a căutat beneficii similare prin concentrarea atenției calității la marginile obiectelor.

Din ‘Segmentarea eficientă: Învățarea redimensionării lângă marginile semantice’, Marin et al., 2019. Sursă: https://arxiv.org/pdf/1907.07156.pdf

După cum notează noua lucrare, această abordare presupune că zonele de interes se adună la margini, în timp ce exemple din imagistica medicală, cum ar fi regiunile de cancer annotate, depind de un context de nivel superior și pot apărea ca detalii ușor de eliminat în zone mai largi dintr-o imagine, mai degrabă decât la margini.

Redimensionator învățabil

Noua cercetare propune un redimensionator învățabil numit modul de deformare, care este antrenat împreună cu un modul de segmentare paralel și poate fi, prin urmare, informat despre zonele de interes identificate prin segmentarea semantică și să le prioritizeze în timpul procesului de redimensionare.

Autorii au testat sistemul pe mai multe seturi de date populare, inclusiv Cityscapes, DeepGlobe și un set de date local de histologie a cancerului de prostată, ‘PCa-Histo’.

Trei abordări: în stânga, redimensionarea ‘uniformă’ existentă; în mijloc, abordarea ‘optimală de margine’ din articolul din 2019; în dreapta, arhitectura din spatele noului sistem, informată de recunoașterea entităților într-un strat de segmentare semantică.

O abordare similară a fost încercată pentru un clasificator propus în 2019, dar autorii articolului curent susțin că această metodă nu regularizează suficient zonele de accent, potențial pierzând zone vitale într-un context de imagistică medicală.

Rezultate

Modulul de deformare din noul sistem este o rețea neuronală convoluțională (CNN) mică, în timp ce stratul de segmentare este o arhitectură CNN profundă care utilizează HRNetV2-W48. Rețeaua de parsare a scenei Pyramid (PSP-net) a fost utilizată ca o verificare a sanitarului pentru testele CityScapes.

Seturile de date menționate anterior au fost testate cu noul cadru, utilizând redimensionarea uniformă (metoda obișnuită), metoda optimală de margine din 2019 și noua abordare care utilizează segmentarea semantică.

Autorii raportează că noua metodă arată ‘un avantaj clar în identificarea și diferențierea claselor cel mai importante din punct de vedere clinic’, cu o creștere a preciziei de 15-20%. Ei observă, de asemenea, că distanța dintre aceste clase este adesea definită ca ‘pragul de la sănătate la cancer’.

Analiza intersecției peste uniune (IoU) pe clase, pentru cele trei metode: stânga, eșantionarea standard; mijloc, margine optimă; și dreapta, noua abordare. CityScapes a fost redimensionat la doar 64 x 128, cu PCaHisto redus la 80 x 800, și DeepGlobe redus la 300 de pixeli pătrați.

Raportul afirmă că metoda lor ‘poate învăța o strategie de redimensionare, poate păstra mai bine informațiile și permite un compromis mai bun.’, concluzionând că noul cadru ‘poate învăța eficient unde să “investească” bugetul limitat de pixeli la redimensionare pentru a obține cel mai bun randament general în precizia segmentării’.

Imaginea principală pentru acest articol a fost sursată de la thispersondoesnotexist.com. Actualizat la 15:35 GMT+2 pentru eroare de text.