UniTune: Alternativa Google pentru Tehnica de Editare a Imaginilor Neuronale

Cercetarea Google pare să atace editarea imaginilor pe baza textului din mai multe direcții și, probabil, așteaptă să vadă ce “prinde”. În urma lansării săptămânii trecute a documentului Imagic, gigantul căutării a propus o metodă latentă de difuzie suplimentară pentru efectuarea unor editări cu totul imposibile pe baza comenzilor text, numită UniTune.

Pe baza exemplelor prezentate în documentul proiectului nou, UniTune a atins un grad extraordinar de descompunere a poziției semantice și a ideii de la conținutul real al imaginii:

Comanda UniTune asupra compoziției semantice este remarcabilă. Observați cum, în rândul superior de imagini, fețele celor două persoane nu au fost distorsionate de transformarea extraordinară a restului imaginii sursă (dreapta). Sursă: https://arxiv.org/pdf/2210.09477.pdf

În calitate de fani ai Stable Diffusion, probabil ați învățat deja că aplicarea editărilor asupra unor secțiuni parțiale ale unei imagini fără a altera negativ restul imaginii poate fi o operațiune dificilă, uneori imposibilă. Deși distribuțiile populare, cum ar fi AUTOMATIC1111, pot crea masti pentru editări locale și restricționate, procesul este tortuos și adesea imprevizibil.

Răspunsul evident, cel puțin pentru un practician în domeniul viziunii computerizate, este de a interpune un strat de segmentare semantică care poate recunoaște și izola obiecte dintr-o imagine fără intervenția utilizatorului, și, într-adevăr, au existat recent mai multe inițiative noi de-a lungul acestei linii de gândire.

O altă posibilitate pentru blocarea operațiunilor de editare a imaginilor neuronale haotice și încurcate este de a utiliza modulul Contrastive Language-Image Pre-training (CLIP) al OpenAI, care se află în centrul modelelor de difuzie latentă, cum ar fi DALL-E 2 și Stable Diffusion, pentru a acționa ca un filtru în punctul în care un model text-Imagine este gata să trimită un render interpretat înapoi utilizatorului. În acest context, CLIP ar trebui să acționeze ca un sentinel și modul de control al calității, respingând renderurile deformate sau altfel inadecvate. Acest lucru urmează să fie instituit (legătură Discord) la portalul API-driven DreamStudio.

Limbaj Comprimat

UniTune propus în schimb “ajustează” un model de difuzie existent – în acest caz, Imagen al Google, deși cercetătorii afirmă că metoda este compatibilă cu alte arhitecturi de difuzie latentă – astfel încât un token unic este injectat în acesta, care poate fi chemat prin includerea acestuia într-un prompt text.

La prima vedere, acest lucru pare a fi similar cu DreamBooth, care poate injecta caractere sau obiecte noi într-un punct de control existent, adesea în mai puțin de o oră, pe baza a doar câtorva imagini sursă; sau Textual Inversion, care creează fișiere “sidecar” pentru un punct de control, care sunt apoi tratate ca și cum ar fi fost antrenate inițial în model, și pot profita de resursele proprii ale modelului prin modificarea clasificatorului de text, rezultând un fișier mic (în comparație cu punctele de control minim 2GB ale DreamBooth).

În realitate, cercetătorii afirmă că UniTune a respins ambele abordări. Ei au constatat că Textual Inversion a omis prea multe detalii importante, în timp ce DreamBooth “a performant mai prost și a durat mai mult” decât soluția pe care au decis-o în final.

Procesul

Deși este uimitor de ce două documente aproape identice, în ceea ce privește funcționalitatea finală, ar apărea de la Google în aceeași săptămână, există, în ciuda multor asemănări între cele două inițiative, cel puțin o diferență clară între UniTune și Imagic – aceasta din urmă utilizează prompturi de limbaj natural “necomprimate” pentru a ghida operațiunile de editare a imaginilor, în timp ce UniTune antrenează tokeni unici în stil DreamBooth.

Prin urmare, dacă ați edita cu Imagic și ați dori să efectuați o transformare de acest fel…

Din documentul UniTune – UniTune se poziționează împotriva cadrului de editare neurală rival, SDEdit. Rezultatele UniTune sunt în partea dreaptă, în timp ce masca estimată este vizibilă în a doua imagine de la stânga.

… în Imagic, ați introduce “a treia persoană, așezată în fundal, ca o bestie păroasă drăguță”.

Comanda echivalentă UniTune ar fi “Tipul de la spate ca [x]”, unde x este cuvântul ciudat și unic legat de conceptul fin-antrenat asociat cu personajul bestiei păroase.

Procesul de Fine-Tuning

Metoda UniTune trimite în esență imaginea originală printr-un model de difuzie cu un set de instrucțiuni despre cum ar trebui modificată, utilizând repositoriile uriașe de date disponibile antrenate în model. În esență, puteți face acest lucru chiar acum cu funcționalitatea img2img a Stable Diffusion – dar nu fără a distorsiona sau a schimba în vreun fel părțile imaginii pe care ați prefera să le păstrați.

În timpul procesului UniTune, sistemul este ajustat, adică UniTune forțează modelul să reia antrenamentul, cu majoritatea straturilor sale decongelate (a se vedea mai jos). În majoritatea cazurilor, ajustarea va scădea valorile generale de pierdere ale unui model de înaltă performanță, câștigat cu greu, în favoarea injectării sau rafinării unui alt aspect care este dorit să fie creat sau îmbunătățit.

Eșantionare

Există multe metode posibile de eșantionare prin care pot fi obținute modificările din modelul ajustat, inclusiv Ghidarea Clasificatorului Liber (CFG), o piesă principală și a Stable Diffusion. CFG definește în esență măsura în care modelul este liber să “urmeze imaginația” și să exploreze posibilitățile de render – sau, în setări mai scăzute, măsura în care ar trebui să se conformeze datelor sursă de intrare și să facă modificări mai puțin ample sau dramatice.

Similar cu Textual Inversion (puțin mai puțin cu DreamBooth), UniTune este receptiv la aplicarea unor stiluri grafice distincte asupra imaginilor originale, precum și la editări mai fotorealiste.

Cercetătorii au experimentat, de asemenea, cu tehnica “început târziu” a SDEdit, în care sistemul este încurajat să păstreze detaliile originale prin faptul că este doar parțial “zgomot” de la început, ci mai degrabă menține caracteristicile sale esențiale. Deși cercetătorii au folosit-o doar pe stratul inferior (64px), ei cred că ar putea fi o tehnică de eșantionare utilă în viitor.

Latency

Deși prima iterație a oricărui sistem nou va fi întotdeauna lentă, și deși este posibil ca implicarea comunității sau angajamentul corporativ (de obicei nu este vorba de ambele) să accelereze și să optimizeze o rutină care consumă multe resurse, atât UniTune, cât și Imagic efectuează câteva manevre majore de învățare automată pentru a crea aceste editări uimitoare, și este discutabilă măsura în care un astfel de proces care consumă multe resurse ar putea fi redus la scară pentru uz casnic, în loc de acces API-driven (deși acesta din urmă poate fi mai de dorit pentru Google).

În acest moment, drumul dus-întors de la intrare la rezultat este de aproximativ 3 minute pe un GPU T4, cu aproximativ 30 de secunde suplimentare pentru inferență (conform oricărei rutine de inferență). Autorii recunosc că acesta este un timp de latență ridicat și abia calificat ca “interactiv”, dar ei observă, de asemenea, că modelul rămâne disponibil pentru editări suplimentare odată ce a fost ajustat inițial, până când utilizatorul termină procesul, ceea ce reduce timpul pe editare.

Publicat pentru prima dată pe 21 octombrie 2022.