Uneltele de design vizual și modelele de limbaj de vedere au aplicații largi în industria multimedia. În ciuda progreselor semnificative din ultimii ani, o înțelegere solidă a acestor unelte este încă necesară pentru funcționarea lor. Pentru a îmbunătăți accesibilitatea și controlul, industria multimedia adoptă tot mai mult tehnici de editare de imagini ghidate de text sau bazate pe instrucțiuni. Aceste tehnici utilizează comenzi de limbaj natural în loc de măști regionale tradiționale sau descrieri elaborate, permițând o manipulare a imaginilor mai flexibilă și controlată. Cu toate acestea, metodele bazate pe instrucțiuni oferă adesea direcții scurte care pot fi dificil de capturat și executat de modelele existente. În plus, modelele de difuzie, cunoscute pentru capacitatea lor de a crea imagini realiste, sunt foarte solicitate în sectorul de editare de imagini.

Mai mult, Modelele de limbaj mari multimodale (MLLM) au arătat performanțe impresionante în sarcinile care implică generarea de răspunsuri vizuale și înțelegerea cross-modală. Editarea de imagini ghidate de MLLM (MGIE) este o studiu inspirat de MLLM care evaluează capacitățile lor și analizează modul în care acestea susțin editarea prin text sau instrucțiuni ghidate. Acest abordare implică învățarea pentru a oferi instrucțiuni explicite și derivarea de instrucțiuni expresive. Modelul de editare MGIE înțelege informațiile vizuale și execută editarea prin antrenament de la capăt la capăt. În acest articol, vom explora în profunzime MGIE, evaluând impactul său asupra optimizării globale a imaginilor, modificărilor de tip Photoshop și editării locale. Vom discuta, de asemenea, importanța MGIE în sarcinile de editare de imagini bazate pe instrucțiuni care se bazează pe instrucțiuni expresive. Să începem explorarea noastră.

MGIE: O introducere

Modelele de limbaj mari multimodale și modelele de difuzie sunt două dintre cele mai utilizate cadre AI și ML în prezent, datorită capacităților lor generative remarcabile. Pe de o parte, aveți modelele de difuzie, cunoscute pentru producerea de imagini realiste și vizual atractive, în timp ce pe de altă parte, aveți Modelele de limbaj mari multimodale, recunoscute pentru performanța lor excepțională în generarea unei game largi de conținut, inclusiv text, limbaj, vorbire și imagini/video.

Modelele de difuzie schimbă hărțile cross-modale latente pentru a efectua manipularea vizuală care reflectă modificarea legendei de intrare, și pot utiliza, de asemenea, o mască ghidată pentru a edita o regiune specifică a imaginii. Dar motivul principal pentru care modelele de difuzie sunt utilizate pe scară largă pentru aplicații multimedia este acela că, în loc de a se baza pe descrieri elaborate sau măști regionale, modelele de difuzie utilizează abordări de editare bazate pe instrucțiuni care permit utilizatorilor să exprime cum să editeze imaginea direct prin utilizarea de instrucțiuni text sau comenzi. În continuare, Modelele de limbaj mari au demonstrat progrese semnificative într-o gamă diversă de sarcini de limbaj, inclusiv rezumarea textului, traducerea mașinilor, generarea de text și răspunsurile la întrebări. Modelele de limbaj mari sunt de obicei antrenate pe o cantitate mare și diversă de date de antrenament care le echipează cu creativitate vizuală și cunoștințe, permițându-le să efectueze mai multe sarcini de limbaj de vedere. Construind pe baza Modelelor de limbaj mari, MLLM sau Modelele de limbaj mari multimodale pot utiliza imagini ca intrări naturale și pot oferi răspunsuri vizual conștiente.

Cu toate acestea, deși modelele de difuzie și cadrele MLLM sunt utilizate pe scară largă pentru sarcinile de editare de imagini, există unele probleme de ghidare cu instrucțiunile bazate pe text care împiedică performanța generală, ceea ce a condus la dezvoltarea MGIE sau Editarea de imagini ghidate de MLLM, un cadru AI-powderat care constă dintr-un model de difuzie și un model MLLM, așa cum se arată în imaginea de mai jos.

În cadrul arhitecturii MGIE, modelul de difuzie este antrenat de la capăt la capăt pentru a efectua editarea de imagini cu imaginație latentă a scopului intenționat, în timp ce cadrul MLLM învață să prevadă instrucțiuni expresive precise. Împreună, modelul de difuzie și cadrul MLLM utilizează derivarea vizuală inerentă, permițându-i să abordeze comenzi umane ambigue și să rezulte în editarea realistă a imaginilor, așa cum se arată în imaginea de mai jos.

Cadrul MGIE se inspiră din două abordări existente: Editarea de imagini bazată pe instrucțiuni și Modelele de limbaj mari de vedere.

Editarea de imagini bazată pe instrucțiuni poate îmbunătăți semnificativ accesibilitatea și controlabilitatea manipulării vizuale prin respectarea comenzilor umane. Există două cadre principale utilizate pentru editarea de imagini bazată pe instrucțiuni: cadrele GAN și modelele de difuzie. GAN sau Rețelele Adversative Generative sunt capabile să modifice imagini, dar sunt limitate la domenii specifice sau produc rezultate nerealiste. Pe de altă parte, modelele de difuzie cu antrenament la scară largă pot controla hărțile de atenție cross-modale pentru a obține editarea și transformarea imaginilor. Editarea bazată pe instrucțiuni funcționează prin primirea de comenzi directe ca intrare, adesea nelimitate la măști regionale și descrieri elaborate. Cu toate acestea, există o probabilitate ca instrucțiunile furnizate să fie ambigue sau nu suficient de precise pentru a urma instrucțiunile pentru sarcinile de editare.

Modelele de limbaj mari de vedere sunt recunoscute pentru capacitățile lor generative de text și generalizare pe o gamă largă de sarcini, și adesea au o înțelegere robustă a textului, și pot produce, de asemenea, programe executabile sau pseudocod. Această capacitate a modelelor de limbaj mari permite MLLM să perceapă imagini și să ofere răspunsuri adecvate utilizând alinierea caracteristicilor vizuale cu ajustarea instrucțiunilor, cu modele recente care adoptă MLLM pentru a genera imagini legate de chat sau textul de intrare. Cu toate acestea, ceea ce separă MGIE de MLLM sau VLLM este faptul că, în timp ce acestea din urmă pot produce imagini distincte de la zero, MGIE utilizează capacitățile MLLM pentru a îmbunătăți capacitățile de editare de imagini cu instrucțiuni derivate.

MGIE: Arhitectură și Metodologie

În mod tradițional, modelele de limbaj mari au fost utilizate pentru sarcinile generative de procesare a limbajului natural. Dar de când MLLM a devenit mainstream, LLM a fost împuternicită cu capacitatea de a oferi răspunsuri rezonabile prin perceperea imaginilor de intrare. Convențional, un Model de limbaj mare multimodal este initializat dintr-un LLM preantrenat, și conține un encoder vizual și un adaptor pentru a extrage caracteristicile vizuale și a le proiecta în modalitatea limbajului, respectiv. Din cauza acestui fapt, cadrul MLLM este capabil să perceapă intrări vizuale, deși ieșirea este încă limitată la text.

Cadrul MGIE propus are ca scop rezolvarea acestei probleme și facilitarea unui MLLM pentru a edita o imagine de intrare într-o imagine de ieșire pe baza instrucțiunii textuale date. Pentru a realiza acest lucru, cadrul MGIE găzduiește un MLLM și este antrenat pentru a deriva instrucțiuni textuale expresive concise. Mai mult, cadrul MGIE adaugă tokeni de imagine speciali în arhitectura sa pentru a podi gap-ul dintre modalitatea de vedere și limbaj, și adoptă capul de editare pentru transformarea modalităților. Aceste modalități servesc ca imaginație vizuală latentă de la Modelul de limbaj mare multimodal, și ghidă modelul de difuzie pentru a atinge sarcinile de editare. Cadrul MGIE este apoi capabil să efectueze sarcini de percepție vizuală pentru editarea de imagini rezonabilă.

Instrucțiuni Expresive Concise

În mod tradițional, Modelele de limbaj mari multimodale pot oferi răspunsuri legate de vedere cu percepția cross-modală datorită ajustării instrucțiunilor și alinierii caracteristicilor. Pentru a edita imagini, cadrul MGIE utilizează un prompt textual ca intrare principală de limbaj, împreună cu imaginea, și derivă o explicație detaliată pentru comanda de editare. Cu toate acestea, aceste explicații pot fi adesea prea lungi sau pot implica descrieri repetitive, ceea ce duce la intenții greșite, forțând MGIE să aplice un rezumator preantrenat pentru a obține narative concise, permițând MLLM să genereze ieșiri rezumate. Cadrul tratează ghidarea concisă, dar explicită, ca o instrucțiune expresivă, și aplică pierderea de entropie pentru a antrena modelul de limbaj mare multimodal utilizând forțarea profesorului.

Utilizarea unei instrucțiuni expresive oferă o idee mai concretă în comparație cu instrucțiunea textuală, deoarece podidește gap-ul pentru editarea de imagini rezonabilă, îmbunătățind eficiența cadrului în continuare. Mai mult, cadrul MGIE, în perioada de inferență, derivă instrucțiuni concise expresive în loc de a produce narative lungi și de a se baza pe rezumarea externă. Din cauza acestui fapt, cadrul MGIE este capabil să înțeleagă imaginația vizuală a intențiilor de editare, dar este încă limitat la modalitatea de limbaj. Pentru a depăși acest obstacol, modelul MGIE anexează un număr de tokeni vizuali după instrucțiunea expresivă, cu încorporări de cuvinte antrenabile, permițând MLLM să le genereze utilizând capul său de model de limbaj.

Editarea de imagini cu imaginație latentă

În următoarea etapă, cadrul MGIE adoptă capul de editare pentru a transforma instrucțiunea de imagine în ghidare vizuală efectivă. Capul de editare este un model secvențial-secvențial care ajută la maparea tokenilor vizuali secvențiali de la MLLM la ghidarea semantică semnificativă, ca ghidare de editare. Pentru a fi mai specific, transformarea peste încorporările de cuvinte poate fi interpretată ca o reprezentare generală în modalitatea vizuală, și utilizează un component de imaginație vizuală conștient de instanță pentru intențiile de editare. Mai mult, pentru a ghida editarea de imagini cu imaginație vizuală, cadrul MGIE încorporează un model de difuzie latent în arhitectura sa, care include un autoencoder variabil și abordează difuzia de zgomot în spațiul latent. Scopul principal al modelului de difuzie latent este de a genera scopul latent, păstrând intrarea latentă și urmând ghidarea de editare. Procesul de difuzie adaugă zgomot la scopul latent la intervale de timp regulate, iar nivelul de zgomot crește cu fiecare pas de timp.

Învățarea MGIE

Următoarea figură rezumă algoritmul procesului de învățare al cadrului MGIE propus.

Așa cum se poate observa, MLLM învață să deriveze instrucțiuni expresive concise utilizând pierderea de instrucțiune. Utilizând imaginația latentă de la instrucțiunile de imagine de intrare, cadrul transformă modalitatea capului de editare și ghidă modelul de difuzie latent pentru a sintetiza imaginea rezultată, și aplică pierderea de editare pentru antrenamentul de difuzie. În final, cadrul îngheață majoritatea greutăților, rezultând un antrenament de la capăt la capăt eficient din punct de vedere al parametrilor.

MGIE: Rezultate și Evaluare

Cadrul MGIE utilizează setul de date IPr2Pr ca date de preantrenare principal, și conține peste 1 milion de date filtrate CLIP, cu instrucțiuni extrase din modelul GPT-3 și un model Prompt-to-Prompt pentru a sintetiza imaginile. Mai mult, cadrul MGIE tratează cadrul InsPix2Pix, construit pe baza encoderului de text CLIP, cu un model de difuzie, ca bază pentru sarcinile de editare de imagini bazate pe instrucțiuni. De asemenea, modelul MGIE ia în considerare un model de editare de imagini ghidat de LLM, adoptat pentru instrucțiuni expresive de la intrări de instrucțiuni, dar fără percepție vizuală.

Analiză Cantitativă

Următoarea figură rezumă rezultatele de editare într-un mediu zero-shot, cu modelele antrenate doar pe setul de date IPr2Pr. Pentru datele GIER și EVR care implică modificări de tip Photoshop, instrucțiunile expresive pot dezvălui obiective concrete în loc de comenzi ambigue, ceea ce permite rezultatelor de editare să semene mai mult cu intențiile de editare.

Deși atât LGIE, cât și MGIE sunt antrenate pe aceleași date ca și modelul InsPix2Pix, ele pot oferi explicații detaliate prin învățarea cu modelul de limbaj mare, dar LGIE este limitat la o singură modalitate. Mai mult, cadrul MGIE poate oferi o îmbunătățire semnificativă a performanței, deoarece are acces la imagini și poate utiliza aceste imagini pentru a deriva instrucțiuni explicite.

Pentru a evalua performanța în sarcinile de editare de imagini bazate pe instrucțiuni pentru scopuri specifice, dezvoltatorii ajustează mai multe modele pe fiecare set de date, așa cum se rezumă în următorul tabel.

Așa cum se poate observa, după adaptarea sarcinilor de editare de tip Photoshop pentru EVR și GIER, modelele demonstrează o îmbunătățire a performanței. Cu toate acestea, este important de remarcat că, deoarece ajustarea face instrucțiunile expresive mai specifice domeniului, cadrul MGIE este martorul unei creșteri masive a performanței, deoarece învață, de asemenea, ghidarea legată de domeniu, permițând modelului de difuzie să demonstreze scene editate concrete de la modelul de limbaj mare ajustat, beneficiind atât modificarea locală, cât și optimizarea locală. Mai mult, deoarece ghidarea vizuală conștientă este mai aliniată cu obiectivele de editare intenționate, cadrul MGIE oferă rezultate superioare în mod constant în comparație cu LGIE.

Următoarea figură demonstrează scorul CLIP peste imaginile de intrare sau imaginile de ieșire și instrucțiunile expresive. Un scor CLIP mai mare indică relevanța instrucțiunilor cu sursa de editare, și, așa cum se poate observa, MGIE are un scor CLIP mai mare în comparație cu modelul LGIE, atât pentru imaginile de intrare, cât și pentru cele de ieșire.

Rezultate Calitative

Următoarea imagine rezumă perfect analiza calitativă a cadrului MGIE.

Așa cum știm, cadrul LGIE este limitat la o singură modalitate din cauza faptului că are o singură perspectivă bazată pe limbaj și este predispus să deriveze explicații greșite sau irelevante pentru editarea imaginii. Cu toate acestea, cadrul MGIE este multimodal, și, având acces la imagini, completează sarcinile de editare și oferă imaginație vizuală explicită care se aliniază foarte bine cu obiectivul.

Gânduri Finale

În acest articol, am discutat despre MGIE sau Editarea de imagini ghidate de MLLM, un studiu inspirat de MLLM care are ca scop evaluarea Modelelor de limbaj mari multimodale și analiza modului în care acestea facilitează editarea utilizând text sau instrucțiuni ghidate, învățând să ofere ghidare explicită și derivând instrucțiuni expresive simultan. Modelul de editare MGIE înțelege informațiile vizuale și execută editarea sau manipularea utilizând antrenament de la capăt la capăt. În loc de ghidare ambiguă și scurtă, cadrul MGIE produce instrucțiuni vizuale conștiente explicite care duc la editarea de imagini rezonabilă.