Utilizarea atenției umane poate îmbunătăți imaginile generate de IA

Noi cercetări din China au propus o metodă pentru îmbunătățirea calității imaginilor generate de modelele Latent Diffusion (LDM), cum ar fi Stable Diffusion.

Metoda se concentrează pe optimizarea regiunilor saliente ale unei imagini – zonele care sunt cel mai probabil să atragă atenția umană.

Noua cercetare a descoperit că hărțile de saliență (a patra coloană de la stânga) pot fi utilizate ca filtru sau ‘mask’ pentru a direcționa locusul de atenție în procesele de denoising către zonele imaginii care sunt cel mai probabil să atragă atenția umană. Sursă: https://arxiv.org/pdf/2410.10257

Metodele tradiționale optimizează întreaga imagine în mod uniform, în timp ce noua abordare utilizează un detector de saliență pentru a identifica și a prioritiza regiunile mai “importante”, așa cum fac oamenii.

În teste cantitative și calitative, metoda cercetătorilor a reușit să depășească modelele anterioare bazate pe difuzie, atât în ceea ce privește calitatea imaginii, cât și fidelitatea față de prompturile text.

Noua abordare a obținut, de asemenea, cel mai bun scor într-un test de percepție umană cu 100 de participanți.

Selekcija Naturală

Saliența, capacitatea de a prioritiza informația în lumea reală și în imagini, este o parte esențială a viziunii umane.

Un exemplu simplu al acestui lucru este atenția sporită la detalii pe care arta clasică o acordă zonelor importante ale unei picturi, cum ar fi fața, într-un portret, sau catargele unei nave, într-un subiect marin; în astfel de exemple, atenția artistului se concentrează asupra subiectului central, ceea ce înseamnă că detalii largi, cum ar fi fundalul unui portret sau valurile îndepărtate ale unei furtuni, sunt mai puțin detaliate și mai reprezentative.

Informate de studii umane, metodele de învățare automată au apărut în ultimul deceniu care pot replica sau aproxima acest locus de interes uman în orice imagine.

Segmentarea obiectelor (segmentarea semantică) poate fi un ajutor în individuarea facetelor unei imagini și dezvoltarea hărților de saliență corespunzătoare. Sursă: https://arxiv.org/pdf/1312.6034

În literatura de cercetare, detectorul de saliență cel mai popular în ultimii cinci ani a fost inițiativa Gradient-weighted Class Activation Mapping (Grad-CAM) din 2016, care a evoluat ulterior în sistemul îmbunătățit Grad-CAM++, printre alte variante și rafinări.

Grad-CAM utilizează activarea gradientului a unui token semantic (cum ar fi “câine” sau “pisică”) pentru a produce o hartă vizuală a zonei în care conceptul sau annotarea pare să fie reprezentată în imagine.

Exemple din lucrarea originală Grad-CAM. În a doua coloană, backpropagationul ghidat individuează toate caracteristicile contributive. În a treia coloană, hărțile semantice sunt desenate pentru cele două concepte ‘câine’ și ‘pisică’. A patra coloană reprezintă concatenarea celor două inferențe anterioare. A cincea, harta de occluziune (masking) care corespunde inferenței; și, în final, în a șasea coloană, visualizările Grad-CAM ale unui strat ResNet-18. Sursă: https://arxiv.org/pdf/1610.02391

Sondajele umane asupra rezultatelor obținute de aceste metode au arătat o corespondență între aceste individuări matematice ale punctelor cheie de interes într-o imagine și atenția umană (atunci când se examinează imaginea).

SGOOL

Noul articol examinează ce poate aduce saliența sistemelor text-Imagine (și, posibil, text-videoclip) cum ar fi Stable Diffusion și Flux.

Când interpretează un prompt text, modelele Latent Diffusion explorează spațiul lor de învățare latent pentru concepte vizuale învățate care corespund cuvintelor sau frazelor utilizate. Apoi, ele parcurg aceste puncte de date printr-un proces de denoising, în care zgomotul aleatoriu este evoluat treptat într-o interpretare creativă a promptului text.

În acest moment, totuși, modelul acordă atenție egală fiecărei părți a imaginii. De la popularizarea modelelor de difuzie în 2022, cu lansarea generatorului de imagini Dall-E de la OpenAI și a framework-ului Stable Diffusion de la Stability.ai, utilizatorii au constatat că “secțiunile esențiale” ale unei imagini sunt adesea subestimate.

Având în vedere că, într-o reprezentare tipică a unui om, fața (care este de maximă importanță pentru privitor) este probabil să ocupe nu mai mult de 10-35% din imaginea totală, această metodă democratică de dispersare a atenției funcționează împotriva naturii percepției umane și a istoriei artei și fotografiei.

Când butoanele de pe pantalonii unei persoane primesc aceeași greutate computațională ca și ochii, alocarea resurselor poate fi considerată non-optimală.

Prin urmare, noua metodă propusă de autori, denumită Optimizarea ghidată de saliență a difuziei latente (SGOOL), utilizează un detector de saliență pentru a crește atenția asupra zonelor neglijate ale unei imagini, alocând mai puține resurse zonelor care sunt probabil să rămână în periferia atenției privitorului.

Metodă

Pipeline-ul SGOOL include generarea de imagini, mapping-ul de saliență și optimizarea, cu imaginea globală și imaginea rafinată de saliență procesate împreună.

Scheme conceptuală pentru SGOOL.

Încastrările latente ale modelului de difuzie sunt optimizate direct prin reglare fină, eliminând nevoia de a antrena un model specific. Metoda de eșantionare DDIM (Denoising Diffusion Implicit Model) de la Universitatea Stanford, familiară utilizatorilor de Stable Diffusion, este adaptată pentru a incorpora informațiile secundare furnizate de hărțile de saliență.

Articolul afirmă:

‘În primul rând, utilizăm un detector de saliență pentru a imita sistemul de atenție vizuală umană și a marca regiunile saliente. Pentru a evita antrenarea unui model suplimentar, metoda noastră optimizează direct încărcările latente de difuzie.

‘În plus, SGOOL utilizează un proces de difuzie inversabil și îi conferă meritele implementării cu memorie constantă. Prin urmare, metoda noastră devine o metodă de reglare fină eficientă din punct de vedere al parametrilor și plug-and-play. Experimente extinse au fost efectuate cu mai multe metrice și evaluări umane.’

Date și Teste

Pentru a testa SGOOL, autorii au utilizat o distribuție “vanilă” a Stable Diffusion V1.4 (denumită “SD” în rezultatele testelor) și Stable Diffusion cu ghidare CLIP (denumită “bază” în rezultate).

Sistemul a fost evaluat împotriva a trei seturi de date publice: CommonSyntacticProcesses (CSP), DrawBench și DailyDallE*.

Ultimul conține 99 de prompturi elaborate de la un artist prezentat într-unul dintre articolele blogului OpenAI, în timp ce DrawBench oferă 200 de prompturi în 11 categorii. CSP este compus din 52 de prompturi bazate pe opt cazuri gramaticale diverse.

Pentru SD, bază și SGOOL, în testele efectuate, modelul CLIP a fost utilizat în loc de ViT/B-32 pentru a genera încărcările de imagine și text. Același prompt și sămânță aleatoare a fost utilizat. Dimensiunea de ieșire a fost de 256×256, iar greutățile și setările implicite ale TransalNet au fost utilizate.

Pe lângă metrica de scor CLIP, a fost utilizat și un Scor de Preferință Umană (HPS) estimat, împreună cu un studiu în lumea reală cu 100 de participanți.

Rezultate cantitative comparative SGOOL.

În ceea ce privește rezultatele cantitative prezentate în tabelul de mai sus, articolul afirmă:

‘Modelul nostru depășește semnificativ SD și Baza pe toate seturile de date, atât sub metrica de scor CLIP, cât și sub metrica HPS. Rezultatele medii ale modelului nostru sub scorul CLIP și HPS sunt cu 3,05 și 0,0029 mai mari decât locul doi, respectiv.’

Autorii au estimat, de asemenea, graficele cu box pentru scorurile HPS și CLIP în raport cu abordările anterioare:

Grafice cu box pentru scorurile HPS și CLIP obținute în testele.

Ei comentează:

‘Se poate observa că modelul nostru depășește celelalte modele, ceea ce indică faptul că modelul nostru este mai capabil să genereze imagini care sunt consistente cu prompturile. ‘

‘Cu toate acestea, în graficul cu box, nu este ușor să se vizualizeze comparația din graficul cu box, din cauza dimensiunii acestei metrice de evaluare la [0, 1]. Prin urmare, procedăm la a plota graficele corespunzătoare.’

‘Se poate observa că SGOOL depășește SD și Baza pe toate seturile de date, atât sub scorul CLIP, cât și sub metrica HPS. Rezultatele cantitative demonstrează că modelul nostru poate genera imagini mai semantice și preferate de oameni.’

Cercetătorii notează că, deși modelul de bază este capabil să îmbunătățească calitatea imaginii de ieșire, el nu ia în considerare zonele saliente ale imaginii. Ei susțin că SGOOL, ajungând la un compromis între evaluarea globală și salientă a imaginii, obține imagini mai bune.

În comparațiile calitative (automate), numărul de optimizări a fost setat la 50 pentru SGOOL și DOODL.

Rezultate calitative pentru testele.

Aici autorii observă:

‘În prima linie, subiectele promptului sunt “o pisică care cântă” și “un cvartet de barbershop”. În imaginea generată de SD, există patru pisici, iar conținutul imaginii este slab aliniat cu promptul. ‘

‘Pisica este ignorată în imaginea generată de Baza, iar există o lipsă de detalii în reprezentarea feței și a detaliilor din imagine. DOODL încearcă să genereze o imagine care este consistentă cu promptul. ‘

‘Cu toate acestea, deoarece DOODL optimizează direct imaginea globală, persoanele din imagine sunt optimizate către pisică.’

Ei mai notează că SGOOL, prin contrast, generează imagini care sunt mai consistente cu promptul original.

În testul de percepție umană, 100 de voluntari au evaluat imagini de test pentru calitate și consistență semantică (adică, cât de strâns se conformează prompturilor text). Participanții au avut timp nelimitat pentru a-și face alegerile.

Rezultate pentru testul de percepție umană.

După cum subliniază articolul, metoda autorilor este semnificativ preferată față de abordările anterioare.

Concluzie

Nu mult după ce lipsurile abordate în acest articol au devenit evidente în instalațiile locale ale Stable Diffusion, diverse metode personalizate (cum ar fi After Detailer) au apărut pentru a forța sistemul să acorde atenție sporită zonelor care sunt de interes uman mai mare.

Cu toate acestea, acest tip de abordare necesită ca sistemul de difuzie să treacă mai întâi prin procesul normal de aplicare a atenției egale tuturor părților imaginii, cu munca suplimentară efectuată ca o etapă suplimentară.

Dovezi din SGOOL sugerează că aplicarea psihologiei umane de bază la prioritizarea secțiunilor de imagine poate îmbunătăți semnificativ inferența inițială, fără etape de post-procesare.

* Articolul oferă același link pentru aceasta, ca și pentru CommonSyntacticProcesses.

Publicat pentru prima dată miercuri, 16 octombrie 2024