Modelele de învățare profundă ar putea avea dificultăți în recunoașterea imaginilor generate de IA

Descoperirile unui nou studiu indică faptul că inteligența artificială de ultimă generație este semnificativ mai puțin capabilă să recunoască și să interpreteze imagini sintetizate de IA decât oamenii, ceea ce poate fi de îngrijorare într-un mediu în care modelele de învățare automată sunt din ce în ce mai mult antrenate pe date sintetice și unde nu se va ști întotdeauna dacă datele sunt “reale” sau nu.

Aici vedem modelul de predicție resnext101_32x8d_wsl care are dificultăți în categoria ‘bagel’. În testele efectuate, o eșuare a recunoașterii a fost considerată a fi survenită dacă cuvântul țintă de bază (în acest caz ‘bagel’) nu a fost inclus în primele cinci rezultate prezise. Sursă: https://arxiv.org/pdf/2208.10760.pdf

Noul studiu a testat două categorii de cadre de recunoaștere a obiectelor pe baza viziunii computerizate: recunoașterea obiectelor și răspunsul la întrebări vizuale (VQA).

În stânga, succese și eșuări ale unui sistem de reconoaștere a obiectelor; în dreapta, sarcini VQA proiectate pentru a testa înțelegerea IA a scenelor și imaginilor într-un mod mai exploratoriu și semnificativ. Surse: https://arxiv.org/pdf/2105.05312.pdf și https://arxiv.org/pdf/1505.00468.pdf

Dintre cele zece modele de ultimă generație testate pe seturi de date curate generate de cadre de sinteză de imagini DALL-E 2 și Midjourney, cel mai bun model a reușit să obțină doar 60% și 80% acuratețe top-5 în cele două tipuri de test, în timp ce ImageNet, antrenat pe date reale, non-sintetice, poate obține respectiv 91% și 99% în aceleași categorii, în timp ce performanța umană este de obicei semnificativ mai mare.

Abordând problemele legate de schimbarea distribuției (cunoscută și sub numele de “Deriva modelului”, unde modelele de predicție experimentează o capacitate predictivă diminuată atunci când sunt mutate de la datele de antrenare la “date reale”), articolul afirmă:

Oamenii sunt capabili să recunoască imagini generate și să răspundă la întrebări despre ele cu ușurință. Concluzionăm că a) modelele profunde au dificultăți în a înțelege conținutul generat și ar putea face mai bine după ajustarea fină, și b) există o schimbare semnificativă a distribuției între imaginile generate și fotografiile reale. Schimbarea distribuției pare să fie dependentă de categorie.

Dată fiind cantitatea mare de imagini sintetice care deja inundează internetul în urma deschiderii recente a puternicului model de sinteză latentă Stable Diffusion, se ridică natural posibilitatea ca, pe măsură ce “imagini false” inundează seturi de date standard din industrie, cum ar fi Common Crawl, variațiile de acuratețe de-a lungul anilor ar putea fi afectate semnificativ de “imagini nereale”.

Deși datele sintetice au fost prezentate ca potențialul salvator al sectorului de cercetare a viziunii computerizate, care adesea suferă de lipsa de resurse și bugete pentru curarea hiperscală, noul val de imagini Stable Diffusion (împreună cu creșterea generală a imaginilor sintetice de la apariția și comercializarea DALL-E 2) sunt puțin probabil să fie însoțite de etichete, anotări și hashtag-uri care le disting ca “false” în momentul în care sistemele de viziune automată le extrag de pe internet.

Viteza de dezvoltare a cadrelor de sinteză de imagini deschise a depășit semnificativ capacitatea noastră de a categorisi imagini din aceste sisteme, conducând la un interes crescând pentru sisteme de detectare a “imaginilor false”, similare cu sistemele de detectare a deepfake-urilor, dar care evaluează imagini întregi și nu doar secțiuni ale fețelor.

Articolul nou se intitulează Cât de bune sunt modelele profunde în înțelegerea imaginilor generate și provine de la Ali Borji de la startup-ul de inteligență artificială Quintic AI din San Francisco.

Date

Studiul precede lansarea Stable Diffusion și experimentele folosesc date generate de DALL-E 2 și Midjourney în 17 categorii, incluzând elefant, ciupercă, pizza, pretzel, tractor și iepure.

Exemple de imagini din care sistemele de recunoaștere și VQA testate au fost provocate să identifice conceptul cheie cel mai important.

Imaginile au fost obținute prin căutări pe web și prin Twitter, și, în conformitate cu politicile DALL-E 2 (cel puțin, la momentul respectiv), nu au inclus imagini care prezintă fețe de oameni. Doar imagini de calitate, recunoscute de oameni, au fost selectate.

Au fost create două seturi de imagini, una pentru recunoașterea obiectelor și una pentru VQA.

Numărul de imagini prezente în fiecare categorie testată pentru recunoașterea obiectelor.

Testarea recunoașterii obiectelor

Pentru testele de recunoaștere a obiectelor, zece modele, toate antrenate pe ImageNet, au fost testate: AlexNet, ResNet152, MobileNetV2, DenseNet, ResNext, GoogleNet, ResNet101, Inception_V3, Deit și ResNext_WSL.

Unele dintre clasele din sistemele testate au fost mai granulare decât altele, necesitând aplicarea unor abordări mediate. De exemplu, ImageNet conține trei clase referitoare la “ceasuri”, și a fost necesar să se definească o metrică arbitrară, unde includerea oricărui “ceas” de orice tip în primele cinci etichete obținute pentru orice imagine a fost considerată o reușită în acel caz.

Performanța pe model în 17 categorii.

Cel mai bun model în această rundă a fost resnext101_32x8d_ws, care a obținut aproape 60% pentru top-1 (adică, de câte ori predicția sa preferată din cinci ghiciri a fost conceptul corect încarnat în imagine) și 80% pentru top-5 (adică, conceptul dorit a fost inclus undeva în cele cinci ghiciri ale modelului despre imagine).

Autorul sugerează că performanța bună a acestui model se datorează faptului că a fost antrenat pentru predicția slab supravegheată a hashtag-urilor pe platformele de social media. Cu toate acestea, aceste rezultate de top, autorul notează, sunt semnificativ sub ceea ce ImageNet poate obține pe date reale, adică 91% și 99%. El sugerează că acest lucru se datorează unei disparități majore între distribuția imaginilor ImageNet (care sunt, de asemenea, extrase de pe web) și imaginile generate.

Cele cinci categorii cel mai dificile pentru sistem, în ordinea dificultății, au fost zmeu, țestoasă, șoarece, ochelari de soare și casca. Articolul notează că categoria zmeu este adesea confundată cu balon, parapantă și umbrelă, deși aceste distincții sunt trivial de ușor de făcut de observatorii umani.

Anumite categorii, incluzând zmeu și țestoasă, au cauzat eșuări universale în toate modelele, în timp ce altele (în special pretzel și tractor) au dus la succese aproape universale în toate modelele testate.

Categorii polarizante: unele dintre categoriile țintă alese au fost fie complet greșite de toate modelele, fie relativ ușor de identificat de toate modelele.

Autorii presupun că aceste constatări indică faptul că toate modelele de recunoaștere a obiectelor pot avea puncte forte și slabe similare.

Testarea răspunsului la întrebări vizuale

Următorul, autorul a testat modelele VQA pe întrebări deschise și libere VQA, cu întrebări binare (adică, întrebări la care răspunsul poate fi doar “da” sau “nu”). Articolul notează că modelele VQA de ultimă generație sunt capabile să obțină 95% acuratețe pe setul de date VQA-v2.

Pentru această etapă de testare, autorul a curat 50 de imagini și a formulat 241 de întrebări în jurul lor, 132 cu răspunsuri pozitive și 109 cu răspunsuri negative. Lungimea medie a întrebărilor a fost de 5,12 cuvinte.

Această rundă a folosit modelul OFA, un cadru agnostic de sarcină și modality, pentru a testa comprehensivitatea sarcinii, și a fost recent liderul în setul de teste VQA-v2 test-std. Modelul OFA a obținut 77,27% acuratețe pe imaginile generate, comparativ cu scorul său de 94,7% în setul de teste VQA-v2 test-std.

Exemple de întrebări și rezultate din secțiunea VQA a testelor. ‘GT’ este ‘Adevărul din spate’, adică răspunsul corect.

Autorul articolului sugerează că parte a motivului poate fi acela că imaginile generate conțin concepte semantice absente din setul de date VQA-v2, și că întrebările scrise pentru testele VQA pot fi mai provocatoare decât standardul general al întrebărilor VQA-v2, deși el crede că primul motiv este mai probabil.

LSD în fluxul de date?

Opinie

Noua proliferare a imaginilor sintetizate de IA, care pot prezenta conjuncții și abstracții instantanee de concepte de bază care nu există în natură și care ar fi prohibitiv de costisitoare pentru a fi produse prin metode convenționale, ar putea prezenta o problemă particulară pentru sistemele de colectare a datelor slab supravegheate, care nu ar putea eșua cu grație – în mare parte pentru că nu au fost proiectate pentru a gestiona volume mari de date sintetice nelabelate.

În astfel de cazuri, poate exista riscul ca aceste sisteme să direcționeze un procent de “imagini bizare” sintetice în clase incorecte, pur și simplu pentru că imaginile prezintă obiecte distincte care nu aparțin împreună.

‘Astronautul călărind un cal’ a devenit poate cel mai emblematic vizual pentru noua generație de sisteme de sinteză de imagini – dar aceste ‘relații nereale’ ar putea intra în sistemele de detectare reale, dacă nu se iau măsuri de precauție. Sursă: https://twitter.com/openai/status/1511714545529614338?lang=en

Exceptând cazul în care acest lucru poate fi prevenit la etapa de preprocesare, înainte de antrenare, astfel de conducte automate ar putea duce la asocieri improbabile sau chiar grotesce care ar putea fi antrenate în sistemele de învățare automată, diminuându-le eficacitatea și riscând să transmită asocieri de nivel superior în sistemele și categoriile descendente.

Alternativ, imaginile sintetice disjuncte ar putea avea un “efect de răcire” asupra acurateței sistemelor ulterioare, în eventualitatea în care ar apărea arhitecturi noi sau modificate care să încerce să țină cont de imagini sintetice ad-hoc și să arunce o plasă prea largă.

În orice caz, imaginile sintetice în era post-Stable Diffusion ar putea dovedi a fi o durere de cap pentru sectorul de cercetare a viziunii computerizate, ale cărui eforturi au făcut posibile aceste creații și capacități ciudate – și nu în ultimul rând pentru că periclitează speranța sectorului că colectarea și curarea datelor ar putea fi într-adevăr mult mai automate decât este în prezent și mult mai puțin costisitoare și consumatoare de timp.

Publicat pentru prima dată pe 1 septembrie 2022.