Cum să știți când sistemele de sinteză a imaginilor produc material “original”

O nouă studiu din Coreea de Sud a propus o metodă pentru a determina dacă sistemele de sinteză a imaginilor produc imagini cu adevărat noi, sau “variante minore” ale datelor de antrenare, ceea ce ar putea învinge obiectivul unor astfel de arhitecturi (cum ar fi producerea de imagini noi și originale).

De multe ori, sugerează articolul, acesta din urmă este adevărat, deoarece metricile existente pe care le folosesc aceste sisteme pentru a-și îmbunătăți capacitățile generative pe parcursul antrenamentului sunt forțate să favorizeze imaginile care sunt relativ aproape de imaginile sursă (nefalse) din setul de date.

După cum se știe, dacă o imagine generată este “vizual aproape” de datele sursă, este inevitabil să obțină un scor mai bun pentru “autenticitate” decât pentru “originalitate”, deoarece este “fidel” – chiar dacă nu este inspirat.

Într-un sector prea nou și neatins pentru ca implicațiile sale legale să fie încă cunoscute, acest lucru ar putea să se dovedească a fi o problemă legală importantă, dacă se dovedește că conținutul sintetic comercializat nu se deosebește suficient de mult de materialul sursă (de obicei) protejat prin drepturi de autor, care este în prezent permis să pătrundă în sectorul cercetării sub forma unor seturi de date populare obținute prin web-scraping (posibilitatea unor astfel de revendicări de încălcare a drepturilor de autor a apărut recent în legătură cu GitHub Co-Pilot AI de la Microsoft ).

În ceea ce privește ieșirile din ce în ce mai coerente și semantic robuste ale sistemelor precum DALL-E 2 de la OpenAI, Imagen de la Google și lansările CogView din China (precum și DALL-E mini cu specificații mai mici), există foarte puține modalități de a testa în mod fiabil originalitatea unei imagini generate.

Într-adevăr, căutarea unor imagini noi populare din DALL-E 2 va duce adesea doar la alte instanțe ale acelorași imagini, în funcție de motorul de căutare.

Încărcarea unui grup complet de 9 imagini de ieșire DALL-E 2 duce doar la alte grupuri de ieșire DALL-E 2, deoarece structura gridului este caracteristica cea mai puternică. Separarea și încărcarea primei imagini (din acest post de Twitter din 8 iunie 2022, de la contul ‘Weird Dall-E Generations’) determină Google să se concentreze asupra balonului din imagine, ducând căutarea bazată pe imagine pe o pistă semantică oarbă. Pentru aceeași căutare bazată pe imagine, Yandex pare să efectueze cel puțin o deconstruire și potrivire de caracteristici bazate pe pixeli.

Deși Yandex este mai probabil decât Google Search să folosească caracteristicile efective (adică caracteristicile calculate derivate ale unei imagini, nu neapărat caracteristicile faciale ale oamenilor) și caracteristicile vizuale (mai degrabă decât semantice) ale unei imagini încărcate pentru a găsi imagini similare, toate motoarele de căutare bazate pe imagine au un anumit program sau practică care poate face dificilă identificarea instanțelor de plagiat “sursă > generat” prin căutări web.

În plus, datele de antrenament pentru un model generativ nu sunt întotdeauna disponibile în întregime, ceea ce îngreunează examinarea forensico-științifică a originalității imaginilor generate.

În mod interesant, efectuarea unei căutări bazate pe imagine pe web pentru una dintre imaginile sintetice prezentate de Google pe site-ul său dedicat Imagen nu găsește nimic comparabil cu subiectul imaginii, în ceea ce privește pur și simplu examinarea imaginii și căutarea imparțială a unor imagini similare. Mai degrabă, fixată semantic, rezultatele căutării Google Image pentru această imagine Imagen nu permit o căutare pură bazată pe imagine a imaginii fără adăugarea termenilor de căutare “imagen google” ca parametru suplimentar (și limitativ):

Yandex, pe de altă parte, găsește o multitudine de imagini reale similare (sau cel puțin vizual legate) din comunitatea artistică amatoare:

În general, ar fi mai bine dacă noutatea sau originalitatea ieșirii sistemelor de sinteză a imaginilor ar putea fi măsurată într-un fel, fără a fi nevoie să extragă caracteristici din fiecare imagine web disponibilă pe internet la momentul antrenării modelului, sau în seturi de date nepublice care ar putea utiliza material protejat prin drepturi de autor.

În legătură cu această problemă, cercetători de la Școala de Absolvenți în Inteligență Artificială Kim Jaechul de la Institutul Avansat de Știință și Tehnologie din Coreea (KAIST AI) au colaborat cu compania globală de ICT și căutare NAVER Corp pentru a dezvolta un Scor de Raritate care poate ajuta la identificarea creațiilor mai originale ale sistemelor de sinteză a imaginilor.

Imaginile de aici sunt generate prin StyleGAN-FFHQ. De la stânga la dreapta, coloanele indică de la cele mai slabe la cele mai bune rezultate. Putem vedea că metrica ‘Truncation trick’ (vezi mai jos) și metrica Realism au propriile agende, în timp ce noul ‘Scor de Raritate’ (rândul superior) caută imagini coerente dar originale (și nu doar imagini coerente). Deoarece există limite de dimensiune a imaginilor în acest articol, vă rugăm să consultați lucrarea sursă pentru detalii și rezoluție mai bună. Sursă: https://arxiv.org/pdf/2206.08549.pdf

Noua lucrare, intitulată Scor de Raritate: O nouă metrică pentru evaluarea neobișnuitului imaginilor sintetizate, provine de la trei cercetători de la KAIST și trei de la NAVER Corp.

Dincolo de “Trucul ieftin”

Printre metricile anterioare pe care noua lucrare încearcă să le îmbunătățească se numără “Trucul de truncare” sugerat în 2019 într-o colaborare între Universitatea Heriot-Watt din Regatul Unit și DeepMind de la Google.

Trucul de truncare folosește în esență o distribuție latentă diferită pentru eșantionare decât cea folosită pentru antrenarea modelului generativ.

Cercetătorii care au dezvoltat această metodă au fost surprinși că a funcționat, dar admit în lucrarea originală că reduce varietatea ieșirii generate. Cu toate acestea, Trucul de truncare a devenit eficient și popular, în contextul în care ar putea fi redescrie ca un “truc ieftin” pentru obținerea unor rezultate autentice care nu asimilează cu adevărat toate posibilitățile inerente în date, și ar putea semăna mai mult cu datele sursă decât este de dorit.

Referitor la Trucul de truncare, autorii noii lucrări observă:

‘[Acesta] nu este destinat să genereze mostre rare în seturile de date de antrenare, ci mai degrabă să sintetizeze imagini tipice mai stabil. Ne ipotetizăm că modelele generative existente vor putea produce mostre mai bogate în distribuția reală a datelor dacă generatorul poate fi indus să producă mostre rare în mod eficient.’

În ceea ce privește tendința generală de a se baza pe metrici tradiționale, cum ar fi Distanța Frechet Inception (FID, care a fost criticată puternic în decembrie 2021), scorul de început (IS) și Distanța Kernel Inception (KID) ca “indicatori de progres” în timpul antrenării unui model generativ, autorii mai comentează*:

‘Acest sistem de învățare conduce generatorul să nu sintetizeze mostre rare care sunt unice și au caracteristici puternice care nu reprezintă o proporție mare a distribuției reale a imaginilor. Exemple de mostre rare din seturi de date publice includ oameni cu diverse accesorii în FFHQ, animale albe în AFHQ și statui neobișnuite în Metfaces.

‘Capacitatea de a genera mostre rare este importantă nu numai pentru că este legată de capacitatea de margine a modelelor generative, ci și pentru că unicitatea joacă un rol important în aplicațiile creative, cum ar fi oamenii virtuali.

‘Cu toate acestea, rezultatele calitative ale mai multor studii recente conțin rareori astfel de exemple rare. Ne ipotetizăm că natura schemei de învățare adversă forțează distribuția imaginilor generate să semene cu cea a setului de date de antrenare. Astfel, imagini cu individualitate clară sau raritate reprezintă doar o mică parte a imaginilor sintetizate de modele.’

Tehnica

Noul Scor de Raritate al cercetătorilor adaptează o idee prezentată în lucrări anterioare – utilizarea Vecinilor cei mai apropiați K (KNN) pentru a reprezenta matricile de date reale (de antrenare) și sintetice (de ieșire) într-un sistem de sinteză a imaginilor.

Referitor la această metodă nouă de analiză, autorii afirmă:

‘Ne ipotetizăm că mostrele obișnuite ar fi mai aproape unele de altele, în timp ce mostrele unice și rare ar fi localizate rar în spațiul de caracteristici.’

Imaginea de rezultate de mai sus arată cele mai mici distanțe ale vecinilor cei mai apropiați (NND) până la cele mai mari, într-o arhitectură StyleGAN antrenată pe FFHQ.

‘Pentru toate seturile de date, mostrele cu NND-urile cele mai mici arată imagini reprezentative și tipice. Pe de altă parte, mostrele cu NND-urile cele mai mari au o puternică individualitate și sunt semnificativ diferite de imaginile tipice cu NND-urile cele mai mici.’

În teorie, prin utilizarea acestei noi metrici ca discriminator, sau cel puțin incluzând-o într-o arhitectură de discriminator mai complexă, un sistem generativ ar putea fi îndreptat departe de imitație pură către un algoritm mai inventiv, păstrând în același timp coerența esențială a conceptelor care ar putea fi critice pentru producerea de imagini autentice (de exemplu, “om”, “femeie”, “mașină”, “biserică” etc.).

Comparații și experimente

În teste, cercetătorii au efectuat o comparație a performanței Scorului de Raritate împotriva atât a Trucului de truncare, cât și a Scorului de Realism al NVIDIA din 2019, și au descoperit că, pe o varietate de cadre și seturi de date, abordarea este capabilă să individueze rezultate “unice”.

Deși rezultatele prezentate în lucrare sunt prea extinse pentru a fi incluse aici, cercetătorii par să fi demonstrat capacitatea noii metode de a identifica raritatea atât în imagini sursă (reale), cât și în imagini generate (false) într-o procedură generativă:

Exemple selectate din rezultatele vizuale extinse reproduse în lucrare (vezi URL-ul sursă de mai sus pentru mai multe detalii). În stânga, exemple reale din FFHQ care au foarte puțini vecini apropiați (adică sunt noi și neobișnuite) în setul de date original; în dreapta, imagini false generate de StyleGAN, pe care noua metrică le-a identificat ca fiind cu adevărat noi.

Noul Scor de Raritate nu numai că permite posibilitatea de a identifica ieșiri generative “noi” într-o singură arhitectură, ci și, susțin cercetătorii, permite comparații între modele generative de arhitecturi diferite (de exemplu, autoencoder, VAE, GAN etc.).

Dincolo de sarcini limitate

Deși cercetătorii noii lucrări au efectuat teste pe cadre cu domeniu limitat (cum ar fi combinații de generator și set de date proiectate pentru a produce în mod specific imagini de oameni sau de pisici, de exemplu), Scorul de Raritate poate fi aplicat potențial oricărei proceduri de sinteză a imaginilor în care se dorește identificarea exemplarelor generate care folosesc distribuțiile derivate din datele antrenate, în loc de a crește autenticitatea (și de a reduce diversitatea) prin interpozarea unor distribuții latente străine sau prin utilizarea altor “scurtături” care compromit noutatea în favoarea autenticității.

În esență, o astfel de metrică ar putea distinge în mod potențial instanțe de ieșire cu adevărat noi în sisteme precum seria DALL-E, prin utilizarea distanței identificate între un rezultat aparent “outlier”, datele de antrenare și rezultatele de la prompturi sau intrări similare (de exemplu, prompturi bazate pe imagine).

În practică, și în absența unei înțelegeri clare a nivelului în care sistemul a asimilat cu adevărat concepte vizuale și semantice (adesea împiedicate de cunoașterea limitată despre datele de antrenare), acesta ar putea fi un mod viabil de a identifica un moment real de “inspirație” într-un sistem generativ – punctul în care un număr adecvat de concepte și date de intrare au rezultat în ceva cu adevărat inventiv, în loc de ceva prea derivat sau aproape de datele sursă.

* Conversiile mele ale citatelor inline ale autorilor în legături.

Publicat pentru prima dată pe 20 iunie 2022.