Hur man vet när bildsynthesystem är producerar genuint “original” material

En ny studie från Sydkorea har föreslagit en metod för att avgöra om bildsynthesystem producerar genuint nya bilder eller “mindre” varianter av träningsdata, vilket potentiellt kan besegra syftet med sådana arkitektur (såsom produktion av nya och originalbilder).

Mycket ofta, föreslår artikeln, är det senare fallet, eftersom de befintliga måtten som sådana system använder för att förbättra sin generativa kapacitet under utbildningen tvingas att föredra bilder som är relativt nära de (icke-falska) källbilderna i datamängden.

Efter allt, om en genererad bild är “visuellt nära” källdata, är det oundvikligen troligt att den kommer att få ett bättre betyg för “autenticitet” än “originalitet”, eftersom den är “trogen” – även om den inte är särskilt inspirerande.

I en sektor som är alltför ny och outprövad för att dess rättsliga implikationer ska vara kända ännu, kan detta visa sig vara en viktig rättslig fråga, om det visar sig att kommersiell syntetisk bildinnehåll inte skiljer sig tillräckligt mycket från det (ofta) upphovsrättsskyddade källmaterialet som för närvarande tillåts att genomsyra forskningssektorn i form av populära webbskrapade datamängder (potentialen för framtida intrångsanspråk av detta slag har blivit aktuell ganska nyligen i fråga om Microsofts GitHub Co-Pilot AI).

I termer av den alltmer sammanhängande och semantiskt robusta utdata från system som OpenAI:s DALL-E 2, Google’s Imagen och Kinas CogView-versioner (samt den lägre utrustade DALL-E mini), finns det mycket få post facto-sätt att tillförlitligt testa originaliteten hos en genererad bild.

Verkligen, att söka efter några av de mest populära av de nya DALL-E 2-bilderna kommer ofta bara att leda till fler instanser av samma bilder, beroende på sökmotorn.

Uppladdning av en komplett 9-bild DALL-E 2-utdata grupp leder bara till fler DALL-E 2-utdata grupper, eftersom rutnätstrukturen är den starkaste funktionen. Att separera och ladda upp den första bilden (från detta Twitter-inlägg den 8 juni 2022, från kontot ‘Weird Dall-E Generations’) får Google att fokusera på basketbollen i bilden, vilket leder sökningen ner i en semantisk återvändsgränd. För samma bildbaserade sökning verkar Yandex åtminstone göra någon form av faktisk pixelbaserad dekonstruktion och funktionsmatching.

Även om Yandex är mer benägen än Google Search att använda de faktiska funktionerna (dvs. en bilds härledda/beräknade funktioner, inte nödvändigtvis ansiktsfunktioner hos människor) och visuella (snarare än semantiska) egenskaper hos en inskickad bild för att hitta liknande bilder, har alla bildbaserade sökmotorer antingen någon form av agenda eller praxis som kan göra det svårt att identifiera instanser av käll>genererad plagiat via webbsökningar.

Dessutom kan träningsdata för en generativ modell inte vara offentligt tillgängliga i sin helhet, vilket ytterligare försvårar forensisk undersökning av originaliteten hos genererade bilder.

Intressant nog, att utföra en bildbaserad webbsökning på en av de syntetiska bilderna som presenteras av Google på dess dedikerade Imagen-webbplats hittar absolut ingenting jämförbart med ämnet för bilden, i termer av att faktiskt titta på bilden och opartiskt söka efter liknande bilder. Snarare, semantiskt fixerad som alltid, kommer Google Bildsökresultaten för denna Imagen-bild inte att tillåta en ren bildbaserad webbsökning av bilden utan att lägga till söktermerna ‘imagen google’ som en ytterligare (och begränsande) parameter:

Yandex, å andra sidan, hittar en mängd liknande (eller åtminstone visuellt relaterade) verkliga världsbilder från den amatörmässiga konstnärsgemenskapen:

I allmänhet vore det bättre om nyheten eller originaliteten hos utdata från bildsynthesystem kunde mätas på något sätt, utan att behöva extrahera funktioner från varje möjlig webbaserad bild på internet vid den tidpunkt då modellen tränades, eller i icke-offentliga datamängder som kan använda upphovsrättsskyddat material.

Relaterat till denna fråga har forskare från Kim Jaechul Graduate School of AI vid Korea Advanced Institute of Science and Technology (KAIST AI) samarbetat med det globala ICT- och sökföretaget NAVER Corp för att utveckla en Ovanlighetspoäng som kan hjälpa till att identifiera de mer originella skapelserna av bildsynthesystem.

Bilderna här genereras via StyleGAN-FFHQ. Från vänster till höger, indikerar kolumnerna sämsta till bästa resultat. Vi kan se att ‘Truncation trick’-måttet (se nedan) och Realism-måttet har sina egna agendor, medan den nya ‘Ovanlighetspoängen’ (översta raden) söker efter sammanhängande men originella bilder (snarare än bara sammanhängande bilder).  Eftersom det finns bildstorleksbegränsningar i denna artikel, se källpappret för bättre detalj och upplösning. Källa: https://arxiv.org/pdf/2206.08549.pdf

Den nya artikeln heter Ovanlighetspoäng: Ett nytt mått för att utvärdera ovanligheten hos syntetiserade bilder och kommer från tre forskare vid KAIST, och tre från NAVER Corp.

Bortom ‘Billig Trick’

Bland de tidigare mått som den nya artikeln försöker förbättra är ‘Truncation trick’ föreslagen 2019 i ett samarbete mellan Storbritanniens Heriot-Watt University och Google’s DeepMind.

Truncation Trick använder i princip en annan latent distribution för sampling än den som användes för att träna den generativa modellen.

Forskarna som utvecklade denna metod var förvånade över att den fungerade, men medger i den ursprungliga artikeln att den minskar variationen i den genererade utdatan. Trots detta har Truncation Trick blivit effektiv och populär, i sammanhanget med vad som kan beskrivas som en ‘billig trick’ för att få autentiskt utseende resultat som inte riktigt assimilerar alla möjligheter som är inneboende i data, och kan likna källdata mer än önskat.

Med avseende på Truncation Trick observerar den nya artikeln följande:

‘[Det] är inte avsett att generera sällsynta prover i träningsdatamängder, utan snarare att syntetisera typiska bilder mer stabilt. Vi hypoteserar att befintliga generativa modeller kommer att kunna producera prover som är rikare i den verkliga datafördelningen om generatoren kan induceras att effektivt producera sällsynta prover.’

Om den allmänna tendensen att förlita sig på traditionella mått som Frechet Inception Distance (FID, som kom under intensiv kritik i december 2021), inception score (IS) och Kernel Inception Distance (KID) som ‘framstegsindikatorer’ under utbildningen av en generativ modell, kommenterar författarna vidare:

‘Denna inlärningsschema leder generatoren att inte syntetisera många sällsynta prover som är unika och har starka egenskaper som inte står för en stor andel av den verkliga bildfördelningen. Exempel på sällsynta prover från offentliga datamängder inkluderar människor med olika tillbehör i FFHQ, vita djur i AFHQ och ovanliga statyer i Metfaces.

‘Förmågan att generera sällsynta prover är viktig inte bara för att den är relaterad till den generativa modellens förmåga att hantera kanter, utan också för att unikhet spelar en viktig roll i kreativa tillämpningar som virtuella människor.

‘Men de kvalitativa resultaten från flera nyliga studier innehåller sällan dessa sällsynta exempel. Vi hypoteserar att den adversariala inlärningsschemat tvingar den genererade bildfördelningen att likna den för träningsdatamängden. Därför utgör bilder med tydlig individualitet eller sällsynthet bara en liten del av de bilder som syntetiseras av modellerna.’

Teknik

Forskarnas nya Ovanlighetspoäng anpassar en idé som presenterades i tidigare arbeten – användningen av K-Nearest Neighbors (KNN) för att representera arrayerna av äkta (tränings-) och syntetiska (utdata-) data i ett bildsynthesystem.

Med avseende på denna nya analysmetod hävdar författarna:

‘Vi hypoteserar att vanliga prover skulle vara närmare varandra, medan unika och sällsynta prover skulle vara glesa i funktionrummet.’

Resultatbilden ovan visar de minsta närmaste grannavstånden (NND) till de största, i en StyleGAN-arkitektur som tränats på FFHQ.

‘För alla datamängder visar proverna med de minsta NND representativa och typiska bilder. Å andra sidan har proverna med de största NND en stark individualitet och skiljer sig avsevärt från de typiska bilderna med de minsta NND.’

I teorin kan denna nya mått, som en diskriminatör eller åtminstone som en del av en mer komplex diskriminatörarkitektur, styra en generativ system bort från ren imitation mot en mer uppfinningsrik algoritm, samtidigt som den behåller den väsentliga sammanhållningen av begrepp som kan vara kritiska för autentisk bildproduktion (dvs. ‘man’, ‘kvinna’, ‘bil’, ‘kyrka’, etc.).

Jämförelser och Experiment

I tester utförde forskarna en jämförelse av Ovanlighetspoängens prestanda mot både Truncation Trick och NVIDIA:s 2019 Realism Score, och fann att över en mängd olika ramverk och datamängder kunde metoden individuera ‘unika’ resultat.

Även om resultaten som presenteras i artikeln är för omfattande för att inkluderas här, verkar forskarna ha demonstrerat förmågan hos den nya metoden att identifiera sällsynthet i både käll- (verkliga) och genererade (falska) bilder i en generativ procedur:

Utvalda exempel från de omfattande visuella resultaten som återges i artikeln (se käll-URL ovan för mer information). Till vänster, äkta exempel från FFHQ som har mycket få nära grannar (dvs. är nya och ovanliga) i den ursprungliga datamängden; till höger, falska bilder genererade av StyleGAN, som den nya metoden har identifierat som riktigt nya. Eftersom det finns bildstorleksbegränsningar i denna artikel, se källpappret för bättre detalj och upplösning.

Den nya Ovanlighetspoäng-måttet tillåter inte bara möjligheten att identifiera ‘nya’ genererade utdata i en enskild arkitektur, utan också, hävdar forskarna, tillåter jämförelser mellan generativa modeller av olika och varierande arkitektur (dvs. autoencoder, VAE, GAN, etc.).

Artikeln noterar att Ovanlighetspoäng skiljer sig från tidigare mått genom att fokusera på en generativ ramverks förmåga att skapa unika och sällsynta bilder, i motsats till ‘traditionella’ mått, som undersöker (mer myopiskt) mångfalden mellan generationer under utbildningen av modellen.

Bortom Begränsade Uppgifter

Även om den nya artikeln forskare har utfört tester på begränsade domäner (såsom generator/datamängds-kombinationer som är utformade för att specifikt producera bilder av människor eller katter, till exempel), kan Ovanlighetspoäng potentiellt tillämpas på vilken godtycklig bildsynthesprocedur som helst där det önskas att identifiera genererade exempel som använder distributioner som härrör från den tränade datan, snarare än att öka autenticitet (och minska mångfald) genom att lägga till främmande latenta distributioner eller förlita sig på andra ‘genvägar’ som komprometterar nyhet till förmån för autenticitet.

I praktiken, och i avsaknad av en tydlig förståelse för den utsträckning till vilken systemet har verkligen assimilerat visuella och semantiska begrepp (ofta hindrad av begränsad kunskap om träningsdatan), kan detta vara en livskraftig metod för att identifiera en äkta ‘ögonblick av inspiration’ i ett generativt system – den punkt där ett tillräckligt antal indatakoncept och data har resulterat i något genuint uppfinningsrikt, snarare än något alltför derivativt eller nära källdata.

* Min omvandling av författarnas inline-citationer till hyperlänkar.

Publicerad första gången den 20 juni 2022.