Andersons vinkel

Modeller til dyb læring kan have svært ved at genkende billeder skabt af AI

Martin Anderson
Føj Unite.AI til dine foretrukne kilder på Google
NøglepunkterAI-modeller klarer sig langt dårligere på syntetiske billeder end på rigtige, hvilket…
Vis mere
  • AI-modeller klarer sig langt dårligere på syntetiske billeder end på rigtige, hvilket risikerer fremtidig datakvalitet.
  • Syntetiske billeder kan forringe modellernes nøjagtighed, når de strømmer umærkede ind i træningsdatasættene.
  • Alle testede objekterkendelsesmodeller viste de samme fejlmønstre på visse AI-genererede kategorier.

Fund fra en ny artikel indikerer, at state-of-the-art AI er betydeligt mindre i stand til at genkende og fortolke billeder skabt af AI end mennesker, hvilket kan være bekymrende i et kommende klima, hvor maskinlæringsmodeller i stigende grad trænes på syntetisk data, og hvor det ikke nødvendigvis vil være kendt, om data er “ægte” eller ej.

Her ser vi resnext101_32x8d_wsl-prædiktionmodellen, der har svært ved at genkende 'bagel'-kategorien. I testen blev en genkendelsesfejl betragtet som indtruffet, hvis det centrale målord (i dette tilfælde 'bagel') ikke var med i de fem bedste forudsigelser. Kilde: https://arxiv.org/pdf/2208.10760.pdf

Her ser vi resnext101_32x8d_wsl-prædiktionmodellen, der har svært ved at genkende ‘bagel’-kategorien. I testen blev en genkendelsesfejl betragtet som indtruffet, hvis det centrale målord (i dette tilfælde ‘bagel’) ikke var med i de fem bedste forudsigelser. Kilde: https://arxiv.org/pdf/2208.10760.pdf

Den nye forskning testede to kategorier af computerbaseret genkendelsessystem: objektgenkendelse og visuel spørgsmålssvar (VQA).

Til venstre ses succeser og fejl fra et objektgenkendelsessystem; til højre ses VQA-opgaver, der er designet til at undersøge AI-forståelse af scener og billeder på en mere eksploratorisk og betydningsfuld måde. Kilder: https://arxiv.org/pdf/2105.05312.pdf og https://arxiv.org/pdf/1505.00468.pdf

Til venstre ses succeser og fejl fra et objektgenkendelsessystem; til højre ses VQA-opgaver, der er designet til at undersøge AI-forståelse af scener og billeder på en mere eksploratorisk og betydningsfuld måde. Kilder: https://arxiv.org/pdf/2105.05312.pdf og https://arxiv.org/pdf/1505.00468.pdf

Af ti state-of-the-art-modeller, der blev testet på kuraterede datasæt genereret af billedsyntheseframeworks DALL-E 2 og Midjourney, var den bedst performende model kun i stand til at opnå 60% og 80% top-5-nøjagtighed på tværs af de to testtyper, hvorimod ImageNet, der er trænet på ikke-syntetisk, virkelig data, kan opnå 91% og 99% i samme kategorier, mens menneskers præstation er typisk bemærkelsesværdigt højere.

Om fordelingsskift, også kaldet modeldrift, hvor forudsigelsesmodeller mister forudsigelsesevne, når de flyttes fra træningsdata til virkelige data, siger artiklen:

‘Mennesker kan genkende de genererede billeder og nemt besvare spørgsmål om dem. Vi konkluderer, at a) dybe modeller har svært ved at forstå det genererede indhold og muligvis klarer sig bedre efter finjustering, og b) der er et stort fordelingsskift mellem de genererede billeder og virkelige fotografier. Fordelingsskiftet ser ud til at afhænge af kategorien.’

De syntetiske billeder strømmer allerede ud på internettet efter sidste uges opsigtsvækkende offentliggørelse af kildekoden til den kraftfulde model til latent diffusionssyntese Stable Diffusion. Derfor opstår naturligt muligheden for, at når falske billeder strømmer ind i industristandarddatasæt som Common Crawl, kan variationer i nøjagtigheden over årene blive betydeligt påvirket af uvirkelige billeder.

Syntetiske data er blevet hyldet som en mulig redning for det datafattige forskningsfelt computer vision, som ofte mangler ressourcer og budget til udvælgelse og organisering af data i enorm skala. Men den nye strøm af Stable Diffusion-billeder, sammen med den generelle vækst i syntetiske billeder siden fremkomsten og kommercialiseringen af DALL-E 2, vil næppe alle have nyttige etiketter, anmærkninger og hashtags, der markerer dem som falske, når maskinsynssystemer indsamler dem fra internettet.

Udviklingen af åbne frameworks til billedsyntese har tydeligt overhalet vores evne til at kategorisere deres billeder. Det har ført til stigende interesse for registrering af falske billeder, i systemer der ligner deepfake-detektorer, men skal vurdere hele billeder frem for dele af ansigter.

Den nye artikel hedder Hvor godt forstår dybe modeller genererede billeder? og er skrevet af Ali Borji fra maskinlæringsvirksomheden Quintic AI i San Francisco.

Data

Studiet forudgår Stable Diffusion-udgivelsen, og eksperimenterne bruger data genereret af DALL-E 2 og Midjourney på tværs af 17 kategorier, herunder elefant, svamp, pizza, pretzel, traktor og kanin.

Eksempler på billeder, som de testede genkendelses- og VQA-systemer blev udfordret til at identificere den vigtigste nøglekoncept.

Eksempler på billeder, som de testede genkendelses- og VQA-systemer blev udfordret til at identificere den vigtigste nøglekoncept.

Billederne blev erhvervet via web-søgninger og Twitter, og i overensstemmelse med DALL-E 2’s politik (i hvert fald på det tidspunkt), indeholdt de ikke billeder med menneskeansigter. Kun billeder af god kvalitet, der var genkendelige for mennesker, blev valgt.

To sæt billeder blev kurateret, ét for objektgenkendelse og ét for VQA-opgaver.

Antallet af billeder i hver testkategori for objektgenkendelse.

Antallet af billeder i hver testkategori for objektgenkendelse.

Test af objektgenkendelse

For objektgenkendelsestestene blev ti modeller, alle trænet på ImageNet, testet: AlexNet, ResNet152, MobileNetV2, DenseNet, ResNext, GoogleNet, ResNet101, Inception_V3, Deit, og ResNext_WSL.

Nogle af klasserne i de testede systemer var mere detaljerede end andre, hvilket krævede anvendelse af gennemsnitsmetoder. For eksempel indeholder ImageNet tre klasser, der relaterer til ‘ure’, og det var nødvendigt at definere et afgørelseskriterium, hvor inklusion af et ‘ur’ af en hvilken som helst type i de fem bedste opnåede mærker for et billede blev betragtet som en succes i det tilfælde.

Præstation pr. model på tværs af 17 kategorier.

Præstation pr. model på tværs af 17 kategorier.

Den bedst performende model i denne runde var resnext101_32x8d_ws, der opnåede næsten 60% for top-1 (dvs. de gange, hvor dens foretrukne forudsigelse ud af fem gæt var den korrekte koncept i billedet), og 80% for top-five (dvs. det ønskede koncept var mindst nævnt et sted i modellens fem gæt om billedet).

Forfatteren foreslår, at denne models gode præstation skyldes, at den blev trænet til svagt-overvåget forudsigelse af hashtags på sociale medieplatforme. Imidlertid er disse førende resultater, bemærker forfatteren, bemærkelsesværdigt lavere end, hvad ImageNet kan opnå på rigtig data, dvs. 91% og 99%. Han foreslår, at dette skyldes en stor forskel på distributionen af ImageNet-billeder (der også er hentet fra webben) og genererede billeder.

De fem sværeste kategorier for systemet, i rækkefølge efter sværhedsgrad, var drage, skildpadde, egern, solbriller og hjelm. Artiklen bemærker, at drage-klassen ofte forveksles med ballon, faldskærm og paraply, selvom disse forskelle er lette for menneskelige iagttagere at skelne.

Visse kategorier, herunder drage og skildpadde, forårsagede universel fejl på tværs af alle modeller, mens andre (især pretzel og traktor) resulterede i næsten universel succes på tværs af de testede modeller.

Polariserende kategorier: nogle af de valgte mål-kategorier enten forvirrede alle modellerne eller var ret lette for alle modellerne at identificere.

Polariserende kategorier: nogle af de valgte mål-kategorier enten forvirrede alle modellerne eller var ret lette for alle modellerne at identificere.

Forfatterne formoder, at disse fund indikerer, at alle objektgenkendelsesmodeller kan dele lignende styrker og svagheder.

Test af visuel besvarelse af spørgsmål

Dernæst testede forfatteren VQA-modeller på åbne og frie VQA med binære spørgsmål (dvs. spørgsmål, der kun kan besvares med “ja” eller “nej”). Artiklen bemærker, at nyeste state-of-the-art VQA-modeller kan opnå 95% nøjagtighed på VQA-v2-datasættet.

Til denne testrunde blev 50 billeder kurateret, og 241 spørgsmål formuleret omkring dem, 132 af disse havde positive svar, og 109 negative. Gennemsnitslængden af spørgsmålene var 5,12 ord.

Denne runde anvendte OFA-modellen, en opgave-agnostisk og modalitets-agnostisk ramme til at teste opgaveforståelse, og var nylig den førende scorer i VQA-v2-test-std-sættet. OFA opnåede 77,27% nøjagtighed på de genererede billeder, sammenlignet med dens egen 94,7% score i VQA-v2-test-std-sættet.

Eksempler på spørgsmål og resultater fra VQA-delen af testen. 'GT' er 'Ground Truth', dvs. det korrekte svar.

Eksempler på spørgsmål og resultater fra VQA-delen af testen. ‘GT’ er ‘Ground Truth’, dvs. det korrekte svar.

Artiklens forfatter foreslår, at en del af årsagen kan være, at de genererede billeder indeholder semantiske koncepter, der ikke er til stede i VQA-v2-datasættet, og at spørgsmålene, der er skrevet til VQA-testerne, kan være mere udfordrende end det generelle standard for VQA-v2-spørgsmål, selvom han mener, at den første årsag er mere sandsynlig.

LSD i Datastrømmen?

Kommentar

Den nye proliferation af AI-syntheserede billeder, der kan præsentere øjeblikkelige konjunktioner og abstraktioner af centrale koncepter, der ikke findes i naturen, og som ville være uoverkommeligt tidskrævende at producere via konventionelle metoder, kunne præsentere et særligt problem for svagt-overvågede dataindsamlingssystemer, der måske ikke kan håndtere fejl kontrolleret – primært fordi de ikke blev designet til at håndtere store mængder, ulabelagt syntetisk data.

I sådanne tilfælde kan der være en risiko for, at disse systemer vil samle en procentdel “bisær” syntetiske billeder ind i forkerte klasser, blot fordi billederne viser distinkte objekter, der ikke rigtig hører sammen.

'Astronaut der rider på en hest' er måske blevet det mest emblematiske visuelle for den nye generation af billedsynthesesystemer – men disse 'ureelle' relationer kunne komme ind i rigtige detectionsystemer, hvis man ikke er forsigtig. Kilde: https://twitter.com/openai/status/1511714545529614338?lang=en

‘Astronaut der rider på en hest’ er måske blevet det mest emblematiske visuelle for den nye generation af billedsynthesesystemer – men disse ‘ureelle’ relationer kunne komme ind i rigtige detectionsystemer, hvis man ikke er forsigtig. Kilde: https://twitter.com/openai/status/1511714545529614338?lang=en

Medmindre dette kan forhindres på forbehandlingsstadiet før træning, kunne sådanne automatiserede pipelines føre til, at usandsynlige eller endda groteske associationer blev trænet ind i maskinlæringsmodeller, hvilket ville underminere deres effektivitet og risikere at overføre højniveauforbindelser til downstream-systemer og underkategorier.

Alternativt kunne disse uensartede syntetiske billeder have en “køleffekt” på nøjagtigheden af senere systemer, i tilfælde af, at nye eller ændrede arkitekturer skulle opstå, som forsøger at tage hensyn til ad hoc-syntetisk billedmateriale, og favner for bredt.

I begge tilfælde kunne syntetisk billedmateriale i den post-Stable Diffusion-æra være et problem for computer vision-forskningssektoren, hvis indsats gjorde disse underlige skabninger og muligheder mulige – ikke mindst fordi det truer sektorens håb om, at indsamling og kuratering af data til sidst kan blive langt mere automatiseret, end det er i øjeblikket, og langt mindre dyrt og tidskrævende.

 

Først udgivet 1. september 2022.

Forfatter inden for maskinlæring, domænespecialist i menneskelig billedsyntese. Tidligere chef for forskningsindhold hos Metaphysic.ai, indtil den blev opløst i DNEGs Brahma.ai.
Websted: martinanderson.ai
Kontakt: martin@martinanderson.ai