Andersonin kulma

Syväoppimismallien voi olla vaikea tunnistaa tekoälyn luomia kuvia

Martin Anderson
Lisää Unite.AI suosikkilähteisiisi Google-palvelussa
Keskeiset kohdatTekoälymallit suoriutuvat huomattavasti heikommin synteettisillä kuvilla kuin oikeilla…
Näytä lisää
  • Tekoälymallit suoriutuvat huomattavasti heikommin synteettisillä kuvilla kuin oikeilla kuvilla, mikä vaarantaa tulevan datan laatua.
  • Synteettiset kuvat voivat heikentää mallin tarkkuutta, kun niitä virtaa leimattomina koulutusaineistoihin.
  • Kaikissa testatuissa esineentunnistusmalleissa esiintyi samat epäonnistumismallit tietyissä tekoälyn luomissa kategorioissa.

Tutkimustulokset uudesta tutkimuksesta osoittavat, että viimeisimmän sukupolven tekoäly on huomattavasti vähemmän kykenevä tunnistamaan ja tulkimaan tekoälysynthesoituja kuvia kuin ihmiset, mikä saattaa olla huolenaihe tulevassa ilmastossa, jossa koneoppimismallit koulutetaan yhä enemmän synteettisillä tiedoilla, ja jossa ei välttämättä tiedetä, ovatko tiedot aitoja vai eivät.

Tässä näemme resnext101_32x8d_wsl -ennustemallin kamppailevan 'bagel'-luokassa. Testeissä tunnistusvirheksi luokiteltiin tilanne, jossa ydin kohdesana (tässä tapauksessa 'bagel') ei ollut viiden parhaan tuloksen joukossa. Lähde: https://arxiv.org/pdf/2208.10760.pdf

Tässä näemme resnext101_32x8d_wsl -ennustemallin kamppailevan ‘bagel’-luokassa. Testeissä tunnistusvirheksi luokiteltiin tilanne, jossa ydin kohdesana (tässä tapauksessa ‘bagel’) ei ollut viiden parhaan tuloksen joukossa. Lähde: https://arxiv.org/pdf/2208.10760.pdf

Uusi tutkimus testasi kahta tietokoneen näön perustuvaa tunnistusjärjestelmää: objektin tunnistamista ja visuaalisiin kysymyksiin vastaamista (VQA).

Vasemmalla objektin tunnistamisen onnistumisia ja epäonnistumisia; oikealla VQA-tehtäviä, jotka on suunniteltu testaamaan tekoälyn ymmärrystä kuvista ja kohtauksista tutkivammalla ja merkittävämmällä tavalla. Lähteet: https://arxiv.org/pdf/2105.05312.pdf ja https://arxiv.org/pdf/1505.00468.pdf

Vasemmalla objektin tunnistamisen onnistumisia ja epäonnistumisia; oikealla VQA-tehtäviä, jotka on suunniteltu testaamaan tekoälyn ymmärrystä kuvista ja kohtauksista tutkivammalla ja merkittävämmällä tavalla. Lähteet: https://arxiv.org/pdf/2105.05312.pdf ja https://arxiv.org/pdf/1505.00468.pdf

Kymmenestä huippumallista, joita testattiin DALL-E 2:n ja Midjourneyn tuottamista kuvista kootuilla aineistoilla, paras saavutti kahdessa testityypissä vain 60 %:n ja 80 %:n top-5-tarkkuuden. Ei-synteettisellä, todellisen maailman datalla koulutettu ImageNet voi saavuttaa samoissa luokissa vastaavasti 91 % ja 99 %, ja ihmisten suorituskyky on yleensä selvästi parempi.

Käsitellessään jakaumasiirtymää eli mallin ajautumista, jossa ennustemallin kyky heikkenee siirryttäessä koulutusdatasta todelliseen dataan, tutkimus toteaa:

”Ihmiset tunnistavat tuotetut kuvat ja vastaavat niitä koskeviin kysymyksiin helposti. Päättelemme, että a) syväoppimismallien on vaikea ymmärtää tuotettua sisältöä, ja hienosäätö saattaa parantaa niitä, ja b) tuotettujen kuvien ja oikeiden valokuvien välillä on suuri jakaumasiirtymä. Siirtymä näyttää riippuvan luokasta.”

Internetissä on jo valtavasti synteettisiä kuvia, etenkin tehokkaan Stable Diffusion -mallin viimeviikkoisen näyttävän avoimen julkaisun jälkeen. Tämä latentti diffuusiomalli nostaa esiin mahdollisuuden, että kun väärennettyjä kuvia päätyy alan vakioaineistoihin, kuten Common Crawliin, epäaidot kuvat voivat vaikuttaa huomattavasti tarkkuuden kehitykseen vuosien mittaan.

Vaikka synteettistä dataa on ylistetty mahdolliseksi pelastajaksi konenäkötutkimukselle, joka kärsii datan puutteesta eikä usein pysty rahoittamaan valtavien aineistojen huolellista kokoamista, uudessa Stable Diffusion -kuvien tulvassa ei välttämättä ole merkintöjä, annotaatioita tai hashtageja, jotka osoittaisivat kuvat väärennetyiksi, kun konenäköjärjestelmät keräävät ne internetistä. Sama koskee synteettisten kuvien yleistä kasvua kaupallistumisen ja DALL-E 2:n tulon jälkeen.

Synteettisten kuvien kehitys avoimissa lähdekoodin kuvasynteesirunkoissa on merkittävästi ohittanut kykymme luokitella kuvia näistä järjestelmistä, mikä on johtanut kasvavaan kiinnostukseen väärennettyjen kuvien tunnistusjärjestelmiä kohtaan. Ne muistuttavat deepfake-tunnistusjärjestelmiä, mutta arvioivat kokonaisia kuvia kasvojen osien sijasta.

Uusi tutkimus on nimeltään Kuinka hyvin syväoppimismallit ymmärtävät tuotettuja kuvia? Sen kirjoittaja on Ali Borji San Franciscossa toimivasta koneoppimisen startupista Quintic AI:sta.

Data

Tutkimus edeltää Stable Diffusion -julkaisua, ja kokeet käyttävät DALL-E 2: n ja Midjourneyn avulla luotuja tietoja 17 luokassa, mukaan lukien elefantti, sieni, pizza, pretzel, traktori ja jänis.

Esimerkkejä kuvista, joista testatut tunnistus- ja VQA-järjestelmät haastoivat tunnistamaan tärkeimmän avainkäsitteen.

Esimerkkejä kuvista, joista testatut tunnistus- ja VQA-järjestelmät haastoivat tunnistamaan tärkeimmän avainkäsitteen.

Kuvat hankittiin verkkohakuja ja Twitteriä käyttämällä, ja DALL-E 2: n käytäntöjen mukaisesti (ainakin tuolloin) ne eivät sisältäneet kuvia, joissa oli ihmisten kasvoja. Valittiin vain laadukkaita kuvia, jotka olivat ihmisten tunnistettavissa.

Kaksi kuva-aineistoa koottiin, yksi kullekin objektin tunnistamisen ja VQA-tehtävien luokalle.

Kuvien määrä kussakin testatussa luokassa objektin tunnistamisessa.

Kuvien määrä kussakin testatussa luokassa objektin tunnistamisessa.

Testaaminen objektin tunnistamisessa

Objektin tunnistamistesteissä kymmenen mallia, jotka olivat kaikki koulutettu ImageNetillä, testattiin: AlexNet, ResNet152, MobileNetV2, DenseNet, ResNext, GoogleNet, ResNet101, Inception_V3, Deit ja ResNext_WSL.

Jotkut luokat testatuissa järjestelmissä olivat tarkempia kuin toiset, mikä edellytti keskiarvon soveltamista. Esimerkiksi ImageNet sisältää kolme luokkaa, jotka liittyvät “kelloihin”, ja oli tarpeen määritellä jonkinlainen arbitrinen mittari, jossa minkä tahansa “kellon” sisällyttäminen viiden saadun luokan joukkoon mille tahansa kuvalle katsottiin onnistuneeksi siinä tapauksessa.

Mallikohtainen suorituskyky 17 luokassa.

Mallikohtainen suorituskyky 17 luokassa.

Paras malli tässä kierroksessa oli resnext101_32x8d_ws, joka saavutti lähes 60 %: n top-1 (ts. kerrat, jolloin sen ensisijainen arvaus viidestä arvauksesta oli oikea käsite, joka kuvaa kuvaa) ja 80 %: n top-5 (ts. haluttu käsite oli ainakin jossakin mallin viidessä arvauksessa kuvasta).

Mallin hyvän suorituskyvyn arvellaan johtuvan siitä, että se on koulutettu heikosti valvottuun hashtagien ennustamiseen sosiaalisissa medioissa. Näiden johtavien tulosten osalta kirjoittaja toteaa kuitenkin, että ne ovat merkittävästi alempia kuin mitä ImageNet pystyy saavuttamaan oikeilla tiedoilla, ts. 91 % ja 99 %.

Kirjoittaja ehdottaa, että tämä johtuu suuresta eroavaisuudesta ImageNet-kuvien ja luotujen kuvien jakautumisessa (jotka myös poimitaan verkosta).

Viisi vaikeinta luokkaa järjestelmälle, vaikeuden mukaan, olivat leija, kilpikonna, orava, aurinkolasit ja kypärä. Tutkimus toteaa, että leijaluokka sekoitetaan usein ilmapalloihin, laskuvarjoihin ja sateenvarjoihin, vaikka nämä eroavaisuudet ovat ihmisille helppoja erottaa toisistaan.

Tietyt luokat, kuten leija ja kilpikonna, aiheuttivat epäonnistumisen kaikille malleille, kun taas toisissa (erityisesti pretzel ja traktori) lähes kaikki testatut mallit onnistuivat.

Polarisoivat luokat: jotkut kohdeluokat olivat joko kaikkien mallien hämmentäjiä tai melko helppoja kaikille malleille.

Polarisoivat luokat: jotkut kohdeluokat olivat joko kaikkien mallien hämmentäjiä tai melko helppoja kaikille malleille.

Kirjoittaja arvelee, että nämä tulokset osoittavat, että kaikki objektin tunnistusmallit saattavat jakaa samanlaisia vahvuuksia ja heikkouksia.

Testaaminen visuaalisten kysymysten vastaamisessa

Seuraavaksi kirjoittaja testasi VQA-malleja avoimilla ja vapaamuotoisilla VQA: lla, joissa oli binäärisiä kysymyksiä (ts. kysymyksiä, joihin vastaus voi olla vain “kyllä” tai “ei”). Tutkimus toteaa, että viimeisimmät VQA-mallit pystyvät saavuttamaan 95 %:n tarkkuuden VQA-v2-aineistossa.

Tässä vaiheessa testattiin 50 kuvaa ja muodostettiin 241 kysymystä niiden ympärillä, 132 joista oli positiivisia ja 109 negatiivisia. Kysymysten keskipituuksessa oli 5,12 sanaa.

Tällä kierroksella käytettiin OFA-mallia, joka on tehtävästä ja modaliteetista riippumaton kehys tehtävien kattavuuden testaamiseen. Se oli äskettäin saavuttanut parhaan tuloksen VQA-v2 test-std -aineistossa. OFA:n tarkkuus tuotetuilla kuvilla oli 77,27 %, kun sen oma tulos VQA-v2 test-std -aineistossa oli 94,7 %.

Esimerkkikysymyksiä ja tuloksia VQA-osion testeistä. 'GT' tarkoittaa 'todellista vastausta', eli oikein vastausta.

Esimerkkikysymyksiä ja tuloksia VQA-osion testeistä. ‘GT” tarkoittaa ‘todellista vastausta’, eli oikein vastausta.

Tutkimuksen kirjoittaja arvelee, että osasyynä voi olla se, että luodut kuvat sisältävät semanttisia käsitteitä, joita ei ole VQA-v2 -tietokokoelmassa, ja että VQA-testien kysymykset voivat olla haastavampia kuin VQA-v2 -kysymysten yleinen standardi, vaikka hän uskookin, että ensimmäinen syy on todennäköisempi.

LSD:tä tietovirrassa?

Mielipide
Uusi tekoälyllä luotujen kuvien runsas lisääntyminen, joka voi esittää välittömiä yhdistelmiä ja abstraktioita peruskäsitteistä, joita ei ole luonnossa, ja jotka olisivat kohtuuttoman aikaa vieviä tuottaa perinteisin menetelmin, voi aiheuttaa erityisen ongelman heikosti valvottujen tietojen keräämisjärjestelmille, jotka eivät välttämättä pysty hallitsemaan virhetilanteita hallitusti – pääasiassa siksi, että ne eivät ole suunniteltu käsittelemään suuria määriä merkintämättömiä synteettisiä tietoja.

Sellaisissa tapauksissa on mahdollista, että nämä järjestelmät voivat sijoittaa osan oudoista synteettisistä kuvista vääriin luokkiin yksinomaan siksi, että kuvissa on erillisiä objekteja, jotka eivät todellisuudessa kuulu yhteen.

Hevosella ratsastavasta astronautista on ehkä tullut uuden kuvasynteesin tunnuskuva, mutta epäaidot suhteet voivat päätyä oikeisiin tunnistusjärjestelmiin, ellei varota. Lähde: https://twitter.com/openai/status/1511714545529614338?lang=en

Astronautin ratsastaminen hevosen selässä on ehkä tullut uuden sukupolven kuvasynteesijärjestelmien tunnusomaiseksi visuaaliseksi – mutta nämä “epäaidot” suhteet voivat päätyä todellisiin havaitsemisjärjestelmiin, jos asiaa ei huomioida. Lähde: https://twitter.com/openai/status/1511714545529614338?lang=en

Ellei tätä voida estää esikäsittelyvaiheessa ennen koulutusta, tällaiset automaattiset prosessit voivat johtaa siihen, että epätodennäköisiä tai jopa vastenmielisiä yhdistelmiä koulutetaan tekoälyjärjestelmiin, mikä heikentää niiden tehokkuutta ja riski siirtää korkean tason yhdistelmät alijärjestelmiin ja aliluokkiin.

Vaihtoehtoisesti erilliset synteettiset kuvat voivat aiheuttaa “jäähdyttävän vaikutuksen” myöhempien järjestelmien tarkkuudelle, jos ja kun uudet tai muutetut arkkitehtuureja kehittyy, jotka yrittävät ottaa huomioon ad hoc -synteettisiä kuvia, ja heittävät liian laajan verkon.

Kummassakin tapauksessa synteettiset kuvat voivat Stable Diffusionin jälkeisenä aikana aiheuttaa päänvaivaa konenäkötutkimukselle, jonka työ teki nämä oudot tuotokset ja kyvyt mahdollisiksi. Ne vaarantavat erityisesti alan toiveen siitä, että datan keruu ja huolellinen kokoaminen voitaisiin lopulta automatisoida nykyistä paljon laajemmin, edullisemmin ja nopeammin.

Julkaistu ensimmäisen kerran 1. syyskuuta 2022.

Kirjoittaja koneoppimisen parissa, ihmisiä esittävien kuvien synteesin asiantuntija. Entinen tutkimussisällön johtaja Metaphysic.ai:ssa, kunnes se sulautui DNEG:n Brahma.ai:hin.
Verkkosivu: martinanderson.ai
Yhteystiedot: martin@martinanderson.ai