Syvyydenoppimismallit saattavat kärsiä tekoälyllä luoduista kuvista

Tutkimustulokset uudesta tutkimuksesta osoittavat, että viimeisimmän sukupolven tekoäly on huomattavasti vähemmän kykenevä tunnistamaan ja tulkimaan tekoälysynthesoituja kuvia kuin ihmiset, mikä saattaa olla huolenaihe tulevassa ilmastossa, jossa koneoppimismallit koulutetaan yhä enemmän synteettisillä tiedoilla, ja jossa ei välttämättä tiedetä, ovatko tiedot “oikein” vai ei.

Tässä näemme resnext101_32x8d_wsl -ennustemallin kamppailevan ‘bagel’-luokassa. Testeissä tunnistusvirheksi luokiteltiin tilanne, jossa ydin kohdesana (tässä tapauksessa ‘bagel’) ei ollut viiden parhaan tuloksen joukossa. Lähde: https://arxiv.org/pdf/2208.10760.pdf

Uusi tutkimus testasi kahta tietokoneen näön perustuvaa tunnistusjärjestelmää: objektin tunnistamista ja visuaalisten kysymysten vastaamista (VQA).

Vasemmalla objektin tunnistamisen onnistumisia ja epäonnistumisia; oikealla VQA-tehtäviä, jotka on suunniteltu testaamaan tekoälyn ymmärrystä kuvista ja kohtauksista tutkivammalla ja merkittävämmällä tavalla. Lähteet: https://arxiv.org/pdf/2105.05312.pdf ja https://arxiv.org/pdf/1505.00468.pdf

Kymmenestä parhaasta mallista, jotka testattiin DALL-E 2: n ja Midjourneyn avulla luoduilla synteettisillä kuvilla, paras malli pystyi saavuttamaan vain 60 % ja 80 %: n top-5 -tarkin luokituksen, kun taas ImageNet, joka on koulutettu ei-synteettisillä, oikeilla tiedoilla, pystyy saavuttamaan vastaavasti 91 % ja 99 %: n, kun taas ihmisten suorituskyky on yleensä huomattavasti korkeampi.

Koska tekoälysynthesoituja kuvia on jo nyt runsaasti internetissä viime viikon jälkeen Stable Diffusion -mallin avoimen lähdekoodin julkaisun myötä, on luonnollista, että tällaiset “väärennetty” kuvat voivat aiheuttaa ongelmia teollisuusstandardien tietokokoelmien, kuten Common Crawlin, tarkkuuden muutoksina vuosien varrella.

Vaikka synteettiset tiedot on kehuttu tekoälyn tulevaisuuden mahdollistajaksi, joka usein kärsii resursseista ja budjetista hyperskaalaisen kokoamisen vuoksi, uusi Stable Diffusion -kuvien tulva (sekä yleinen synteettisten kuvien lisääntyminen DALL-E 2: n ja sen kaupallistamisen myötä) ei välttämättä tule kaikkien mukana kätevillä merkinnöillä, annotaatioilla ja hashtagilla, jotka erottavat ne “väärennetyiksi” siinä vaiheessa, kun ahneet koneen näön järjestelmät poimivat ne internetistä.

Synteettisten kuvien kehitys avoimissa lähdekoodin kuvasynteesirunkoissa on merkittävästi ohittanut kykymme luokitella kuvia näistä järjestelmistä, mikä on johtanut kasvavaan kiinnostukseen “väärennettyjen kuvien” havaitsemisjärjestelmiin, samanlaisiin kuin deepfake-havaitsemisjärjestelmiin, mutta tehtävänä on arvioida koko kuvaa eikä vain kasvojen osia.

Uusi tutkimus on nimeltään “Miten hyviä ovat syvät mallit ymmärtämään luotuja kuvia?” ja se on peräisin Ali Borjilta, San Franciscon tekoälystart-up -yhtiö Quintic AI: lta.

Data

Tutkimus edeltää Stable Diffusion -julkaisua, ja kokeet käyttävät DALL-E 2: n ja Midjourneyn avulla luotuja tietoja 17 luokassa, mukaan lukien elefantti, sieni, pizza, pretzel, traktori ja jänis.

Esimerkkejä kuvista, joista testatut tunnistus- ja VQA-järjestelmät haastoivat tunnistamaan tärkeimmän avainkäsitteen.

Kuvat hankittiin verkkohakuja ja Twitteriä käyttämällä, ja DALL-E 2: n käytäntöjen mukaisesti (ainakin silloin) ne eivät sisältäneet kuvia, joissa oli ihmisten kasvoja. Valittiin vain laadukkaita kuvia, jotka olivat ihmisten tunnistettavissa.

Kaksi kuva-aineistoa koottiin, yksi kullekin objektin tunnistamisen ja VQA-tehtävien luokalle.

Kuvien määrä kussakin testatussa luokassa objektin tunnistamisessa.

Testaaminen objektin tunnistamisessa

Objektin tunnistamistesteissä kymmenen mallia, jotka olivat kaikki koulutettu ImageNetillä, testattiin: AlexNet, ResNet152, MobileNetV2, DenseNet, ResNext, GoogleNet, ResNet101, Inception_V3, Deit ja ResNext_WSL.

Jotkut luokat testatuissa järjestelmissä olivat tarkempia kuin toiset, mikä edellytti keskiarvon soveltamista. Esimerkiksi ImageNet sisältää kolme luokkaa, jotka liittyvät “kelloihin”, ja oli tarpeen määritellä jonkinlainen arbitrinen mittari, jossa minkä tahansa “kellon” sisällyttäminen viiden saadun luokan joukkoon mille tahansa kuvalle katsottiin onnistuneeksi siinä tapauksessa.

Mallikohtainen suorituskyky 17 luokassa.

Paras malli tässä kierroksessa oli resnext101_32x8d_ws, joka saavutti lähes 60 %: n top-1 (ts. kerrat, jolloin sen ensisijainen arvaus viidestä arvauksesta oli oikea käsite, joka kuvaa kuvaa) ja 80 %: n top-5 (ts. haluttu käsite oli ainakin jossakin mallin viidessä arvauksessa kuvasta).

Mallin hyvän suorituskyvyn arvellaan johtuvan siitä, että se on koulutettu heikosti valvottuun hashtagien ennustamiseen sosiaalisissa medioissa. Näiden johtavien tulosten osalta kirjoittaja toteaa kuitenkin, että ne ovat merkittävästi alempia kuin mitä ImageNet pystyy saavuttamaan oikeilla tiedoilla, ts. 91 % ja 99 %.

Kirjoittaja ehdottaa, että tämä johtuu suuresta eroavaisuudesta ImageNet-kuvien ja luotujen kuvien jakautumisessa (jotka myös poimitaan verkosta).

Viisi vaikeinta luokkaa järjestelmälle, vaikeuden mukaan, olivat sateenkaari, kilpikonna, orava, aurinkolasit ja kypärä. Tutkimus toteaa, että sateenkaaluokka usein sekoitetaan ilmapalloihin, laskuvarjoihin ja sateenvarjoihin, vaikka nämä eroavaisuudet ovat ihmisille helppoja erottaa toisistaan.

Tiettyjä luokkia, kuten sateenkaarta ja kilpikonnaa, kaikki mallit epäonnistuivat yleisesti, kun taas toisia (erityisesti pretzel ja traktori) useimmat testatut mallit onnistuivat lähes yleisesti.

Polarisoivat luokat: jotkut kohdeluokat olivat joko kaikkien mallien hämmentäjiä tai melko helppoja kaikille malleille.

Kirjoittaja arvelee, että nämä tulokset osoittavat, että kaikki objektin tunnistusmallit saattavat jakaa samanlaisia vahvuuksia ja heikkouksia.

Testaaminen visuaalisten kysymysten vastaamisessa

Seuraavaksi kirjoittaja testasi VQA-malleja avoimilla ja vapaamuotoisilla VQA: lla, joissa oli binäärisiä kysymyksiä (ts. kysymyksiä, joihin vastaus voi olla vain “kyllä” tai “ei”). Tutkimus toteaa, että viimeisimmät VQA-mallit pystyvät saavuttamaan 95 %: n tarkin VQA-v2 -tietokokoelmassa.

Tässä vaiheessa testattiin 50 kuvaa ja muodostettiin 241 kysymystä niiden ympärillä, 132 joista oli positiivisia ja 109 negatiivisia. Kysymysten keskipituuksessa oli 5,12 sanaa.

Tässä vaiheessa käytettiin OFA-mallia, joka on tehtävänäköinen ja modaalinen kehys, jolla testataan tehtävän kattavuutta, ja se oli äskettäin johtava pisteyttäjä VQA-v2 -testiin.

Esimerkkikysymyksiä ja tuloksia VQA-osion testeistä. ‘GT” tarkoittaa ‘todellista vastausta’, eli oikein vastausta.

Tutkimuksen kirjoittaja arvelee, että osasyynä voi olla se, että luodut kuvat sisältävät semanttisia käsitteitä, joita ei ole VQA-v2 -tietokokoelmassa, ja että VQA-testien kysymykset voivat olla haastavampia kuin VQA-v2 -kysymysten yleinen standardi, vaikka hän uskookin, että ensimmäinen syy on todennäköisempi.

LSD tietovirtaan?

Uusi tekoälyllä luotujen kuvien runsas lisääntyminen, joka voi esittää välittömiä yhdistelmiä ja abstraktioita peruskäsitteistä, joita ei ole luonnossa, ja jotka olisivat käytännössä mahdottomia tuottaa perinteisin menetelmin, voi aiheuttaa erityisen ongelman heikosti valvottujen tietojen keräämisjärjestelmille, jotka eivät välttämättä pysty epäonnistumaan arvokkaasti – pääasiassa siksi, että ne eivät ole suunniteltu käsittelemään suuria määriä merkintämättömiä synteettisiä tietoja.

Sellaisissa tapauksissa on mahdollista, että nämä järjestelmät voivat ajautua “outoihin” synteettisiin kuvien luokkiin yksinomaan siksi, että kuvissa on erillisiä objekteja, jotka eivät todellisuudessa kuulu yhteen.

Astronautin ratsastaminen hevosen selässä on ehkä tullut uuden sukupolven kuvasynteesijärjestelmien tunnusomaiseksi visuaaliseksi – mutta nämä “epäaidot” suhteet voivat päätyä todellisiin havaitsemisjärjestelmiin, jos asiaa ei huomioida. Lähde: https://twitter.com/openai/status/1511714545529614338?lang=fi

Ellei tätä voida estää esikäsittelyvaiheessa ennen koulutusta, tällaiset automaattiset prosessit voivat johtaa siihen, että epätodennäköisiä tai jopa vastenmielisiä yhdistelmiä koulutetaan tekoälyjärjestelmiin, mikä heikentää niiden tehokkuutta ja riski siirtää korkean tason yhdistelmät alijärjestelmiin ja aliluokkiin.

Vaihtoehtoisesti erilliset synteettiset kuvat voivat aiheuttaa “jäähdyttävän vaikutuksen” myöhempien järjestelmien tarkkuudelle, jos ja kun uudet tai muutetut arkkitehtuureja kehittyy, jotka yrittävät ottaa huomioon ad hoc -synteettisiä kuvia, ja heittävät liian laajan verkon.

Molemmissa tapauksissa synteettiset kuvat Stable Diffusion -aikakaudella voivat osoittautua päänsärkyksi tietokoneen näön tutkimusalueelle, jonka pyrkimyksillä tekoälymallien koulutus voidaan lopulta automatisoida ja tehdä vähemmän kalliiksi ja aikaa vieväksi.