Tekoälykäsitysjärjestelmät eivät välttämättä “katso” oikeasti

Tehtäväkäsitysjärjestelmät saattavat selittää kuvia stereotyyppien avulla sen sijaan, että ne todella “katsoisivat” kuvia. Poistaessasi labelin, heidän väitetyn visuaalisen selityksensä romahtaa.

Koska eturintamien tekoälyalustat ovat jatkuvasti menettämässä rahaa toiveenaan tekoälyhorisontti, pienet taloudelliset toimet niiden varustelussa ja palveluissa vastaavat suuria säästöjä: esimerkiksi jokaisella kerralla, kun suuri kielen malli voi antaa vastauksen omasta koulutusmatriisistaan sen sijaan, että se tekee RAG-pohjaisen matkan verkkoon hakemaan nykyistä tietoa, joka tarvitsee tislaamista ja jalostamista, se vastaa nopeammin ja säästää tarjoajalle rahaa.

Todennäköisemmin se kuitenkin harhautuu, ilman ylimääräisten tokenien ja energian kuluttamista asioiden kontekstualisoinnissa ja oletusten tarkistamisessa.

Vastaavasti, vaikka suuri kielen malli todella hakee tietoa verkkoon, se viittaa usein epämääräisiin, sopimattomiin tai jopa merkityksettömiin ja asiayhteydestä irrallisiiin URL-osoitteisiin, koska se säästi energiaa arviomalla ainoastaan sivujen metatietoja sen sijaan, että se luki ne itse:

Samoin, jos lataat PDF-tiedoston suurelle kielen mallille ja haluat keskustella siitä, malli saattaa lopulta poistaa PDF-tiedoston sisällön muististaan ja käyttää ainoastaan niukkoja metatietoja siitä vastataksesi kysymyksiisi ilman, että se edes ilmoittaa, että sinun pitäisi ladata se uudelleen – johtuen virheistä, vääristä oletuksista ja lisääntyneistä harhauksista.

Teolliset kokeet

Nämä ovat pragmaattisia, vaikka ei aivan rehellisiäkään taloudellisia ratkaisuja, jotka on pakotettu käyttäjälle toiminnallisten syiden vuoksi. Ylätuotteessa, jossa dataa kerätään ja malleja koulutetaan, missä miljoonittain kuvia on prosessoitava en masse eikä niitä voida annotoida käsin, paine vähentää energiaa ja aikaa on yhtä voimakasta.

Toinen tällainen “lyhyt keino” on käyttää välikäsisignaali- ja kielimallia, kuten Contrastive Language Image Pretraining (CLIP), joka kartoittaa sekä kuvat että tekstin jaettuun semanttiseen avaruuteen, jotta visuaalisia käsitteitä voidaan verrata kielen avulla, ei eksplisiittisten labelien avulla.

Mitä se tarkoittaa? No, kuvittele lapsi, joka oppii miljoonista kuvista, joissa on kuvateksti, kunnes se kehittää karkean ymmärryksen siitä, mitkä kuvat ja sanat luonnostaan menevät yhteen.

Hankala asia on, että usein kuvatekstit on kirjoittanut verkkosivujen omistajat ja muut itsekkäät tahot, jotka olivat enemmän kiinnostuneita hyvistä hakukoneoptimoinneista kuin hyvistä labelien luomisesta, mikä johti suureen määrään “ääntä” tai epätarkkoja labelien luomista.

Silti suurella mittakaavalla, jolla käsite ja liittyvä sana toistuvat valtavissa tietokannoissa, ydin sanat yhdistyvät oikeaan kuvaan, koska pienempi määrä “järjettömiä” labelien luomista on normaalisti pakotettu poikkeamaan ghettoon, eikä niitä yleensä yhdistetä kuvaan. Niin siinä missä se melkein aina toimii.

Data-annotointi tehdään tällä tavalla, koska se on halpaa ja vähintään toimivaa, eikä siksi, että se olisi hyvää.

Virallinen

Tähän ongelmalliseen tilanteeseen tulee uusi tutkimus Carnegie Mellonista, joka osoittaa dramaattisesti, että monet kuvissa käytetyt kuvatekstit – esimerkiksi CLIP:in avulla – ovat yksinkertaisesti stereotyyppisiä viitaten kuvaan (tekstipohjaiseen) labeliin sen sijaan, että ne todella “katsoisivat” itse kuvaa.

Yhdessä hämmästyttävässä esimerkissä tutkimuksesta CLIP on parittu kuvausten kanssa, jotka on generoitu ImageNet-Sketch:ista, jossa jokainen mansikka on mustavalkoinen piirros – kuitenkin kuvausten mukaan hedelmä on ‘punainen’ ja ‘kypsä’:

Luokkanimien kuvausten epäonnistuminen ImageNet-Sketchissa: kieliprioriteetit sanovat ‘punainen’ ja ‘kypsä’, kun taas kuvaan perustuvat attribuutit vastaavat mustavalkoista piirrosta. Lähde

Tässä CLIP on parittu kuvausten kanssa, jotka on generoitu ainoastaan mansikka-luokkanimestä GPT-3:sta tai ulkoisesta tietokannasta. Nämä eivät näe kuvaa, joten ne oletetaan kaanonisen ominaisuuksien kaltaisiksi, kuten punainen ja lehtevä. Kun sovelletaan monokromaattisiin, lineaarisiin piirroksiin ImageNet-Sketchissa, prosessi epäonnistuu.

Toisaalta attribuutit, jotka on johdettu itse kuvista, valitsevat piirteitä, jotka säilyvät muutoksen jälkeen, kuten pilkullinen tai sydämenmuotoinen.

Näin voidaan nähdä, että tunnistettu objekti mainitaan sen maineen vuoksi eikä siitä, mitä se todella on; adjektiivit “punainen” ja “lehtevä” ovat tarkkoja alaluokalle mansikka, mutta ylittävät kuvaan (esimerkki) liittyvän asiayhteyden.

Tutkimuksen tekijät – uuden tutkimuksen nimeltä Attributes Should Come from Images, Not Class Names: Distribution-Conditioned Attribute Selection for Vision-Language Models – väittävät, että tämä on jatkuva ja laaja ongelma, ja ehdottavat, että attribuutit valitaan suoraan kuvista, jotta ne heijastavat, mitä on todella näkyvissä jakautumisen siirtymän aikana, sen sijaan, että riippuvat luokkanimien prioriteeteista.

Tutkijat toteavat:

‘Yleinen reitti tulkittavaan nollasummaiseen luokitteluun pyytää suurta kielimallia kuvailemaan jokaisen luokkanimen ja antamaan CLIP:ille tuloksena olevat kuvausten. Osoitamme, että nämä kuvausten kantavat vain vähän visuaalista näyttöä: poistamalla luokkanimen kehotuksesta ImageNet-tarkkuus romahtaa 59,5 %:sta 15,5 %:iin.

‘Diagnoosi on, että kuvausten ehdotetaan labelille eikä kuville, joten ne kuvaavat käsitettä yleensä ja johtavat harhaan, kun data siirtyy; suuri kielen malli väittää, että mansikat ovat punaisia, mutta jokainen mansikka ImageNet-Sketchissa on väritön piirros.

‘Valitsemme sen sijaan attribuutteja kohdekuvakokoelmasta: arvioimme suuren attribuuttipoolin kuvien suhteen CLIP:n yhteisessä upottamisavaruudessa ja pidämme vain korkeimmin arvosteltuja attribuutteja kunkin luokan perusteella.’

Heidän ehdottamansa korjaus on, että malli pysyy samana, mutta sen sijaan, että se riippuu luokkanimien kuvausten, se tarkistaa ehdokasattribuuttipoolin kuvia vastaan ja pitää ainoastaan ne, jotka todella sopivat siihen, mitä on näkyvissä.

Tämän kustannus on todennäköisesti hyväksytty, koska se ei vaadi palauttamista säästömenetelmiin, jotka johtivat ongelmaan alun perin. Sen sijaan se lisää arviointikierroksen ehdokasattribuutteja kunkin luokan perusteella, joten viive lisääntyy hieman – mutta paljon vähemmän kuin uudelleenkoulutus tai täydellinen RAG-tyylinen putki. Teoriassa energian kustannus olisi hyväksytty, painotettuna parantuneen kohdistuksen kehittymiseen.

Menetelmä

Koska tutkimuksen menetelmät ovat erittäin monimutkaisia ja koska vähän lisättyä hyödyllistä tietoa saataisiin niiden tarkastelemisesta syvemmältä, tulemme, poikkeuksellisesti, tarkastelemaan vain lyhennetyn yhteenvetoa heidän lähestymistapaansa.

Tutkimus luonnehtii keskeistä ongelmaa Luokkanimi-sekaannuksena: tilanne, jossa suorituskyky näyttää tulevan merkityllisistä kuvausten, mutta todellisuudessa riippuu luokkanimestä itsessään, kuvausten lisäessä vain vähän – ja epäonnistuessa, kun tuo tuki poistetaan

Tutkimus väittää, että tämä epäonnistuminen on välttämätöntä, koska kuvausten, jotka on generoitu luokkanimestä, voidaan kuvailla ainoastaan, miltä asia yleensä näyttää, eikä sitä, mitä on todella läsnä tietyssä kuvassa. Kun data poikkeaa noista odotuksista, kuvausten muuttuvat ei vain epäkäyttöön vaan myös aktiivisesti harhaanjohtaviksi, äänestäen käytännössä vastaan oikeaa vastausta.

Tutkijat tarkastelivat myös sitä, voitisiko CLIP olla vain huono attribuutteja havaitsemassa ilman luokkanimien apua, tai olisivatko GPT:llä generoidut kuvausten liian yleisiä ollakseen hyödyllisiä. Heidän myöhemmät kokeensa kuitenkin kiistivät molemmat selitykset.

Jotta voidaan ratkaista tämä ongelma, jäädytetty CLIP-malli käytettiin vertaamaan kuvia suureen ehdokasattribuuttipooliin, joka on peräisin VAW:sta, LSA:sta ja GPT-3:sta, säilyttäen ainoastaan ne attribuutit, jotka parhaiten vastasivat kuvia, ilman, että tarvitsi uudelleenkoulutusta tai lisää kuvatekstien valvontaa:

Ehdotetun järjestelmän yleiskatsaus: jäädytetty CLIP-malli koodaa sekä kuvat että suuren attribuuttipoolin, käyttäen kosiniussyklisyysmittausta, jotta voidaan mitata, kuinka voimakkaasti kunkin kuvausten vastaa visuaalista sisältöä. Korkeimmin arvostellut attribuutit säilytetään kunkin luokan perusteella, tuottaen tulkittavan joukon kehotuksia, kun taas kuva- ja tekstikoodaus pysyvät kiinni koko prosessin ajan.

Data ja testit

Tutkijoiden kokeet käyttivät CLIP:ia ResNet-50-rungolla ja arvioivat suorituskykyä ImageNet:issä yhdessä neljän jakautumisen siirtymän variantin kanssa: ImageNetV2; ImageNet-Sketch; ImageNet-A; ja ImageNet-R.

Attribuutteja valittiin ainoastaan alkuperäisistä ImageNet-koulutuskuvista – salliessa jakautumisen siirtymän tietokantojen toimia jakautumisen ulkopuolella olevana testinä siitä, säilyttävätkö kuvaan perustuvat attribuutit hyödyllisyytensä, kun visuaalinen ulkonäkö muuttuu:

Yhden kohdan luokittelun tarkkuus ImageNetissä ja neljässä jakautumisen siirtymän benchmarkissa. Tulokset osoittavat, että suorituskyky säilyy laajasti samana, kun luokkanimet sisällytetään kehotuksiin, mutta romahtaa, kun kuvausten joutuu seisaamaan omin jaloin: ehdotetut attribuutit, jotka valitaan suoraan kuvista, säilyttävät merkittävästi enemmän tietoa kaikissa testatuissa tietokannoissa.

Uudelleenvalitseminen attribuutteja samasta GPT:llä generoidusta poolista, mutta ehdotettuna ImageNet-kuvista, nosti luokkanimettömän tarkkuuden 15,5 %:sta 19,4 %:iin. Koska malli, attribuuttipooli ja arviointiprotokolla säilyivät muuttumattomina, voitto voidaan attribuoida kokonaan kuvaan perustuvaan valintaan.

Tulos osoitti myös, että CLIP voi tunnistaa attribuutteja ilman luokkanimiä, ja että GPT:llä generoitu pooli sisälsi jo hyödyllisiä kuvausten. Pääasiallinen epäonnistuminen näytti olevan label-konditionaalisessa generoinnissa, joka usein epäonnistui paljastamaan attribuutteja, jotka olivat enemmän kuvissa itsessään.

Vaikka tutkijat jatkavat laajaa kokeiden sarjaa, meidän on viitattava lukija alkuperäiseen materiaaliin lisätietojen saamiseksi, koska ne eivät laajenna tuloksien ulottuvuutta, vaan vahvistavat ainoastaan keskeisiä hypoteeseja, jotka on esitetty tähän asti – että luokkanimien luottaminen voi mahdollisesti heikentää todellisen kuvadatan potentiaalia nykyaikaisissa tekoälysovelluksissa, ja halpa riippuvuus “maineeseen” perustuvasta todennäköisyydestä on vaarallinen tarkkuuden tuloksille.

Johtopäätös

On mielenkiintoista pohtia sitä, kuinka suuri velka moderni generatiivinen tekoäly on niiden miljoonien käsin kuvailluille kuville, jotka olivat imuroitu valtaviin tietokantoihin, kuten Common Crawl, hyperskaalan aikakauden alussa.

Jokaisella kerralla, kun kuvatunnistus- tai automaattinen labelöintijärjestelmä yrittää luokitella tai uudelleenluokitella vanhan tai uuden kuvan, tiedon alkuperä johtaa jonnekin, missä joku myyjä on kirjoittanut ‘Kuuma 1970-luvun lehti!’ alt-labeliin jonkin eBay-listauksen vuonna 2004, tai vastaavaa tapahtumaa.

Vaikka monet uskovat, että avainasanien täyttämisen kultakausi on pyyhitty pois Googleen PageRank-algoritmin ansiosta lähes kolme vuosikymmentä sitten, “seinän täyttäminen tekstillä, toivottaen, että jotain tarttuu” -lähestymistapa on edelleen voimassa: vasta eilen, Qwen-Image-3.0-mallin julkaisusivun HTML-koodi sisälsi atavistisen avainasanien täyttämisen.

Qwen Image 3 -julkaisun HTML-koodi on seinän täyttäminen avainsanoilla, ainakin kirjoitushetkellä. Lähde

Onko se sattumaa, että tämä avainsanojen lasku Qwen Image 3 -sivulla on johdettu systemaattisesti kohdeluettelosta tai kirjoitettu käsin SEO-asiantuntijoiden toimesta, tämä on esimerkki modernin generatiivisen tekoälyn jäljettömistä alkuperistä, joissa merkitys usein kantaa valtavan itsekkyyden kuorman, joka on myöhemmin poistettava tai otettava huomioon jollain tavoin, kun nämä termit vaikuttavat tai estävät järkeviä järjestelmiä ja sovelluksia.

Julkaistu ensimmäisen kerran keskiviikkona, 22. heinäkuuta 2026