Tekoälyksen Vaikeus Lukaista Analogisia Kelloja Saattaa Olla Syvemmän Merkityksellinen

Kiinalaisen ja espanjalaisen tutkijaryhmän uusi tutkimus osoittaa, että jopa edistyneet monimodaliset tekoälymallit, kuten GPT-4.1, kärsivät vaikeuksista kellojen lukemisessa analogisten kellojen kuvista. Pienet visuaaliset muutokset kelloissa voivat aiheuttaa merkittäviä tulkintavirheitä, ja hienosäätö auttaa vain tuttuja esimerkkejä. Tulokset herättävät epäilyjä näiden mallien luotettavuudesta, kun niitä käytetään epätuttuja kuvia sisältävissä tehtävissä.

Kun ihmiset kehittävät riittävän syvän ymmärryksen jostakin aihealueesta, kuten gravitaatiosta tai muista perusfyysikaalisista ilmiöistä, me siirrymme yksittäisten esimerkkien yläpuolelle ja ymmärrämme aihealueen perimmäiset abstraktiot. Tämä mahdollistaa meille soveltaa tietämystämme luovasti eri konteksteissa ja tunnistaa uudet ilmiöt, vaikka emme ole nähneet niitä aikaisemmin, tunnistamalla periaatteen toiminnan.

Kun aihealue on tarpeeksi tärkeä, me saattaa jopa alkaa havaita sitä siellä, missä sitä ei ole, kuten pareidolia, jota ohjaa korkea kustannus siitä, että emme tunnista oikeaa ilmiötä. Tämä mallintunnistusmekanismi on niin vahva, että se saa meidät havaitsemaan laajemman joukon malleja siellä, missä niitä ei ole.

Mitä aikaisemmin ja toistuvammin aihealue on meissä istutettu, sitä syvempi on sen perusta ja elinikäinen kestävyys; ja yksi varhaisimmista visuaalisista tietokannoista, joihin meidät lasten kanssa tutustutaan, on opetuskellot, joissa painettu materiaali tai interaktiiviset analogiset kellot käytetään opettamaan meitä kellojen lukemisessa:

Opetusvälineet lasten opettamiseen kellojen lukemisessa. Lähde: https://www.youtube.com/watch?v=IBBQXBhSNUs

Vaikka rannekeiden suunnittelun muutokset saattavat joskus haastaa meitä, tämän varhaisen aihealueen hallinnan kestävyys on melko vaikuttava, sallien meidän tunnistaa analogiset kellot, vaikka suunnittelumuodot ovat monimutkaisia tai “eksentrinen” valinnat:

Joitakin haastavia rannekeita rannekeiden muodissa.

Ihmiset eivät tarvitse tuhansia esimerkkejä oppiakseen, miten kellot toimivat; kun peruskäsite on ymmärretty, voimme tunnistaa sen melkein missä tahansa muodossa, vaikka se on vääristynyt tai abstrahoidtu.

Tekoälymallien vaikeus tässä tehtävässä korostaa syvempää ongelmaa: heidän näennäinen vahvuus saattaa riippua enemmän suuresta määrästä esimerkkejä kuin ymmärryksestä.

Imitaatiopelin Rajat?

Jännite pinnan tason suorituskyvyn ja aidon “ymmärryksen” välillä on tullut ilmi useissa tutkimuksissa suurten mallien parissa. Viime kuussa Zhejiangin yliopisto ja Westlaken yliopisto uudelleenmuotoilivat kysymyksen tutkimuksessa, jonka otsikko oli Onko PhD-tason LLM:llä todella hallussa peruslisäys? (joka ei ole tämän artikkelin aihe), ja tuloksena oli:

‘Vaikka mallit saavuttavat vaikuttavia suorituskykyarvioita, ne osoittavat kriittistä riippuvuutta mallintunnistamisesta eikä todellisesta ymmärryksestä, mikä ilmenee symbolisten edustusten epäonnistumisena ja perusominaisuuksien rikkomisena.

‘Säännön antaminen heikentää suorituskykyä, mikä osoittaa sisäänrakennettuja arkkitehtuurirajoituksia. Nämä oivallukset paljastavat arviointiaukkoja ja korostavat tarvetta arkkitehtuureille, jotka pystyvät todelliseen matemaattiseen päättelyyn mallintunnistamisen sijaan.’

Tämä kysymys nousee jälleen esiin, nyt Nanjingin ilmailu- ja avaruusteknillisen yliopiston ja Espanjan Madridin polyteknillisen yliopiston yhteistyönä. Tutkimuksen otsikko on Ovatko monimodaliset suuret kielimallit (MLLM) todella oppineet lukemaan aikaa analogisista kelloista?, ja uusi tutkimus tutkii, miten hyvin monimodaliset mallit ymmärtävät ajan lukemista.

Vaikka tutkimuksen edetessä on käsitelty vain yleisiä yksityiskohtia, tutkijoiden alkuvaiheen testit osoittivat, että OpenAI:n GPT-4.1 monimodaalinen kielimalli kärsi vaikeuksista kellojen lukemisessa analogisten kellojen kuvista, usein antaen virheellisiä vastauksia jopa yksinkertaisissa tapauksissa.

Tämä viittaa mahdolliseen aukkoon mallin koulutusaineistossa, mikä korostaa tarvetta tasapuolisempaan aineistoon, jotta voidaan testata, voittaako malli todella oppia perimmäisen käsitteen. Siksi tutkijat loivat syntetisen aineiston analogisista kelloista, joka kattaa jokaisen mahdollisen ajan tasapuolisesti ja välttää internetin kuvissa yleisiä harhautuksia:

Tutkijoiden syntetisestä analogisten kellojen aineistosta esimerkki, jota käytettiin GPT-mallin hienosäätössä.

Ennen hienosäätöä uudella aineistolla GPT-4.1 epäonnistui jatkuvasti näiden kellojen lukemisessa. Kun se sai jonkin verran altistusta uudelle kokoelmalle, sen suorituskyky parani – mutta vain silloin, kun uudet kuvat muistuttivat niitä, joita se oli jo nähnyt.

Kun kellon muoto tai käden tyyli muuttui, tarkkuus laski terävästi; jopa pienet muutokset, kuten ohuemmat kädet tai nuolenpäät (oikein), riittivät heittämään sen pois; ja GPT-4.1 kamppaili lisäksi Dali-laisen ‘sulavien kellojen’ tulkinnassa:

Kellokuvat standardityylillä (vasemmalla), vääristyneellä muodolla (keskellä) ja muunnelluilla käsillä (oikealla), yhdessä GPT-4.1:n palauttamien aikojen kanssa ennen ja jälkeen hienosäätön.

Tutkijat johtavat, että nykyiset mallit, kuten GPT-4.1, saattavat oppia kellojen lukemista lähinnä visuaalisen mallintunnistamisen kautta, eikä syvemmän ajan käsitteen kautta, ja väittävät:

‘[GPT 4.1] epäonnistuu, kun kello on vääristynyt tai kun kädet on muunnettu ohuemmiksi ja nuolenpäiksi. Keskimääräinen virhe aikaisoitteessa 150:sta satunnaisesta ajasta oli 232,48 sekuntia alkuperäisissä kelloissa, 1380,69 sekuntia, kun kelloa muutettiin, ja 3726,93 sekuntia, kun käsiä muutettiin.

‘Nämä tulokset osoittavat, että MLLM ei ole oppinut lukemaan aikaa, vaan on muistanut malleja.’

Riittävä Aika

Useimmat koulutusaineistot perustuvat verkosta poimittuihin kuviin, jotka usein toistavat tiettyjä aikoja – erityisesti 10:10, joka on suosittu asetus rannekkeiden mainonnassa:

Uudesta tutkimuksesta esimerkki ‘kymmenen yli kymmenen’ ajan yleisyydestä analogisten kellojen kuvissa.

Tämän aikojen rajoitetun valikoiman seurauksena malli saattaa nähdä vain suppean valikoiman mahdollisia kellon kokoonpanoja, mikä rajoittaa sen kykyä yleistää näiden toistuvien mallien ulkopuolelle.

Tutkimus toteaa, miksi mallit eivät pysty tulkkaamaan vääristyneitä kelloja oikein:

‘Vaikka GPT-4.1 suoriutuu erinomaisesti standardikellokuvista, on yllättävää, että käden muuttaminen ohuemmaksi ja nuolenpäiksi johtaa merkittävään tarkkuuden laskuun.

‘Intuitiivisesti voisi olettaa, että visuaalisesti monimutkaisempi muutos – vääristynyt näyttö – olisi suurempi vaikutus suorituskykyyn, mutta tämä muutos vaikuttaa suhteellisen vähäiseen vaikutukseen.

‘Tämä herättää kysymyksen: miten MLLM:t tulkkaavat kelloja, ja miksi ne epäonnistuvat? Yksi mahdollisuus on, että ohuemmat kädet heikentävät mallin kykyä havaita suunnan, heikentäen sen ymmärrystä spatiaalisesta suunnasta.

‘Vaihtoehtoisesti voi olla muita tekijöitä, jotka aiheuttavat sekaannusta, kun malli yrittää yhdistää tunnin, minuutin ja sekunnin kädet tarkkaan aikaan.

Tutkijat väittävät, että onnistuneiden epäonnistumisten tunnistaminen on avain multimodaalisten mallien edistymiseen: jos ongelma johtuu siitä, miten malli havaitsee spatiaalisen suunnan, hienosäätö saattaa tarjota yksinkertaisen korjauksen; mutta jos ongelma johtuu laajemmasta vaikeudesta yhdistää visuaalisia vihjeitä, se osoittaa perustavanlaatuista heikkoutta näiden järjestelmien tiedonkäsittelyssä.

Hienosäätötestit

Tutkijat testasivat, voittaako mallin epäonnistuminen hienosäätöllä. GPT-4.1:lle tehtiin hienosäätö edellä mainitulla kattavalla syntetisellä aineistolla. Ennen hienosäätöä sen ennusteet olivat laajasti hajallaan, ja merkittäviä virheitä oli kaikenlaisissa kelloissa. Hienosäätön jälkeen tarkkuus parani merkittävästi standardikellojen kohdalla ja jonkin verran vääristyneillä kelloilla.

Kellot, joissa kädet oli muutettu ohuemmiksi tai nuolenpäiksi, aiheuttivat edelleen suuria virheitä.

Kaksi erillistä epäonnistumisen muotoa ilmestyi: normaaleilla ja vääristyneillä kelloilla malli yleensä arvioi väärin käden suunnan; mutta kelloilla, joissa käden tyyliä oli muutettu, se usein sekoitti käden toiminnon, luullen tunnin käden olevan minuutin käsi tai päinvastoin.

<img class=" wp-image-217952" src="https://www.unite.ai/wp-content/uploads/2025/05/figure-2.jpg" alt="Vertailu, joka osoittaa mallin alkuvaiheen heikkouden ja osittaiset voitot hienosäätöllä, näyttäen ennustettua ja todellista aikaa sekunteina 150:lle satunnaisesti valitulle kelloille. Vasemmalla, ennen hienosäätöä, GPT-4.1:n ennusteet ovat hajallaan ja usein kaukana oikeista arvoista, jotka on merkitty punaisella viivalla. Oikealla, hienosäätön jälkeen tasapuolisella syntetisellä aineistolla, ennusteet ovat lähempänä todellista arvoa, vaikka jotkut virheet säilyvät.

Tämä viittaa siihen, että malli oli oppinut liittämään visuaaliset piirteet, kuten käden paksuuden, tiettyihin rooleihin, ja kamppaili, kun nämä vihjeet muuttuivat.

Rajoitettu parannus tuttuja muotoja herättää epäilyjä siitä, oppiiko malli todella abstraktin käsitteen ajan lukemisesta, vai vain hienonsi mallintunnistamista.

Käsimerkit

Vaikka hienosäätö paransi GPT-4.1:n suorituskykyä perinteisillä analogisilla kelloilla, se ei auttanut niin paljon kelloilla, joissa kädet olivat ohuemmat tai nuolenpäisiä, mikä herättää epäilyn, että mallin epäonnistuminen johtui enemmän sekaannuksesta siitä, mikä käsi on mikä, kuin abstraktista päättelystä.

Tutkijat suorittivat uuden analyysin mallin ennusteista “muunnetun käden” aineistosta. Tulokset jaettiin kahteen ryhmään: tapauksiin, joissa GPT-4.1 oikein tunnisti tunnin, minuutin ja sekunnin kädet; ja tapauksiin, joissa se ei.

Ennusteet arvioitiin keskimääräisellä virheellä (MAE) ennen ja jälkeen hienosäätön, ja tulokset verrattiin standardikellojen tuloksiin; käden kulman virhettä mitattiin myös kunkin käden osalta viitteenä näytön asentoon:

Virhevertailu kelloissa, joissa käden roolia sekoitetaan ja joissa sitä ei sekoiteta, ennen ja jälkeen hienosäätöä.

Käsien roolien sekoittaminen johti suurimpiin virheisiin. Kun GPT-4.1 sekoitti tunnin käden ja minuutin käden, tuloksena olevat aikaisoitteet olivat usein hyvin epätarkkoja. Sen sijaan virheet, jotka johtuivat käden suunnan väärästä arviointi oikein tunnistetusta kädestä, olivat pienempiä. Kolmesta kädestä tunnin käsi osoitti suurimman kulmavirheen ennen hienosäätöä, kun taas sekunnin käsi osoitti pienimmän.

Kulmavirhe käsittäin, ennusteilla, joissa käden roolia sekoitetaan ja joissa sitä ei sekoiteta, ennen ja jälkeen hienosäätöä.

Jotta voidaan keskittyä ainoastaan suunnan virheisiin, analyysi rajoitettiin tapauksiin, joissa malli oikein tunnisti kunkin käden toiminnon. Jos malli olisi internalisoinut yleisen ajan lukemisen käsitteen, sen suorituskyky näissä tapauksissa olisi pitänyt vastata sen tarkkuutta standardikelloilla. Se ei kuitenkaan, ja tarkkuus säilyi huomattavasti heikommalla.

Tutkijat suorittivat toisen kokeen, jossa tutkittiin, vaikuttaako käden muoto mallin suunnan ymmärrykseen: kaksi uutta aineistoa luotiin, joista kummassakin oli 60 syntetistä kelloa, joissa oli vain tunnin käsi, joka osoitti eri minuuttimerkintää. Toisessa aineistossa käytettiin alkuperäistä käden muotoa, ja toisessa muunnettua versiota. Malli pyydettiin nimeämään merkintä, jota käsi osoitti.

Tulokset osoittivat lievän tarkkuuden laskun muunnelluilla käsillä, mutta se ei ollut tarpeeksi suuri selittämään mallin laajempia epäonnistumisia. Yksittäinen tuttu visuaalinen piirre näytti pystyvän häiritsemään mallin koko tulkintaa, vaikka se oli aikaisemmin suoriutunut tehtävästä hyvin.

Yleiskatsaus GPT-4.1:n suorituskyvystä ennen ja jälkeen hienosäätöä standardi-, vääristyneillä ja muunnetuilla käsillä olevilla kelloilla, korostaa epätasaisia voittoja ja jatkuvia heikkouksia.

Johtopäätös

Vaikka tutkimuksen fokus saattaa vaikuttaa aluksi triviaaliselta, ei ole erityisen tärkeää, oppivatko visio-kielimallit koskaan lukea analogisia kelloja 100-prosenttisella tarkkuudella. Mikä antaa tutkimukselle painoa, on sen keskittyminen syvemmän toistuvaan kysymykseen: voittaako mallien täyttäminen enemmän (ja monipuolisemmalla) datalla johtaa siihen, mitä ihmiset saavuttavat abstraktiosta ja yleistämisestä; vai onko ainoa toimiva reitti täyttää aihealue riittävällä määrällä esimerkkejä, jotta voidaan ennakoida jokainen todennäköinen variointi johtopäätöksessä.

Kumpikaan reitti herättää epäilyjä siitä, mitä nykyiset arkkitehtuurit ovat todella oppineet.

Julkaistu ensimmäisen kerran maanantaina, 19. toukokuuta 2025