Tekoäly voi arvata valokuvan vuoden ihmisten ikästä

Uusi tutkimus osoittaa, että tekoäly voi käyttää ihmisten kasvoja arvioidakseen valokuvan valmistumisvuoden yhdistämällä ikäarviot tunnettuihin syntymävuosiin ja voittaa näin olemassa olevat kuvakohtaiset menetelmät.

Arvata valokuvan ikä oli aikaisemmin paljon helpompaa, koska hiusten ja vaatetusmuodit kehittyivät nopeasti. Joistakin kiistellyistä syistä tämä visuaalisen tyylin muutos päättyi noin 30 vuotta sitten, mikä tarkoittaa, että ei ole enää yhtä helppoa arvata valokuvan vuotta katsomalla hiustenleikkausta tai vaatteita.

Jonkin aikaa oli mahdollista myös ajoittaa kuvia ja elokuvia värien resoluution ja filmiraiden ominaisuuksien perusteella. Ei ollut välttämätöntä olla asiantuntija; jos katsoi tarpeeksi vanhoja elokuvia, kulttuuriset vihjeet (kuten musiikki, autot, muoti, aiheet jne.) liittyisivät lopulta filmiraiden tyyliin:

Kuvakaappaus siitä, miten filmiraiden parantuminen laajensi ajan myötä ihonvärien ja valaistustyylien kirjoa siirtymällä tasaisista, eteenpäin suunnattuista asetelmista luonnollisempiin ja monipuolisempiin ulkoasuun. Lähde (oma artikkeli)

Lisäksi yksi muu “ankkuri” valokuvan ajoittamiseen oli se, oliko se mustavalkoinen – taloudellinen etu, josta luovuttiin digitaalisen valokuvauksen yleistymisen myötä tämän vuosisadan alussa

Useat kaupalliset ja kokeelliset järjestelmät, kuten MyHeritagen tilauspohjainen PhotoDater, yrittävät ajoittaa valokuvia näiden ja muiden kriteerien perusteella.

Esimerkki valokuvan ikäarviosta MyHeritagen PhotoDater-tilauspalvelusta. Lähde

Ilman muita paljastavia merkkejä, kuten älypuhelinten kaltaisia aikakaudelle ominaisia teknologioita, paras tapa arvioida valokuvan ikä viimeisten 15-25 vuoden aikana on, jos tunnet henkilön (esim. julkisuuden henkilö tai tuttava) ja voit arvioida ikänsä, mikä antaa karkean vuosiluvun.

Kasvojen ikä viittauksena

Tietokoneen näön alalla ja monilla muilla aloilla (esim. oikeuslääketiede, arkistointi, journalismi, tietokanta-arkkitehtuuri jne.) valokuvan ikä on arvostettu tavoite, koska monista mielenkiintoisimmista digitaalisista ja analogisista kokoelmista puuttuu oikea annotaatio ja metadata tai niissä on virheellisiä metatietoja aiemmista (vääristä) arvioista.

Siksi olisi hyödyllistä, jos tekoälyjärjestelmä voisi tarkastella valokuvia samalla tavalla kuin me, kun tarkastelemme historiallisia kokoelmiamme ja kommentoimme ‘Oh, kyllä, se oli silloin…’. Kysymys on, mikä voisi olla koukku ilman tavallisia viittauksia?

Tšekin tasavallasta oleva uusi tutkimus tarjoaa alkuun pääsyn tähän lähestymistapaan hyödyntämällä tekoälypohjaisia ikäntunnistusjärjestelmiä yhdessä kasvontunnistusjärjestelmien kanssa, jotka on kytketty yhteiseen tietokantaan tunnettuja henkilöitä (tässä tapauksessa IMDB-tyyppinen kokoelma tšekkiläisiä esiintyjiä ja elokuvantekijöitä):

Kuvakaappaus elokuvasta ‘Joachim, Put It in the Machine’ (1974), jota käytetään ajoittamisprosessin havainnollistamiseen. Malli tunnistaa valokuvassa olevat tunnetut henkilöt, arvioi heidän ikänsä kasvojen ikäntunnistuksen avulla (oikea sarake) ja vähentää tämän arvon kunkin henkilön syntymävuodesta, jotta voidaan luoda todennäköisyysjakauma mahdollisille valokuvan ottamisvuosille. Kaaviot osoittavat kunkin ikäarvon todennäköisyyden, ja katkoviivat merkitsevät kunkin henkilön oikean ikän valokuvan ottamishetkellä. Lähde

Järjestelmä toimii tunnistamalla valokuvassa olevat tunnetut henkilöt, arvioimalla heidän ikänsä kasvojen ikäntunnistuksen avulla ja vähentämällä tämän arvon kunkin henkilön syntymävuodesta, jotta voidaan luoda todennäköisyysjakauma mahdollisille valokuvan ottamisvuosille. Kun valokuvassa on useita kasvoja, ajoitusarviot yhdistetään lopulliseksi arvioksi.

Menetelmä testattiin Czecho-Slovak Movie Database (CSFD) -kuvista, ja tuloksena oleva lähestymistapa, jonka kirjoittajat väittävät, tarjoaa johdonmukaisesti paremman tarkkuuden kuin kohtaukseen perustuvat mallit (staattiset mallit, jotka riippuvat taustaelementeistä tai visuaalisesta kontekstista eivätkä kasvoista) samojen tietojen perusteella.

Malli vaatii keskitietokannan, joka sisältää laajan joukon henkilöitä, tässä tapauksessa IMDB-tyyppisen tšekkiläisen elokuvatietokannan; mutta mikä tahansa vastaava kokoelma, joka sisältää vahvistetut syntymävuodet ja aikaleimat, voisi tuottaa saman tuloksen.

Tutkimusraportissa todetaan:

‘Yksinäisesti, meidän tietokantamme tarjoaa annotaatiot useille henkilöille yhdessä kuvassa, mikä mahdollistaa monen kasvon tietojen yhdistämisen. Me ehdotamme todennäköisyyspohjaista viitekehyksen, joka yhdistää visuaalisen näytön modernin kasvon tunnistamisen ja ikäntunnistuksen mallien sekä uraan perustuvien aikaisempien todennäköisyyksien kanssa, jotta voidaan päätellä valokuvan ottamisvuosi.

‘Kokeemme osoittavat, että useiden kasvojen todisteiden yhdistäminen parantaa johdonmukaisesti suorituskykyä ja lähestymistapa ylittää merkittävästi vahvat, kohtaukseen perustuvat vertailukohteet, erityisesti kuvissa, joissa on useita tunnistettavia henkilöitä.’

Uusi tutkimus on otsikoitu Valokuvan ajoittaminen kasvojen ikäntunnistuksen avulla, ja se on peräisin kahdelta tutkijalta Tšekin teknillisestä yliopistosta Prahassa, ja luvataan myöhemmin koodin ja tietojen julkaisu.

Menetelmä

Arvioidakseen, milloin valokuva on otettu, kirjoittajien uusi järjestelmä tarkastelee jokaista havaittua kasvoa ja yrittää arvata, kuka se voi olla, käyttäen mainittua tietokantaa tunnettuja henkilöitä. Koska henkilö voi esiintyä valokuvassa vain kerran, järjestelmä tarkistaa kaikki mahdolliset identiteetin yhdistelmät ja käyttää heidän tunnettuja syntymävuosiaan arvioidakseen, miten vanha kunkin henkilön näyttää.

Tämän jälkeen se toimii taaksepäin arvioidakseen todennäköisimmän vuoden, joka tekisi nämä iät vastaaviksi:

Vasemmalla: järjestelmä rakentaa aikajanan, jossa näkyy, milloin tunnistetut henkilöt olivat uransa huipulla perustuen heidän tunnettuun uraansa. Oikealla: tämä yhdistetään kasvojen ikäarvioiden kanssa lopulliseksi arvioksi valokuvan ottamisajankohdasta.

Järjestelmä olettaa, että kasvot ovat riippumattomia, ja että kunkin ulkonäön riippuu ainoastaan identiteetistä ja valokuvan ottamisajankohdasta.

Valokuvan ottamisajankohdan arvioimiseksi järjestelmä arvioi ensin kunkin havaitun kasvon ikän NIST cvut-002-mallin avulla, joka perustuu ViT-B/16-arkkitehtuuriin ja on koulutettu yksityisessä tietokannassa (jonka kirjoittajat toteavat olevan korkealla NISTin Face Analysis Technology Evaluation (FATE) tietokannassa).

Kun henkilön syntymävuosi on tiedossa, malli muuttaa ikäarvion todennäköiseksi valokuvan vuodeksi yksinkertaisesti lisäämällä iän syntymävuoteen, josta saadaan todennäköisyysjakauma mahdollisille kuvausvuosille. Arvioidakseen, miten hyvin havaittu kasvo vastaa tunnettua identiteettiä, järjestelmä vertaa heidän upotukset ArcFace-avaruudessa:

ArcFace, joka on keskeinen arkkitehtuuri suositussa InsightFace-mallissa, julkaistiin vuonna 2015 ja oli tarkoitus olla merkittävä projekti kasvojen arvioinnissa ja arviointitutkimuksessa. Lähde

Kunkin identiteetin edustaa keskiarvo, joka on laskettu sen viittaussuhteista. Identiteetin ja testikasvon välinen samankaltaisuus mitataan Von Mises Fisher -jakauman avulla, joka mallintaa, miten tiiviisti identiteetin viittaussuhteet ryhmittyvät keskiarvon ympärille. Jaettu terävyysparametri säätää, miten varma järjestelmä on näissä ryhmityksissä, ja se arvioidaan jätä-yksi-ulos-strategialla identiteetin viittaussuhteissa.

Malli määrittää viisi apuprioriteettejä arvioidakseen, milloin tunnistettu henkilö saattaa esiintyä valokuvassa: yksinkertainen; vuosikymmen; elokuva; kuva; ja konveksi yhdistävä apuprioriteetti, joka yhdistää vahvimman ja heikoimman vaihtoehdon, jotta voidaan testata herkkyyttä apuprioriteetin voimakkuuteen (ts. apuprioriteettien kestävyys kuormituksessa).

Epävarmojen kasvojen käsittelyssä malli sisältää “tuntematon” identiteetin, jolla on epätietoiset jakaumat, jossa on kasvon todennäköisyys, joka on tasainen upotuksessa, ja aikaisempi prioriteetti, joka on tasainen kaiken aikaa. Tämä mahdollistaa epävarmojen kasvojen ohittamisen ilman vääristymää lopullisessa ajoitusarviossa:

Kuinka suorituskyky vaikuttaa, kun kuvassa on kasvoja, joita ei voida tunnistaa. Kunkin neliön koko osoittaa keskimääräisen ajoitusvirheen eri määrillä tunnettuja ja tuntemattomia identiteettejä, ja neliön koko heijastaa otoksen määrää. Virhe kasvaa, kun tuntemattomia identiteettejä on enemmän, mutta laskee tasaisesti, kun enemmän tunnettuja identiteettejä on lisätty.

Data ja testit

Kirjoittajat käyttivät edellä mainittua CSFD-tietokantaa luomaan uuden kokoelman, jonka he kutsuivat CSFD-1.6M:ksi. Tietokanta rakennettiin useiden henkilöiden kohtauksista, joissa kunkin kasvo oli merkitty identiteetillä ja vuodella. Tämä rakenne oli välttämätöntä opettaa mallille, miten kasvot liittyvät toisiinsa asiayhteydessä; yksittäisten kasvojen tietokannat, kuten IMDB-WIKI, eivät tue tätä, koska ne merkitsevät vain yhden henkilön per kuva.

Elokuvien julkaisuvuodet Czecho-Slovak Movie Database -tietokannasta käytettiin arvioidakseen, milloin valokuva otettiin, ja kunkin henkilön kuvaan liitettiin julkinen profiili, jossa oli syntymävuosi ja kuva.

Tämän jälkeen kunkin kasvon kuvassa yhdistettiin yksi tunnetuista identiteeteistä, aluksi käyttäen ArcFacea luomaan kasvojen upotuksia ja laskea keskiarvo upotus kunkin identiteetin mukaan.

Tämän jälkeen unkkarialgoritmi käytettiin määrittämään kasvojen ja identiteettien väliset yhdistelmät vertaamalla upotusten samankaltaisuutta, ja sopeutuksia tehtiin, kun havaittujen kasvojen määrä, jotka havaittiin SCRFD-10GE -kehyksessä, ei vastannut tunnettujen henkilöiden määrää.

Tilastot CSFD-1.6M -tietokannasta, jotka kuvaavat poimittuja kuvia, havaittuja kasvoja, identiteetin vastaavuuksia, lopullisia annotoituja näytteitä ja käytettävissä olevaa identiteettien joukkoa.

Vastaavuudet hylättiin, jos samankaltaisuus oli liian alhainen tai jos arvioitu ikä poikkesi liian paljon tunnetusta iästä, ja suurempaa suvaitsevaisuutta sallittiin vanhemmille aiheille, eikä kasvoja suodatettu laadun tai koon perusteella.

Kirjoittajat korostavat tietokantansa ylivoimaa lähimpään vertailukelpoiseen tietokantaan, IMDB-WIKI:

‘Meidän tietokantamme ei ole ainoastaan huomattavasti suurempi, vaan kriittisesti, se koostuu monen henkilön kohtauksista, joita meidän mallimme edellyttää. Vaikka mikään verkkokaivaukseen perustuva tietokanta ei ole vapaa merkintävirheistä, meidän annotointiputkimme hyödyntää tietokannan tarjoamia implisiittisiä linkkejä kuvien ja identiteettiprofiilien välillä, pyrkien korkealaatuisiin identiteettien määrityksiin.’

Heidän arviointinsa vertasi useita versioita heidän ajoitusjärjestelmästään, jotta he voisivat ymmärtää, mistä sen edut tulivat. Yksi malli oletti täydellistä tietoa siitä, kuka oli kuvassa, tarjoamalla ylärajan suorituskyvylle poistamalla identiteetin tunnistamisen epävarmuuden, ja täydellinen malli arvioi identiteettejä ja ajoitusta yhdessä, punnitsemalla eri identiteetin määrityksiä ennen lopullisen vuoden arviointia.

Yksinkertaisempi variantti valitsi yksinäisesti todennäköisimmän identiteetin määrityksen ilman vaihtoehtoisten marginalisointia, mikä osoittautui lähes yhtä tehokkaaksi käytännössä.

Vertailukohtana erillinen perusviitekehyksessä kunkin kasvo arvioitiin itsenäisesti, ja tuloksesta saadut ikäperusteiset vuosiarviot yhdistettiin ilman identiteettien yhteensopivuuden huomioimista.

Jotta voidaan testata, kuinka paljon menetelmä hyötyy kasvojen käytöstä, erillinen malli koulutettiin arvioimaan päivämäärää koko kohtauksesta. Tämä kohtaukseen perustuva malli edustaa vahvinta vaihtoehtoista lähestymistapaa, jota tällä hetkellä käytetään kuvien ajoittamisessa, koska se voi oppia aikakauteen liittyviä visuaalisia malleja koko kuvan yli, sen sijaan, että se riippuisi identiteetistä tai iästä.

Metriikat ja data

Keskimääräinen virhe (MAE) ennustetun ja todellisen vuoden välillä oli keskeinen mittari kokeissa.

Data jaettiin viiteen osaan, ja huolehdittiin siitä, että kaikki saman elokuvan kuvat säilytettiin yhdessä jaossa. Kolme näistä osista käytettiin koulutukseen, yksi validointiin ja yksi testaamiseen. Tämä viisiosainen kierto sovellettiin estämään ylisovittuminen.

Koska kasvoihin perustuvat mallit eivät olleet koulutettu tälle tietokannalle, ei ollut tarpeen jakaa, ja sen sijaan ne arvioitiin suoraan koko CSFD-1.6M -tietokannasta.

Kohtaukseen perustuva malli koulutettiin 200 epookan ajan Adam-optimoinnin avulla, ja kuvat muunnettiin 384×384 leikkaukseksi.

Tulokset

Tutkimuksen tulokset on jaettu epätavallisesti useisiin suorituskykymittareihin, eikä ole yhtä erottuvaa keskeistä testiä. Esitämme kuitenkin joitain merkittävimmistä tuloksista tässä.

Tärkein tulos ei ole yksittäinen luku, vaan malli: kasvojen aggregoimismallit (erityisesti Täysi ja Top-1 -versiot) ylittävät johdonmukaisesti vahvan Kohtaus -vertailukohdan, kun kaksi tai useampi tunnettu identiteetti on läsnä – vaikka Kohtaus -malli on koulutettu suoraan tietokannasta, mikä tukee väitettä, että identiteetin liittynyt kasvojen ajoittaminen tarjoaa vahvemman signaalin kuin holistinen kohtaus-tulkinta.

Arvioidakseen aikaisempien vaikutusta kirjoittajat vertasivat useita heidän Täysi -mallinsa konfiguraatioita. Vahvin suorituskyky saavutettiin käyttämällä Vuositys -apuprioriteettia, joka ylitti merkittävästi sekä Viattoman -mallin (joka ei käytä aikaisempaa prioriteettia) että Yhdenmukainen -prioriteetin (joka olettaa, että kaikki vuodet ovat yhtä todennäköisiä):

Suorituskyky laskee terävästi kaikissa menetelmissä, kun kasvojen määrä kasvaa, mutta mallit, jotka käyttävät realistisia aikaisempia prioriteettejä, kuten Vuositys, ovat vähemmän vaikuttuneita. Naivi ja Kohtaus -vertailukohteet pysyvät tasaisina tai heikkenevät suurempien ryhmien kanssa, kun taas Täysi malli, jota ohjataan informatiivisilla prioriteeteillä, ylläpitää alhaisen virheen.

Sen osoittamiseksi, että CSFD-1.6M on hyödyllinen laajemmassa tarkoituksessa kuin valokuvien ajoittaminen, tietokantaa käytettiin esikoulutusresurssina laajemmassa tehtävässä, joka on kasvojen ikäarvio. Seuraten standardia arviointiprotokollaa, ResNet101 -mallit koulutettiin CSFD-1.6M:llä ja verrattiin malleihin, jotka oli koulutettu IMDB-WIKI:llä ja ImageNetillä. Nämä mallit sovitettiin sitten ja arvioitiin viidellä suositulla benchmarkilla: AgeDB; AFAD, MORPH; UTKFace; ja CLAP2016:

Keskimääräinen virhe (plus miinus standardipoikkeama) viidellä ikäarviointibenchmarkilla, joissa verrataan malleja, jotka on esikoulutettu ImageNetillä, IMDB-WIKI:llä ja CSFD-1.6M:llä. Alempi arvo osoittaa paremman suorituskyvyn. CSFD-1.6M antaa vahvimmat tulokset kaikilla benchmarkilla.

Kaikilla viidellä tietokannalla esikoulutus CSFD-1.6M:llä johti alhaisimpiin virheisiin, ylittäen muut kaksi esikoulutuslähdettä selvällä marginaalilla – ero, joka oli vahvin AFAD:llä ja CLAP2016:lla, mutta pysyi johdonmukaisena kaikkialla.

Lue loput tuloksista lähdeartikkelista, joka käsittelee myös laajasti poistojen tutkimusta.

Johtopäätös

Vaikka uusi tutkimus nopeasti muuttuu tiiviiksi ja vaikeaksi yleisölle, aihe, jota käsitellään, on yksi mielenkiintoisimmista ja merkittävimmista tietokoneen näön kirjallisuudessa – ei vähiten siksi, että se ylittää taitavasti antropologiaan ja kulttuuritutkimukseen, joissa vakiot ovat vaikeasti määritettävissä.

* Samoin kuin musiikin evoluutio hidastui muutoksen nopeus.

Julkaistu ensimmäisen kerran maanantaina 10. marraskuuta 2025