‘Etsivä’ tekoäly voi tunnistaa epäselviä henkilöitä useista lähteistä

Oxfordin yliopiston tutkijat ovat kehittäneet tekoälypohjaisen järjestelmän, joka voi kattavasti tunnistaa videoiden henkilöitä suorittamalla etsivänkaltaisia, monialaisia tutkimuksia siitä, keitä he voivat olla, asiayhteydestä ja useista julkisesti saatavilla olevista sekundäärisistä lähteistä, mukaan lukien äänilähteiden ja visuaalisen aineiston internetistä.

Vaikka tutkimus keskittyy julkisuuden henkilöiden tunnistamiseen, kuten televisio-ohjelmien ja elokuvien esiintyjien, identiteetin päättelemisen periaate asiayhteydestä on teoreettisesti sovellettavissa kenenkään, jonka kasvo, ääni tai nimi esiintyy internetissä.

Itse asiassa julkaisun oma määritelmä maineesta ei rajoitu vain viihdealaan, sillä tutkijat ilmoittavat ‘Merkimme ihmisiksi, joilla on monia kuvia itsestään internetissä kuuluisaksi‘.

Suoraan videoon

Tutkijat Oxfordin Visual Geometry Groupista, Department of Engineering Sciencesta, selittävät inhimillisen kaltaisen tutkimuslähestymistavan, joka on innoittanut työtä:

‘Kuvittele, että katselet videota ja kohtaat uuden henkilön. Jotta voit tunnistaa heidät varmasti, etsisit ensin vihjeitä heidän nimestään joko videossa, kuten tekstinä ruudulla, heidän nimensä mainitaan puheessa, tai luettelossa näyttelijöistä internet-arkistosta. Sitten löytäisit jonkin todisteena, että tämä nimi on oikein, etsimällä henkilöä internetistä.’

Julkaisussa ehdotettu menetelmä on täysin automaattinen ja poistaa kaiken ylimääräisen manuaalisen merkinnän (jätten huomiotta sen, mitä internetin lähteiden tarjoajat ovat suorittaneet). Järjestelmä osoittautui toimivaksi kolmessa eri tietokannassa ilman mitään alueen sovittamisen tarvetta.

Keskustellessaan työn soveltamisesta tutkijat mainitsevat merkittävän määrän merkintämättömiä, epäselviä videoita ja tarpeen uusille järjestelmille, jotka voivat johtaa identiteettitietoja ilman kalliita ihmisten johtamia merkintöjä:

‘[Tämä] valtava määrä dataa, yhdistettynä merkintätiedon puutteeseen, tekee indeksoinnin, analyysin ja navigoinnin tällä sisällöllä yhä vaikeammaksi tehtäväksi. Riippuminen lisäksi manuaalisesta ihmisen tekemästä merkinnästä ei ole enää toteuttamiskelpoista, ja ilman tehokasta tapaa navigoida nämä videot, tämä tietopankki on suurelta osin esteettömästi saatavilla.’

Tällainen indeksointimoottori avaa mahdollisuuden hakutulosten hyperlinkkeihin, jotka saapuvat suoraan kohtaan videossa, jossa haettu aihe esiintyy, kuten esiteltiin hankkeen osoitteessa.

Oxfordin järjestelmä sallii haun tunnistettujen henkilöiden esiintymisistä. Hakutulos vie katsojan suoraan kohtaan videossa, jossa tunistettu henkilö esiintyy, ja videota voidaan sitten toistaa siitä kohdasta.  Lähde: https://www.robots.ox.ac.uk/~vgg/research/person_id_in_video/

Yksi tapa, jolla järjestelmä tunnistaa ‘epäselviä’ henkilöitä, on heidän muiden kanssa olevan yhteyden asiayhteys. Seuraavaksi hakukone on hyvin varusteltu hakemaan useita identiteettejä, jotka esiintyvät samassa videossa:

Isot ja pienet kalat

Järjestelmä käsittelee aluksi ‘helpot’ – henkilöt, joiden kasvot ovat niin hyvin indeksoituja julkisissa verkkoressursseissa, että heidän tunnistaminen on suhteellisen helppoa, vastaamalla metadataa tai OCR-tekstiä videoissa julkisiin tietolähteisiin, kuten IMDB-luetteloihin. Tekoälytulkitut tekstit videokuvatekstityksissä, tekijäluettelossa ja muissa rasteroiduissa teksteissä videossa hyödyntävät myös tunnistamista.

Ehdokasnimet haussa voidaan automaattisesti löytää järjestelmän avulla, joko optisen tekstin tunnistamisen (OCR) avulla tai oikeasta tekstistä muissa lähteissä, kuten näyttelijäluettelossa. Näin ollen ihmiset voidaan indeksoida automaattisesti ilman, että yksittäiset käyttäjät ovat aiemmin suorittaneet hakua heidän nimillään, ja ilman aiempaa osallistumista tekoälypohjaisiin sosiaaliverkkoihin. Lähde: https://www.robots.ox.ac.uk/~vgg/publications/2021/Brown21/brown21.pdf

Kun ylivoimainen verkkoon näkyvien kuvien ja videoiden määrä vahvistaa henkilön identiteetin, tutkimus vahvistaa identiteetin. Mutta kun henkilö on epäselvempi, käytetään muita menetelmiä, kuten videon ääniraitaa, joka voidaan käyttää vahvistamaan identiteetin todisteena. Vaikka sitä ei käsitellä työssä, loogisesti ei ole mitään estettä, ettei tällaisen kehyksen kaltaista järjestelmää voida myös käyttää pelkästään äänilähteistä sekä ääniosuuksista videoissa.

Itseään ylläpitävä identiteetin panoptikon

Lisäksi rasteroidun tai puhtaan tekstin ehdokasnimien luomisesta puheentunnistusteknologiat ovat käytössä Oxfordin hankkeessa tunnistamaan nimet, jotka mainitaan ainoastaan puheessa äänisisällössä. Näin ollen identiteetti voidaan aloittaa kahden tai useamman henkilön mainitsemalla kolmatta henkilöä, joka ei ole läsnä.

Oxfordin hankkeen turvallisuus on, että ehdokkaan on oltava mukana IMDB-tietokannassa, mutta poistamalla tämä kiinteä ehto laajentaa järjestelmän mahdollisuuksia merkittävästi, koska se perustuu täysin verkkoon saatavilla oleviin resursseihin.

Näin ollen yhdistämällä useita lähteitä, kuten nimien johdosta rasteroidusta tekstistä, oikeasta tekstistä, puhepohjaisista maininnoista ja hyvin rajatusta visuaalisesta aineistosta, on mahdollista tunnistaa yksilöitä, joilla on matala visuaalinen verkkoesiintyminen.

Teknisesti on myös mahdollista luoda profiili yksilölle, jolle ei ole liitetty kuvaa tai videota, mutta jolle voidaan myöhemmin liittää kuva tai video, kun muut tekijät korreloivat uuden videolähteen kanssa.

Testidatavalit

Tutkijat käyttivät kolmea tietokantaa arvioidakseen järjestelmän tehokkuutta: MediaEval, joka sisältää Creative Commons -sosiaalisen median ja yhteisökuvalähteitä (mukaan lukien Wikipedia ja Flickr) vuosilta 2010-2015; Oxford-ryhmän oma Sherlock-tietokanta vuodelta 2017, joka sisältää merkittyjä videodataa modernista BBC-sarjasta; ja uusi BBC-videotietokanta, joka on luotu hankkeen erityisesti, ja joka käyttää erilaisia annotoituja uutisvideomateriaaleja BBC:ltä.

Järjestelmä onnistuu laajalla skaalalla eri tietokannoissa, myös silloin, kun kasvo on peitetty heijastuksilla tai pimeydellä.

Prosessi hyödyntää myös live-kuva haun luokittelua.

Järjestelmän tulokset tuottivat korkean tarkan tuloksen kaikissa kolmessa mallissa. Sherlock-tietokannan tapauksessa tutkijat olivat yllättyneitä siitä, että uusi järjestelmä paransi 3-6 % aiempaa menetelmää, joka käytti tukivektorikoneita (SVM) monitapahtumaluokittelijassa, vaikka uudessa työssä käytetty lähin naapuri -luokittelija on vähemmän voimakas työkalu.

Vaikutukset

Useimmat eettiset tai käytännön rajoitukset Oxfordin hankkeessa ovat itse asetettuja tutkijoiden toimesta, kuten ‘kuuluisuuden’ määrittely edellyttää, että löydetyt identiteetit ovat läsnä IMDB:ssä, ja testaamalla järjestelmää ainoastaan vakiintuneilla akateemisilla tietokannoilla, jotka kunnioittavat Creative Commons -lisenssejä.

Kuitenkin hankkeen perusrakenteen kuvaama yleinen menetelmä ei ainoastaan tunnista ‘epäselviä’ yksilöitä, joilla on matala tai nolla visuaalinen läsnäolo internetissä (koska yksinkertainen nimen maininta voi luoda identiteettitunnisteita, jotka voidaan kehittää tarpeen mukaan), vaan myös luoda matriisi yksilöistä, jota ohjaa pelkästään rekursiivinen ja mekaaninen uteliaisuus, eikä vaadita tai eksplisiittistä läsnäoloa merkittyjä tietoja (kuten sosiaalisen median valokuvien lataamiseen liittyvää henkilökohtaista tietoa).

Hankkeessa ei käytetä sijaintitietoja tai muita laajasti saatavilla olevia metatietoja, jotka voivat olla osa vahvistavaa prosessia, kuten maantieteellistä sijaintitietoa, joka on upotettu oletusarvoisesti sosiaalisen median latauksiin (jos nämä eivät poisteta käyttäjän toimesta). Kuitenkaan ei ole mitään esteitä käyttää tällaisia lisäulottuvuuksia vahvistamaan prosessia.

Kun Oxfordin hankkeessa poistetaan poikkeamat (identiteetit, joilla on lähes nolla läsnäolo, lisäksi niiden, jotka eivät ole luettelossa IMDB:ssä) tavalla, joka on yleinen koneoppimisen hankkeissa, voidaan väittää, että tällaiset vähäiset tiedot voivat tunnistaa tuntemattoman henkilön tehokkaammin kuin jos olisi enemmän edustavaa tietoa heistä.

Saatavuus

Oxfordin tutkijat ovat käärittäneet hankkeen toiminnallisuuden Google-kaltaiseen hakukoneeseen, jota voidaan ladata ja asentaa paikalliseen koneeseen Dockerin avulla (vaikka vuoden 2021 paperin asennusohjeet sisältävät vanhentunutta tietoa Docker-työkaluvaatimuksesta, mikä voi haitata prosessia).

Ei ole ilmeistä, onko live-verkkoversiota, joka kattaa hankkeen toteutuksen kaikissa kolmessa tietokannassa, vaikka BBC-uutistietokannan tulokset voidaan vapaasti kysyä osoitteesta http://zeus.robots.ox.ac.uk/bbc_search/.