En ‘Detektiv’ AI Kan Identifisere Obskure Personer Fra Flere Kilder

Forskere ved Oxford University har utviklet et AI-drevet system som kan omfattende identifisere personer i videoer ved å utføre detektiv-lignende, multi-domen undersøkelser for å finne ut hvem de kan være, fra kontekst og fra en rekke offentlig tilgjengelige sekundære kilder, inkludert sammenligning av lydkilder med visuelt materiale fra internettet.

Selv om forskningen fokuserer på identifisering av offentlige personer, som personer som opptrer i TV-programmer og filmer, er prinsippet om å slutte identitet fra kontekst teoretisk anvendelig på noen som har ansikt, stemme eller navn som opptrer i nettbaserte kilder.

I virkeligheten definerer rapporten berømmelse ikke bare til underholdningsarbeidere, men forskerne erklærer ‘Vi betegner personer med mange bilder av seg selv på nettet som berømte‘.

Straight To Video

Forskerne fra Oxford’s Visual Geometry Group ved Department of Engineering Science, beskriver den menneskelige undersøkelsesmetoden som har inspirert arbeidet:

‘Tenk at du ser en video og møter en ny person. For å identifisere dem med sikkerhet, ville du først se etter klær om deres navn i videoen, som tekst på skjermen, deres navn blir nevnt i tale, eller i en liste over rollebesetning fra en internettarkiv. Du kunne så finne noen bevis for å verifisere at dette navnet er riktig, ved å søke etter personen på nettet.’

Metoden som er foreslått i rapporten er fullstendig automatisert og eliminerer all ekstra manuell merking (med unntak av den som ble utført av leverandørene av nettbaserte kilder). Systemet ble også bevist å fungere godt over tre ulike datasett uten noen behov for domene-tilpasning.

Ved å diskutere anvendelsen av arbeidet, merker forskerne den eksponentielle veksten av ulabelled, uklar video-data, og behovet for nye systemer som kan utlede identitetsinformasjon fra dem uten dyre menneske-drevne annotasjoner:

‘[Den] rene skalaen av data, kombinert med en mangel på relevante metadata, gjør det vanskelig å indeksere, analysere og navigere i denne innholdet. Å stole på ekstra, manuell menneskelig annotasjon er ikke lenger mulig, og uten en effektiv måte å navigere disse videoene, er denne kunnskapsbanken i stor grad utilgjengelig.’

En indekseringsmotor av denne typen åpner opp muligheten for søkeresultat-hyperlinker som ankommer direkte til et punkt i videoen hvor søkeobjektet opptrer, som demonstrert i proof-of-concept-nettsøket som er gitt av prosjektet.

Oxfordsystemet tillater en søk etter eksempler på en identifisert person. Søkeresultatet tar deg direkte til punktet i videoen hvor den identifiserte personen opptrer, og videoen kan deretter spilles fra det punktet. Kilde: https://www.robots.ox.ac.uk/~vgg/research/person_id_in_video/

En av måtene systemet identifiserer ‘obskure’ personer er ved konteksten av deres assosiasjon med andre. Derfor er søkemotoren godt utstyrt til å søke etter flere identiteter som opptrer i samme video:

Store og små fisk

Systemet tar først tak i ‘lette mål’ – personer hvis ansikter er så godt indeksert i offentlige nettressurser at identifisering er relativt enkelt, ved å sammenligne metadata eller OCR-tekst i videoer mot offentlige datakilder som IMDB-lister. AI-tolkede tekst i video-tekst, kreditter og andre former for rasterisert tekst i videoer brukes også til å gjøre identifiseringen.

Kandidatnavn for søk kan automatisk oppdages av systemet, basert på optisk tegngjenkjenning (OCR) av rasterisert tekst, eller av faktisk tekst i andre kilder, som rollebesetningslister. Derfor kan personer bli indeksert automatisk uten noen forhåndsgjorte spørringer mot deres navn av enkeltbrukere, og uten forhåndsdeltagelse i AI-drevne sosiale nettverk. Kilde: https://www.robots.ox.ac.uk/~vgg/publications/2021/Brown21/brown21.pdf

Hvor overveldende nett-tilgjengelige bilder og videoer bekrefter identiteten til personen, bekrefter undersøkelsen en identitet. Men hvor personen er mer obskur, brukes andre metoder, inkludert lyd tatt fra video-spor, som kan brukes som bekreftende bekreftelse av en identitet. Selv om det ikke er dekket i arbeidet, er det logisk ingen hindring for å bruke et rammeverk av denne typen også for å bruke rene lydkilder samt lydkomponenter i videoer.

En selv-propagerende identitetspanoptikon

I tillegg til å generere kandidatnavn fra rasterisert eller ren tekst, brukes talegjenkjenningsteknologier i Oxford-prosjektet til å gjenkjenne navn som bare er nevnt i lydinnhold. Derfor kan en identitet initialiseres av en eller to personer som bare nevner en tredje person som ikke er til stede.

Sikkerhetsforanstaltningen som Oxford-prosjektet innfører er at kandidaten må være i IMDB-databasen, men å fjerne denne vilkårlige bestemmelsen utvider systemets potensielle omfang betraktelig, siden det bare avhenger av web-tilgjengelige ressurser.

Derfor, med en kombinasjon av kilder inkludert navn som er avledet fra raster-tekst, faktisk tekst, tale-basert nevnt og svært begrenset visuelt materiale, blir det mulig å identifisere enkeltindivider med lav visuell nett-tilstedeværelse.

Teknisk sett blir det også mulig å bygge opp en profil av en person som ikke har noen bildesammenheng eller video-sammenheng, men som kan bli koblet til en ny video-kilde når andre faktorer korrelerer til en ny-inngått video-kilde.

Testdatasett

Forskerne brukte tre datasett for å evaluere systemets effektivitet: MediaEval, som inneholder Creative Commons-sosiale medie-avledede og fellesskapsbilderessurser (inkludert Wikipedia og Flickr) fanget mellom 2010-2015; Oxford-gruppens eget Sherlock-datasett fra 2017, som inneholder annotert video-data fra den populære moderne BBC-tilpasningen av Conan Doyle-karakteren; og et nytt BBC-video-datasett som ble skapt spesifikt for prosjektet, som bruker annotert nyhetsbilder fra BBC.

Systemet lykkes over en bred rekke datasett-miljøer, inkludert tilfeller hvor ansiktet er skjult av refleksjoner eller mørke.

Prosessene inkluderer også live-bilde-søkerangeringer.

Resultatene for systemet viste høy nøyaktighet over de tre modellene. I tilfelle Sherlock-datasett, var forskerne overrasket over å finne at det nye systemet forbedret 3-6% over en tidligere metode som brukte støttevektor-maskiner (SVM) i en multi-vei-klassifisering, selv om den nærmeste nabo-klassifiseringen som ble brukt i det nye arbeidet er et mindre kraftig verktøy.

Konsekvenser

De fleste etiske eller praktiske begrensninger i Oxford-prosjektet er selvvalgt av forskerne, som å definere ‘berømmelse’ ved kravet om at identitetene som oppdages har en tilstedeværelse i IMDB, og ved å teste systemet kun mot etablerte akademiske datasett som respekterer Creative Commons-lisensiering.

Likevel viser prosjektets essensielle arkitektur en generisk metode for å identifisere ‘obskure’ enkeltindivider som har lav eller ingen visuell tilstedeværelse på internettet (siden en enkelt nevning av et navn kan generere en identitets-token som kan utvikles over tid som nødvendig), men også å skape en matrise av enkeltindivider som drives av ingenting annet enn rekursiv og mekanisk nysgjerrighet, snarere enn av etterspørsel eller eksplisitt tilstedeværelse av merket data (slik som sosiale medie-fotoopplastinger som inneholder PII-metadata).

Prosjektet bruker ikke geolokasjonsdata eller andre former for metadata som kan finnes i bidragende bekreftende dokumenter, slik som geografisk lokasjon-informasjon som er innbygget i opplastninger til sosiale medier (hvor disse ikke er fjernet som en brukerpreferanse). Likevel er det ingen åpenbar hindring for å bruke slike ekstra dimensjoner av data til å styrke bekreftelsesprosessen.

Hvor prosjektet beskjer utkast (identiteter som har nesten ingen tilstedeværelse, i tillegg til ikke å være listet i IMDB) på en måte som er vanlig i maskinlæringsprosjekter, kan så minimal informasjon faktisk mer effektivt identifisere en ukjent person enn hvis en større mengde representativ informasjon om dem var tilgjengelig. Hvis utkast er akkurat det du leter etter (dvs. enkeltindivider med liten nett-tilstedeværelse), kan sparsomme data være svært indikative.

Tilgjengelighet

Oxford-forskerne har innkapslet prosjektets funksjonalitet i en Google-lignende søkemotor som kan lastes ned og installeres på en lokal maskin via Docker (selv om installasjonsinstruksjonene for mai 2021-papiret inneholder utdatert informasjon for en Docker-verktøy-krav, som kan hindre prosessen).

Det ser ut til at det ikke finnes noen live nettversjon som dekker implementeringen av prosjektet over alle tre datasett, selv om resultater for BBC-nyhetsdatasett kan fritt avhøres på http://zeus.robots.ox.ac.uk/bbc_search/.