En ‘Detektiv’ AI Kan Identificere Obskure Personer Fra Multiple Kilder

Forskere ved Oxford University har udviklet et AI-drevet system, der kan omfattende identificere personer i videoer ved at udføre detektiv-lignende, multi-domæne-undersøgelser for at afgøre, hvem de måske er, fra kontekst og fra en række offentligt tilgængelige sekundære kilder, herunder sammenligning af lydkilder med visuelt materiale fra internettet.

Selvom forskningen fokuserer på identifikation af offentlige personer, såsom personer, der optræder i tv-programmer og film, er principperne for at slutte identitet fra kontekst teoretisk anvendelige på enhver, hvis ansigt, stemme eller navn optræder i online-kilder.

I virkeligheden definerer artiklens egen definition af berømmelse ikke kun til underholdningsbranchens medarbejdere, da forskerne erklærer ‘Vi betegner personer med mange billeder af sig selv online som berømte‘.

Stregt Til Video

Forskerne fra Oxfords Visual Geometry Group ved Department of Engineering Science, beskriver den menneskelignende undersøgelsesmetode, der har inspireret arbejdet:

‘Forestil dig, at du ser en video og møder en ny person. For at kunne identificere dem med sikkerhed, ville du først lede efter spor af deres navn i videoen, såsom tekst på skærmen, deres navn bliver nævnt i tale, eller i en liste over cast-medlemmer fra en internet-arkiv. Du ville så finde nogen bevis for at verificere, at dette navn er korrekt, ved at søge efter personen online.’

Den metode, der er foreslået i artiklen, er helt automatiseret og eliminerer alle ekstra manuelle mærkninger (med undtagelse af dem, der er udført af leverandørerne af online-kilderne). Systemet blev også bevist at fungere godt på tværs af tre uafhængige datasets uden behov for domæne-tilpasning.

Ved at diskutere anvendelsen af arbejdet, bemærker forskerne den eksponentielle vækst i ulabellede, uigennemsigtige video-data og behovet for nye systemer, der kan udlede identitetsinformation fra dem uden dyre menneskeledede annotationer:

‘[Den] rene skala af data, kombineret med en mangel på relevante metadata, gør det svært at indekser, analysere og navigere i dette indhold. At afhænge af yderligere, manuel menneskelig annotation er ikke længere muligt, og uden en effektiv måde at navigere i disse videoer på, er denne viden kun delvist tilgængelig.’

En indekseringsmotor af denne art åbner mulighed for søgeresultat-hyperlinks, der ankommer direkte til et punkt i videoen, hvor søgeemnet optræder, som demonstreret i det proof-of-concept-web-søg, der er leveret af projektet.

Oxfords system tillader en søgning efter forekomster af en identificeret person. Søgeresultatet fører seeren direkte til det punkt i videoen, hvor den identificerede person optræder, og videoen kan derefter afspilles fra det punkt. Source: https://www.robots.ox.ac.uk/~vgg/research/person_id_in_video/

En af måderne, hvorpå systemet identificerer ‘obskure’ personer, er ved konteksten af deres association med andre. Følgelig er søgemotoren godt udstyret til at søge efter multiple identiteter, der optræder i samme video:

Store Og Små Fisk

Systemet tager først fat på ‘lette mål’ – personer, hvis ansigter er så godt indekseret i offentligt tilgængelige netværksressourcer, at identifikation er relativt trivial, ved at matche metadata eller OCR’d tekst i videoer mod offentlige datakilder såsom IMDB-lister. AI-fortolket tekst i video-undertekster, credits og andre former for rasteriseret tekst i videoer udnyttes også til at identificere.

Kandidatnavne til søgning kan automatisk opdages af systemet, baseret på optisk karaktergenkendelse (OCR) af rasteriseret tekst eller af faktisk tekst i andre kilder, såsom castlister. Derfor kan personer indekseres automatisk uden nogen forudgående forespørgsler mod deres navne af enkelte slutbrugere, og uden forudgående deltagelse i AI-drevne sociale netværk. Source: https://www.robots.ox.ac.uk/~vgg/publications/2021/Brown21/brown21.pdf

Hvor overvældende netvendte billeder og videoer bekræfter identiteten af personen, bekræfter undersøgelsen en identitet. Men hvor personen er mere obskur, anvendes andre metoder, herunder lyd fra video-spor, der kan anvendes som bekræftende bevis for en identitet. Selvom det ikke er dækket i arbejdet, er der logisk intet, der forhindrer, at et rammeværk af denne art også kan anvende rene lydkilder samt lydkomponenter i videoer.

En Selv-Propagerende Identitets-Panoptikon

Foruden at generere kandidatnavne fra rasteriseret eller ren tekst, anvendes talegenkendelsesteknologier i Oxford-projektet til at genkende navne, der blot bliver nævnt i lydindhold. Derfor kan en identitet initialiseres af blot en eller to personer, der nævner en tredje person, der ikke er til stede.

Sikkerhedsforanstaltningen, som Oxford-projektet introducerer, er, at kandidaten skal optræde i IMDB-databasen, men at fjerne denne vilkårlige betingelse udvider systemets potentiale væsentligt, da det afhænger udelukkende af web-skrabelige ressourcer.

Derfor bliver det muligt at identificere enkeltpersoner med en lav visuel netværkspræsense, med en kombination af kilder, herunder navne, der er afledt fra raster-tekst, faktisk tekst, tale-baserede nævnelser og meget begrænsede visuelle materialer.

Teknisk set bliver det også muligt at opbygge en profil af en person, som endnu ikke har været associeret med et billede eller en video, men som kan associeres med et billede eller en video, når andre faktorer korrelerer med en ny-indtaget video-kilde.

Test-Datasets

Forskerne anvendte tre datasets til at evaluere systemets effektivitet: MediaEval, der indeholder Creative Commons-social medie-afledte og fællesskabsbilleder (herunder Wikipedia og Flickr) optaget mellem 2010-2015; Oxford-gruppens egen Sherlock-dataset fra 2017, der indeholder annoteret video-data fra den populære moderne BBC-tilpasning af Conan Doyles klassiske karakter; og et nyt BBC-video-dataset, der er oprettet specifikt til projektet, og som anvender forskellige annoterede nyheds-optagelser fra BBC.

Systemet lykkes på tværs af en bred vifte af dataset-miljøer, herunder tilfælde, hvor ansigtet er skjult af refleksioner eller mørke.

Processen anvender også live-billedsøgnings-rangeringer.

Resultaterne for systemet producerede høj nøjagtighed på tværs af de tre modeller. I tilfældet med Sherlock-datasettet var forskerne overraskede over at finde, at det nye system forbedrede 3-6% i forhold til en tidligere metode, der anvendte support-vektor-maskiner (SVM’er) i en multi-vej-klassifikator, selvom den nærmeste nabo-klassifikator, der blev anvendt i det nye arbejde, er et mindre kraftfuldt værktøj.

Konsekvenser

De fleste af de etiske eller praktiske begrænsninger i Oxford-projektet er selvvalgt af forskerne, såsom definitionen af ‘berømmelse’ som kravet om, at de opdagede identiteter har en tilstedeværelse i IMDB, og ved at teste systemet udelukkende mod etablerede akademiske datasets, der respekterer Creative Commons-licens.

Men den essentielle arkitektur af projektet afbilder en generisk metode til ikke kun at identificere ‘obskure’ personer, der har lav eller ingen visuel tilstedeværelse på internettet (da en blot nævning af et navn kan give anledning til en identitets-token, der kan udvikles over tid, som nødvendigt), men også at oprette en matrix af personer, der drives af intet andet end rekursiv og mekanisk nysgerrighed, snarere end af efterspørgsel eller af den eksplisitte tilstedeværelse af mærket data (såsom sociale medie-foto-upload, der indeholder PII-metadata).

Projektet anvender ikke geolokationsdata eller andre former for vidt tilgængelige metadata, der kan findes i bidragende bekræftende dokumenter, såsom geografisk lokalitetsinformation, der er indlejret som standard i upload til sociale medier (hvor disse ikke er fjernet som en brugerpræference). Men der er intet åbenlyst hinder for at anvende disse ekstra dimensioner af data til at styrke den bekræftende proces.

Hvor Oxford-projektet beskærer outliers (identiteter, der har næsten ingen tilstedeværelse, samt ikke er opført i IMDB) på en måde, der er almindelig i maskinlæringsprojekter, kan denne minimale information faktisk mere effektivt identificere en ukendt person end ville ske, hvis der var mere repræsentativ information om dem til rådighed. Hvis outliers er præcis, hvad man søger efter (dvs. personer med lille netværkspræsense), kan sparsomme data være meget betegnende.

Tilgængelighed

Oxford-forskerne har indkapslet projektets funktionalitet i en Google-lignende søgemaskine, der kan downloades og installeres på en lokal maskine via Docker (selvom installationsvejledningen for maj 2021-papiret i øjeblikket indeholder forældet information omkring en Docker-værktøjskrav, hvilket kan hindre processen).

Der synes ikke at være en live online-version, der dækker implementeringen af projektet på tværs af alle tre datasets, selvom resultaterne for BBC-nyhedsdatasettet kan frit afhøres på http://zeus.robots.ox.ac.uk/bbc_search/.