En ‘Detective’ AI Kan Identifiera Ovanliga Personer Från Många Källor

Forskare vid Oxford University har utvecklat ett AI-baserat system som kan identifiera personer i videor genom att utföra en detektivliknande, multi-domänutredning för att ta reda på vem de kan vara, baserat på sammanhanget och från en mängd olika offentligt tillgängliga sekundära källor, inklusive matchning av ljudkällor med visuellt material från internet.

Även om forskningen fokuserar på identifiering av offentliga personer, såsom personer som uppträder i TV-program och filmer, är principen för att härleda identitet från sammanhanget teoretiskt tillämplig på alla vars ansikte, röst eller namn förekommer i onlineresurser.

Verkligen, artikelns egen definition av berömmelse är inte begränsad till underhållningsbranschen, med forskarna som förklarar ‘Vi betecknar personer med många bilder av sig själva online som berömda‘.

Straight To Video

Forskarna från Oxfords Visual Geometry Group vid Department of Engineering Science, beskriver den mänskliga utredningsmetoden som har inspirerat arbetet:

‘Tänk att du tittar på en video och möter en ny person. För att med säkerhet identifiera dem skulle du först leta efter ledtrådar om deras namn antingen i videon, såsom text på skärmen, deras namn nämns i tal, eller i en lista över rollbesättning från en internetarkiv. Du kunde sedan hitta någon bevis för att verifiera att detta namn är korrekt, genom att söka efter personen online.’

Metoden som föreslås i artikeln är helt automatiserad och eliminerar all ytterligare manuell märkning (med undantag för den som utfördes av leverantörerna av onlineresurser). Systemet visade sig också fungera bra över tre orelaterade datamängder utan behov av domänanpassning.

Vid diskussion om tillämpningen av arbetet, noterar forskarna den exponentiella tillväxten av oetiketterad, ogenomskinlig videodata, och behovet av nya system som kan hämta identitetsinformation från dem utan dyra manuella anteckningar:

‘[Den] rena skalan av data, i kombination med brist på relevant metadata, gör det allt svårare att indexera, analysera och navigera i detta innehåll. Att förlita sig på ytterligare manuell mänsklig anteckning är inte längre möjligt, och utan ett effektivt sätt att navigera i dessa videor, är denna kunskapsbank i stort sett otillgänglig.’

En indexeringssmotor av detta slag öppnar möjligheten för sökresultat som kommer direkt till en punkt i videon där sökobjektet visas, som visas i beviskonceptet för webbsökning som tillhandahålls av projektet.

Oxfordsystemet tillåter en sökning efter förekomster av en identifierad person. Sökresultatet tar tittaren direkt till den punkt i videon där den identifierade personen visas, och videon kan sedan spelas upp från den punkten. Källa: https://www.robots.ox.ac.uk/~vgg/research/person_id_in_video/

En av de sätt som systemet identifierar ‘obskura’ personer är genom sammanhanget av deras association med andra. Följaktligen är sökmotorn välutrustad för att söka efter flera identiteter som visas i samma video:

Stora Och Små Fiskar

Systemet hanterar initialt ‘lågt hängande frukt’ – personer vars ansikten är så välindexerade i offentliga nätverksresurser att identifiering är relativt trivial, genom att matcha metadata eller OCR-text i videor mot offentliga dataresurser som IMDB-listor. AI-tolkad text i videokapitel, credits och andra former av rasteriserad text i video används också för att göra identifieringen.

Kandidatnamn för sökning kan automatiskt upptäckas av systemet, baserat på optisk teckenigenkänning (OCR) av rasteriserad text, eller av faktisk text i andra källor, såsom rollbesättningar. Således kan personer indexeras automatiskt utan någon föregående fråga mot deras namn av enskilda slutanvändare, och utan föregående deltagande i AI-aktiverade sociala nätverk. Källa: https://www.robots.ox.ac.uk/~vgg/publications/2021/Brown21/brown21.pdf

Där överväldigande nätverksbilder och video bekräftar identiteten på personen, bekräftar utredningen en identitet. Men där personen är mer obskur, används andra metoder, inklusive ljud från videospår, som kan användas som bekräftande bevis för en identitet. Även om det inte täcks i arbetet, är det logiskt sett ingenting som hindrar ett ramverk av detta slag från att också använda ren ljudkälla samt ljudkomponenter i video.

En Självförstärkande Identitetspanoptikon

Förutom att generera kandidatnamn från rasteriserad eller ren text, används taligenkänningstekniker i Oxfordprojektet för att känna igen namn som bara nämnts i ljudinnehåll. Således kan en identitet initieras av en eller två personer som bara nämner en tredje person som inte är närvarande.

Säkerhetsåtgärden som Oxfordprojektet inför är att kandidaten måste finnas i IMDB-databasen, men att ta bort denna godtyckliga bestämmelse utvidgar systemets potential avsevärt, eftersom det enbart förlitar sig på webbsökbara resurser.

Följaktligen, med en kombination av källor, inklusive namn som härletts från rasteriserad text, faktisk text, talbaserade nämnanden och mycket begränsat visuellt material, blir det möjligt att identifiera individer med låg visuell nätverksnärvaro.

Tekniskt sett blir det också möjligt att bygga upp en profil av en individ som ännu inte har någon bild eller video associerad med sig, men till vilken en bild eller video kan associeras när andra faktorer korrelerar till en nyinkuberad videokälla.

Testdatamängder

Forskarna använde tre datamängder för att utvärdera systemets effektivitet: MediaEval, som innehåller Creative Commons sociala medier och community-bilder (inklusive Wikipedia och Flickr) som samlats in mellan 2010-2015; Oxfords egen Sherlock-dataset från 2017, som innehåller annoterad videodata från den populära moderna BBC-anpassningen av Conan Doyles klassiska karaktär; och en ny BBC-videodatamängd som skapats specifikt för projektet, som använder olika annoterad nyhetsfilm från BBC.

Systemet lyckas i en mängd olika datamiljöer, inklusive tillfällen då ansiktet är dolt av reflektioner eller mörker.

Processen använder också live-bildsökningsrankningar.

Resultaten för systemet visade hög noggrannhet över de tre modellerna. I fallet med Sherlock-datasetet, var forskarna förvånade över att den nya systemet förbättrades med 3-6% jämfört med en tidigare metod som använde stödvektor-maskiner (SVM) i en multi-väg-klassificerare, trots att den närmaste granne-klassificeraren som användes i det nya arbetet är ett mindre kraftfullt verktyg.

Implikationer

De flesta etiska eller praktiska begränsningarna i Oxfordprojektet är självpåtagna av forskarna, såsom att definiera ‘berömmelse’ som kravet att de upptäckta identiteterna har en närvaro i IMDB, och genom att testa systemet enbart mot etablerade akademiska datamängder som respekterar Creative Commons-licensiering.

Men den väsentliga arkitekturen i projektet visar en generisk metod för att inte bara identifiera ‘obskura’ individer som har låg eller noll visuell närvaro på internet (eftersom en enkel nämnande av ett namn kan skapa en identitetstoken som kan utvecklas i tiden som nödvändigt), men för att skapa en matris av individer som drivs av ingenting annat än rekursiv och mekanisk nyfikenhet, snarare än av efterfrågan eller av den explicita närvaron av märkt data (såsom sociala medieuppladdningar som innehåller PII-metadata).

Projektet använder inte geolokalisationsdata eller andra former av allmänt tillgängliga metadata som kan finnas i bidragande bekräftande dokument, såsom geografiskt lägesinformation som är inbäddad som standard i uppladdningar till sociala medier (där dessa inte är avlägsnade som en användarpreferens). Men det finns inget uppenbart hinder för att använda sådana extra dimensioner av data för att stärka bekräftelseprocessen.

Däravskalningar (identiteter som har nästan noll närvaro, utöver att inte vara listade i IMDB) på ett sätt som är vanligt i maskinlärningsprojekt, kan sådan minimal information på ett mer effektivt sätt identifiera en okänd person än vad som skulle hända om en större mängd representativ information om dem var tillgänglig. Om avskalningar är exakt vad du letar efter (dvs. individer med liten nätverksavtryck), kan sparsam data vara mycket indikativ.

Tillgänglighet

Oxfordforskarna har inkapslat projektets funktionalitet i en Google-liknande sökmotor som kan laddas ner och installeras på en lokal maskin via Docker (även om installationsanvisningarna för maj 2021-papperet för närvarande innehåller föråldrad information för en Docker-verktygskrav, vilket kan hindra processen).

Det finns uppenbarligen ingen live online-version som täcker genomförandet av projektet över alla tre datamängder, även om resultaten för BBC-nyhetsdatamängden kan fritt undersökas på http://zeus.robots.ox.ac.uk/bbc_search/.