Een ‘Detective’ AI kan obscure personen identificeren uit meerdere bronnen

Onderzoekers van de Universiteit van Oxford hebben een AI-geactiveerd systeem ontwikkeld dat mensen in video’s kan identificeren door middel van een detective-achtige, multidomeinonderzoek naar wie ze zouden kunnen zijn, vanuit de context en vanuit een verscheidenheid aan openbaar beschikbare secundaire bronnen, waaronder het matchen van audiosources met visueel materiaal van het internet.

Hoewel het onderzoek zich richt op de identificatie van publieke figuren, zoals mensen die in televisieprogramma’s en films verschijnen, is het principe van het afleiden van identiteit uit context theoretisch toepasbaar op iedereen wiens gezicht, stem of naam in online bronnen verschijnt.

In feite definieert het onderzoeksrapport ‘roem’ niet alleen als showbusinesswerkers, maar verklaren de onderzoekers ‘Wij duiden mensen aan met veel afbeeldingen van zichzelf online als beroemd‘.

Rechtstreeks naar video

De onderzoekers van de Visual Geometry Group van de afdeling Engineering Science van Oxford schetsen de menselijke onderzoeksbenadering die het werk heeft geïnspireerd:

‘Stel je voor dat je een video bekijkt en een nieuwe persoon tegenkomt. Om hen met vertrouwen te identificeren, zou je eerst naar aanwijzingen van hun naam zoeken in de video, zoals tekst op het scherm, hun naam die in spraak wordt genoemd, of in een lijst van castleden van een internetarchief. Je zou dan mogelijk enige bewijs vinden om te verifiëren dat deze naam correct is, door de persoon online te zoeken.’

De door het rapport voorgestelde methode is volledig geautomatiseerd en elimineert alle extra handmatige labeling (met uitzondering van die welke is uitgevoerd door de aanbieders van de online bronnen). Het systeem werkte ook goed over drie ongerelateerde datasets zonder enige noodzaak voor domeinadaptatie.

De onderzoekers bespreken de toepassing van het werk en noteren de exponentiële groei van ongelabelde, ondoorzichtige videodata en de noodzaak voor nieuwe systemen die identiteitsinformatie uit deze data kunnen afleiden zonder dure menselijke annotaties:

‘[De] enorme omvang van de data, in combinatie met een gebrek aan relevante metadata, maakt het indexeren, analyseren en navigeren van deze inhoud een steeds moeilijker taak. Het vertrouwen op extra, handmatige menselijke annotatie is niet langer haalbaar, en zonder een effectieve manier om deze video’s te navigeren, is deze kennisbank grotendeels ontoegankelijk.’

Een indexeringssysteem van deze aard opent de mogelijkheid voor zoekresultaten die rechtstreeks naar een punt in de video leiden waar de zoekonderwerp verschijnt, zoals wordt gedemonstreerd in de proof-of-concept-websuche die door het project wordt geboden.

Het Oxford-systeem laat een zoekopdracht toe voor instanties van een geïdentificeerde persoon. Het zoekresultaat leidt de kijker rechtstreeks naar het punt in de video waar de geïdentificeerde persoon verschijnt, en de video kan vanaf dat punt worden afgespeeld. Bron: https://www.robots.ox.ac.uk/~vgg/research/person_id_in_video/

Een van de manieren waarop het systeem ‘obscure’ personen identificeert, is door de context van hun associatie met anderen. Daarom is de zoekmachine goed uitgerust om meerdere identiteiten te zoeken die in dezelfde video verschijnen:

Grote en kleine vissen

Het systeem richt zich eerst op de ‘lage hangende vruchten’ – personen wiens gezichten zo goed geïndexeerd zijn in openbare netwerkbronnen dat identificatie relatief triviaal is, door metadata of OCR-tekst in video’s te matchen met openbare gegevensbronnen zoals IMDB-lijsten. AI-geïnterpreteerde tekst in video-onderdelen, credits en andere vormen van gerasterde tekst in video’s wordt ook gebruikt om de identificatie te maken.

Kandidaatnamen voor zoekopdrachten kunnen automatisch worden ontdekt door het systeem, op basis van optische tekenherkenning (OCR) van gerasterde tekst of van daadwerkelijke tekst in andere bronnen, zoals castlijsten. Zo kunnen personen automatisch worden geïndexeerd zonder dat eerst zoekopdrachten tegen hun namen zijn uitgevoerd door individuele eindgebruikers, en zonder dat ze eerder hebben deelgenomen aan AI-geactiveerde sociale netwerken. Bron: https://www.robots.ox.ac.uk/~vgg/publications/2021/Brown21/brown21.pdf

Waar overweldigende netwerkbeelden en video’s de identiteit van de persoon bevestigen, bevestigt het onderzoek de identiteit. Maar waar de persoon meer obscure is, worden andere methoden gebruikt, waaronder audiotracks uit video’s, die als bevestiging van een identiteit kunnen worden gebruikt. Hoewel dit niet in het onderzoek wordt behandeld, is er logischerwijs niets dat verhindert dat een kader van deze aard ook zuivere audiosources gebruikt, evenals audio-onderdelen in video’s.

Een zelf-propagerend identiteitspanopticon

Naast het genereren van kandidaatnamen uit gerasterde of zuivere tekst, worden spraakherkenningstechnologieën in het Oxford-project gebruikt om namen te herkennen die alleen worden uitgesproken in audio-inhoud. Zo kan een identiteit worden geïnitialiseerd door één of twee personen die een derde persoon noemen die niet aanwezig is.

Het veiligheidsmechanisme dat het Oxford-project introduceert, is dat de kandidaat moet verschijnen in de IMDB-database, maar het verwijderen van deze willekeurige voorwaarde breidt de potentiële reikwijdte van de systeemcapaciteiten aanzienlijk uit, aangezien het volledig afhankelijk is van web-schraapbare bronnen.

Daarom wordt het, met een combinatie van bronnen, waaronder namen die zijn afgeleid van gerasterde tekst, echte tekst, spraak-gebaseerde vermeldingen en zeer beperkt visueel materiaal, mogelijk om individuen te identificeren met een lage visuele netwerkaanwezigheid.

Technisch gezien wordt het ook mogelijk om een profiel van een individu op te bouwen waaraan nog geen afbeelding of video is gekoppeld, maar waaraan een afbeelding of video kan worden toegevoegd wanneer andere factoren correleren met een nieuw geïntegreerde videosource.

Testdatasets

De onderzoekers gebruikten drie datasets om de effectiviteit van het systeem te evalueren: MediaEval, die Creative Commons-social media-afgeleide en community-afbeeldingen bevat (inclusief Wikipedia en Flickr) die tussen 2010-2015 zijn vastgelegd; de eigen Sherlock-dataset van de Oxford-groep uit 2017, die geannoteerde videodata bevat van de populaire moderne BBC-bewerking van de Conan Doyle-klassieke karakter; en een nieuwe BBC-videodataset die specifiek voor het project is gemaakt, die gebruikmaakt van geannoteerde nieuwsbeelden van de BBC.

Het systeem slaagt in een breed scala aan dataset-omgevingen, waaronder situaties waarin het gezicht wordt afgedekt door reflecties of duisternis.

Het proces maakt ook gebruik van live afbeeldingszoekresultaten.

De resultaten voor het systeem toonden een hoge nauwkeurigheid over de drie modellen. In het geval van de Sherlock-dataset waren de onderzoekers verrast om te vinden dat het nieuwe systeem 3-6% beter presteerde dan een eerdere methode die gebruikmaakte van ondersteuningsvector-machines (SVM’s) in een multi-way-classificator, zelfs als de dichtstbijzijnde buur-classificator die in het nieuwe werk werd gebruikt een minder krachtig instrument is.

Implicaties

De meeste ethische of praktische beperkingen in het Oxford-project zijn door de onderzoekers zelf opgelegd, zoals het definiëren van ‘roem’ door de eis dat de ontdekte identiteiten een aanwezigheid in de IMDB hebben, en door het systeem alleen te testen tegen gevestigde academische datasets die Creative Commons-licenties respecteren.

De essentiële architectuur van het project toont echter een generieke methode om niet alleen ‘obscure’ individuen te identificeren die een lage of nul visuele aanwezigheid op internet hebben (aangezien een enkele vermelding van een naam een identiteitstoken kan creëren dat in de loop van de tijd kan worden ontwikkeld), maar om daadwerkelijk een matrix van individuen te creëren die wordt aangedreven door niets meer dan recursieve en mechanische nieuwsgierigheid, in plaats van door vraag, of door de expliciete aanwezigheid van gelabelde data (zoals social media-foto-uploads die PII-metadata bevatten).

Het project maakt geen gebruik van geolocatiegegevens of andere vormen van breed beschikbare metadata die in bijdragende bevestigende documenten kunnen worden gevonden, zoals geografische locatie-informatie die standaard is ingesloten in uploads naar social media (waar deze niet zijn verwijderd als gebruikersvoorkeur). Er is echter geen zichtbare obstakel om dergelijke extra dimensies van gegevens te gebruiken om het bevestigingsproces te versterken.

Waar het Oxford-project outliert (identiteiten die bijna nul aanwezigheid hebben, naast het feit dat ze niet in de IMDB zijn opgenomen) op een manier die gebruikelijk is in machine learning-projecten, kan deze minimale informatie meer effectief een onbekende persoon identificeren dan zou gebeuren als een grotere hoeveelheid representatieve informatie over hen beschikbaar was. Als outliert (individuen met weinig netwerkaanwezigheid) exact zijn wat je zoekt, kan schaarse data zeer indicatief zijn.

Beschikbaarheid

De Oxford-onderzoekers hebben de functionaliteit van het project omgezet in een Google-achtige zoekmachine die kan worden gedownload en op een lokale machine kan worden geïnstalleerd via Docker (hoewel de installatie-instructies voor het artikel van mei 2021 momenteel verouderde informatie bevatten voor een Docker Tools-vereiste, wat het proces kan hinderen).

Er is blijkbaar geen live online-versie die de implementatie van het project over alle drie datasets dekt, hoewel de resultaten voor de BBC-nieuwsdataset vrij kunnen worden ondervraagd op http://zeus.robots.ox.ac.uk/bbc_search/.