Un ‘Detective’ AI Può Identificare Persone Oscuri Da Molteplici Fonti

I ricercatori dell’Università di Oxford hanno sviluppato un sistema abilitato dall’intelligenza artificiale che può identificare in modo completo le persone nei video conducendo indagini simili a quelle di un detective, su più domini, per scoprire chi potrebbero essere, dal contesto e da una varietà di fonti secondarie pubblicamente disponibili, incluse la corrispondenza di fonti audio con materiale visivo da internet.

Sebbene la ricerca si concentri sull’identificazione di personaggi pubblici, come le persone che appaiono in programmi televisivi e film, il principio di inferire l’identità dal contesto è teoricamente applicabile a chiunque la cui faccia, voce o nome appaia in fonti online.

In effetti, la relazione definisce la fama non limitata ai lavoratori dello spettacolo, con i ricercatori che dichiarano ‘Denotiamo le persone con molte immagini di se stessi online come famose‘.

Direttamente In Video

I ricercatori, del Visual Geometry Group del Dipartimento di Scienza dell’Ingegneria di Oxford, delineano l’approccio investigativo umano che ha ispirato il lavoro:

‘Immagina di stare guardando un video e di incontrare una nuova persona. Per identificarla con fiducia, cercheresti prima indizi del suo nome nel video, come testo sullo schermo, il suo nome menzionato nel discorso o in un elenco di membri del cast da un archivio internet. Potresti poi trovare alcune prove per verificare che questo nome sia corretto, cercando la persona online.’

La metodologia proposta dal documento è completamente automatizzata ed elimina tutte le etichette manuali aggiuntive (scontando quelle eseguite dai fornitori delle fonti online). Il sistema è stato anche provato a funzionare bene su tre set di dati non correlati senza la necessità di adattamento di dominio.

Discutendo l’applicazione del lavoro, i ricercatori notano la crescita esponenziale dei dati video non etichettati e opachi e la necessità di nuovi sistemi che possano derivare informazioni sull’identità senza costose annotazioni guidate dall’uomo:

‘[La] scala dei dati, unita alla mancanza di metadati rilevanti, rende l’indicizzazione, l’analisi e la navigazione di questo contenuto un compito sempre più difficile. Fare affidamento su annotazioni manuali aggiuntive non è più fattibile e senza un modo efficace per navigare questi video, questa banca di conoscenze è in gran parte inaccessibile.’

Un motore di indicizzazione di questa natura apre la possibilità per i collegamenti ipertestuali dei risultati di ricerca che arrivano direttamente a un punto nel video in cui il soggetto della ricerca appare, come dimostrato nella prova di concetto della ricerca web fornita dal progetto.

Il sistema di Oxford consente di cercare istanze di una persona identificata. Il risultato della ricerca porta l’utente direttamente al punto nel video in cui la persona identificata appare e il video può essere riprodotto da quel punto. Source: https://www.robots.ox.ac.uk/~vgg/research/person_id_in_video/

Uno dei modi in cui il sistema identifica le persone ‘oscure’ è attraverso il contesto della loro associazione con altri. Di conseguenza, il motore di ricerca è ben attrezzato per cercare più identità che appaiono nello stesso video:

Pesci Grossi E Pesci Piccoli

Il sistema affronta inizialmente il ‘frutto a portata di mano’ – le persone le cui facce sono così ben indicate in risorse di rete pubbliche che identificarle è relativamente banale, corrispondendo i metadati o il testo OCR nei video con risorse di dati pubblici come le liste di IMDB. Il testo interpretato dall’AI nei sottotitoli dei video, nei crediti e in altre forme di testo rasterizzato nei video è anche sfruttato per effettuare l’identificazione.

I nomi dei candidati per la ricerca possono essere scoperti automaticamente dal sistema, sulla base del riconoscimento ottico dei caratteri (OCR) del testo rasterizzato o del testo effettivo in altre fonti, come le liste dei cast. Pertanto, le persone possono essere indicate automaticamente senza che vengano eseguite query precedenti sui loro nomi da parte degli utenti finali e senza partecipazione precedente a reti sociali abilitate all’AI. Source: https://www.robots.ox.ac.uk/~vgg/publications/2021/Brown21/brown21.pdf

Quando le immagini e i video di rete confermano l’identità della persona, l’indagine conferma un’identità. Ma quando la persona è più oscura, vengono utilizzati altri metodi, tra cui l’audio tratto dalle tracce video, che può essere utilizzato come conferma dell’identità. Sebbene non trattato nel lavoro, logicamente non c’è nulla che impedisca a un framework di questo tipo di utilizzare anche fonti audio pure oltre che componenti audio nei video.

Un Panopticon Di Identità Auto-Propagante

Oltre a generare nomi di candidati da testo rasterizzato o puro, le tecnologie di riconoscimento vocale vengono utilizzate nel progetto di Oxford per riconoscere i nomi che sono semplicemente pronunciati in contenuti audio. Pertanto, un’identità può essere inizializzata da una o due persone che semplicemente menzionano una terza persona che non è presente.

La salvaguardia che il progetto di Oxford introduce è che il candidato deve apparire nel database di IMDB, ma rimuovere questa condizione arbitraria allarga notevolmente la portata potenziale delle capacità del sistema, poiché si basa interamente su risorse web-scrapable.

Pertanto, con una combinazione di fonti che includono nomi derivati da testo raster, testo reale, menzioni basate su parlato e materiale visivo molto limitato, diventa possibile identificare individui con una bassa presenza di rete.

Tecnicamente, diventa anche possibile costruire un profilo di un individuo a cui non è ancora stata associata un’immagine o un video, ma a cui può essere associata un’immagine o un video quando altri fattori si correlano a una nuova fonte video ingerita.

Set Di Dati Di Test

I ricercatori hanno utilizzato tre set di dati per valutare l’efficacia del sistema: MediaEval, che presenta risorse di media sociali derivate da Creative Commons e comunità (inclusi Wikipedia e Flickr) catturate tra il 2010-2015; il set di dati Sherlock del gruppo di Oxford del 2017, che presenta dati video annotati dalla popolare versione moderna di BBC di Conan Doyle; e un nuovo set di dati di video BBC creato specificamente per il progetto, che utilizza vari dati di notizie annotate della BBC.

Il sistema ha successo in un’ampia gamma di ambienti di set di dati, inclusi quelli in cui il viso è oscurato da riflessi o oscurità.

Il processo utilizza anche le classifiche di ricerca di immagini live.

I risultati per il sistema hanno prodotto un’elevata accuratezza su tutti e tre i modelli. Nel caso del set di dati di Sherlock, i ricercatori sono stati sorpresi di trovare che il nuovo sistema ha migliorato del 3-6% rispetto a un metodo precedente che utilizzava macchine vettoriali di supporto (SVM) in un classificatore multi-via, anche se il classificatore del vicino più vicino utilizzato nel nuovo lavoro è uno strumento meno potente.

Implicazioni

La maggior parte delle limitazioni etiche o pratiche nel progetto di Oxford sono auto-imposte dai ricercatori, come la definizione di ‘fama’ per la presenza nel database di IMDB e la prova del sistema solo contro set di dati accademici stabiliti che rispettano la licenza Creative Commons.

Tuttavia, l’architettura essenziale del progetto descrive un metodo generico non solo per identificare individui ‘oscuri’ che hanno una bassa o zero presenza visiva su internet (poiché una semplice menzione di un nome può generare un token di identità che può essere sviluppato nel tempo come necessario), ma per creare una matrice di individui guidata da nulla più che curiosità ricorsiva e meccanica, piuttosto che da domanda o dalla presenza esplicita di dati etichettati (come upload di foto su social media che contengono metadati PII).

Il progetto non utilizza dati di geolocalizzazione o altre forme di metadati ampiamente disponibili che potrebbero essere trovati in documenti corroborenti, come le informazioni sulla posizione geografica incorporate per default negli upload sui social media (dove queste non vengono rimosse come preferenza dell’utente). Tuttavia, non c’è alcun ostacolo apparente all’utilizzo di tali dimensioni aggiuntive di dati per rafforzare il processo di corroborazione.

Mentre il progetto di Oxford pota gli outlier (identità che hanno quasi zero presenza, oltre a non essere elencate nel database di IMDB) in un modo che è comune nei progetti di apprendimento automatico, tali informazioni minimali possono più efficacemente identificare una persona sconosciuta di quanto non accadrebbe se fossero disponibili maggiori informazioni rappresentative su di loro. Se gli outlier sono esattamente ciò che si sta cercando (ad esempio, individui con un’impronta di rete limitata), i dati sparsi possono essere altamente indicativi.

Disponibilità

I ricercatori di Oxford hanno incorporato la funzionalità del progetto in un motore di ricerca simile a Google che può essere scaricato e installato su una macchina locale tramite Docker (sebbene le istruzioni di installazione per la relazione di maggio 2021 contengano attualmente informazioni obsolete per un requisito degli strumenti Docker, il che può ostacolare il processo).

Non sembra esserci una versione live online che copra l’implementazione del progetto su tutti e tre i set di dati, sebbene i risultati per il set di dati della BBC possano essere liberamente interrogati all’indirizzo http://zeus.robots.ox.ac.uk/bbc_search/.