Un ‘détective’ IA peut identifier des personnes obscures à partir de plusieurs sources

Les chercheurs de l’Université d’Oxford ont développé un système basé sur l’IA qui peut identifier de manière exhaustive les personnes dans les vidéos en menant des enquêtes multi-domaines, similaires à celles d’un détective, pour déterminer qui elles pourraient être, en fonction du contexte et de diverses sources secondaires publiques disponibles, y compris la correspondance de sources audio avec du matériel visuel provenant d’Internet.

Bien que la recherche se concentre sur l’identification de personnalités publiques, telles que les personnes apparaissant dans les programmes de télévision et les films, le principe de déduction d’identité à partir du contexte est théoriquement applicable à quiconque dont le visage, la voix ou le nom apparaît dans des sources en ligne.

En effet, la publication définit la célébrité non seulement comme les professionnels du spectacle, les chercheurs déclarant « Nous désignons les personnes ayant de nombreuses images d’elles-mêmes en ligne comme célèbres ».

Dans le vidéo

Les chercheurs du groupe de géométrie visuelle de l’Université d’Oxford décrivent l’approche d’enquête humaine qui a inspiré le travail:

‘Imaginez que vous regardez une vidéo et rencontrez une nouvelle personne. Pour l’identifier avec confiance, vous chercheriez d’abord des indices de son nom, soit dans la vidéo, comme du texte sur l’écran, son nom étant mentionné dans la parole, ou dans une liste de membres de la distribution provenant d’un archive Internet. Vous pourriez ensuite trouver des preuves pour vérifier que ce nom est correct, en recherchant la personne en ligne.’

La méthodologie proposée par la publication est entièrement automatisée et élimine tout étiquetage manuel supplémentaire (à l’exception de celui effectué par les fournisseurs de sources en ligne). Le système a également été prouvé pour fonctionner bien sur trois ensembles de données sans rapport entre eux sans nécessiter d’adaptation de domaine.

En discutant de l’application du travail, les chercheurs notent la croissance exponentielle des données vidéo non étiquetées et opaques, et la nécessité de nouveaux systèmes capables de dériver des informations d’identité sans annotations humaines coûteuses:

‘[La] taille considérable des données, couplée à un manque de métadonnées pertinentes, rend l’indexation, l’analyse et la navigation de ce contenu de plus en plus difficile. S’appuyer sur des annotations humaines supplémentaires n’est plus réalisable, et sans moyen efficace de naviguer dans ces vidéos, cette banque de connaissances est en grande partie inaccessible.’

Un moteur d’indexation de ce type ouvre la possibilité de liens de résultats de recherche qui arrivent directement à un point de la vidéo où le sujet de recherche apparaît, comme le démontre la preuve de concept de la recherche Web fournie par le projet.

Le système d’Oxford permet une recherche d’instances d’une personne identifiée. Le résultat de la recherche amène le spectateur directement au point de la vidéo où la personne identifiée apparaît, et la vidéo peut ensuite être lue à partir de ce point. Source: https://www.robots.ox.ac.uk/~vgg/research/person_id_in_video/

L’une des façons dont le système identifie des personnes « obscures » est par le contexte de leur association avec d’autres personnes. Par conséquent, le moteur de recherche est bien équipé pour rechercher plusieurs identités apparaissant dans la même vidéo:

Poissons gros et petits

Le système aborde initialement les « fruits faciles » – les personnes dont les visages sont si bien indexés dans les ressources de réseau public que les identifier est relativement trivial, en faisant correspondre les métadonnées ou le texte OCR dans les vidéos avec des ressources de données publiques telles que les listes IMDB. Le texte interprété par l’IA dans les légendes de vidéo, les crédits et d’autres formes de texte rasterisé dans la vidéo est également utilisé pour effectuer l’identification.

Les noms de candidats pour la recherche peuvent être découverts automatiquement par le système, sur la base de la reconnaissance optique des caractères (OCR) du texte rasterisé, ou du texte réel dans d’autres sources, telles que les listes de distribution. Ainsi, les personnes peuvent être indexées automatiquement sans aucune requête préalable exécutée sur leurs noms par des utilisateurs individuels, et sans participation préalable aux réseaux sociaux basés sur l’IA. Source: https://www.robots.ox.ac.uk/~vgg/publications/2021/Brown21/brown21.pdf

Lorsque des images et des vidéos faciales confirmant l’identité de la personne sont écrasantes, l’enquête confirme une identité. Mais lorsque la personne est plus obscure, d’autres méthodes sont utilisées, notamment les enregistrements audio provenant des pistes vidéo, qui peuvent être utilisés comme confirmation de corroboration d’une identité. Même si cela n’est pas couvert dans le travail, il est logique qu’il n’y a rien pour empêcher un cadre de ce type d’utiliser également des sources audio pures ainsi que des composants audio dans la vidéo.

Un panopticon d’identité auto-propagé

En plus de générer des noms de candidats à partir de texte rasterisé ou pur, les technologies de reconnaissance vocale sont utilisées dans le projet d’Oxford pour reconnaître les noms qui ne sont que prononcés dans le contenu audio. Ainsi, une identité peut être initialisée par une ou deux personnes qui mentionnent simplement une troisième personne qui n’est pas présente.

La sauvegarde que le projet d’Oxford introduit est que le candidat doit apparaître dans la base de données IMDB, mais supprimer cette exigence arbitraire élargit considérablement la portée potentielle des capacités du système, car il repose entièrement sur des ressources pouvant être scrapées sur le Web.

Par conséquent, avec une combinaison de sources, y compris des noms dérivés du texte raster, du texte réel, des mentions basées sur la parole et d’un matériel visuel très limité, il devient possible d’identifier des individus ayant une faible présence sur le réseau.

Techniquement, il devient également possible de constituer un profil d’un individu auquel aucune image ou vidéo n’a encore été associée, mais à qui une image ou une vidéo peut éventuellement être attachée lorsque d’autres facteurs se corréleront à une nouvelle source vidéo ingérée.

Jeu de données de test

Les chercheurs ont utilisé trois ensembles de données pour évaluer l’efficacité du système: MediaEval, qui présente des ressources de médias sociaux dérivées de Creative Commons et de la communauté (y compris Wikipedia et Flickr) capturées entre 2010-2015; l’ensemble de données Sherlock de 2017 du groupe d’Oxford, qui présente des données vidéo annotées de l’adaptation moderne de la série Conan Doyle; et un nouvel ensemble de données de vidéos BBC créé spécifiquement pour le projet, qui utilise des extraits de vidéos d’actualité annotés de la BBC.

Le système réussit dans un large éventail d’environnements de jeu de données, y compris les occasions où le visage est occulté par des reflets ou l’obscurité.

Le processus utilise également les classements de recherche d’images en direct.

Les résultats du système ont produit une grande précision sur les trois modèles. Dans le cas de l’ensemble de données Sherlock, les chercheurs ont été surpris de constater que le nouveau système améliore de 3 à 6 % une méthode précédente qui utilisait des machines à vecteurs de support (SVM) dans un classificateur multi-voies, même si le classificateur de plus proche voisin utilisé dans le nouveau travail est un outil moins puissant.

Implications

La plupart des contraintes éthiques ou pratiques du projet d’Oxford sont auto-imposées par les chercheurs, comme la définition de la « célébrité » par l’exigence que les identités découvertes aient une présence dans l’IMDB, et en testant le système uniquement contre des ensembles de données académiques établis qui respectent les licences Creative Commons.

Cependant, l’architecture essentielle du projet décrit une méthode générique pour identifier non seulement des personnes « obscures » ayant une faible ou aucune présence visuelle sur Internet (puisqu’une simple mention d’un nom peut engendrer un jeton d’identité qui peut être développé au fil du temps si nécessaire), mais également pour créer une matrice d’individus qui est alimentée par rien d’autre que la curiosité récursive et mécanique, plutôt que par la demande ou par la présence explicite de données étiquetées (telles que des téléchargements de photos sur les réseaux sociaux qui contiennent des métadonnées PII).

Le projet n’utilise pas de données de géolocalisation ou d’autres formes de métadonnées largement disponibles qui pourraient être trouvées dans des documents corroboraux, tels que des informations de localisation géographique intégrées par défaut dans les téléchargements sur les réseaux sociaux (lorsque ceux-ci ne sont pas supprimés en tant que préférence utilisateur). Cependant, il n’y a pas d’obstacle apparent à l’utilisation de telles dimensions de données supplémentaires pour renforcer le processus de corroboration.

Alors que le projet d’Oxford élimine les valeurs aberrantes (identités ayant presque aucune présence, en plus de ne pas être répertoriées dans l’IMDB) d’une manière courante dans les projets d’apprentissage automatique, une quantité minimale d’informations peut plus efficacement identifier une personne inconnue que si une quantité plus importante d’informations représentatives à son sujet était disponible. Si les valeurs aberrantes sont exactement ce que vous recherchez (c’est-à-dire des individus ayant peu de traces sur le réseau), les données rares peuvent être très indicatives.

Disponibilité

Les chercheurs d’Oxford ont encapsulé la fonctionnalité du projet dans un moteur de recherche similaire à Google qui peut être téléchargé et installé sur une machine locale via Docker (bien que les instructions d’installation pour le document de mai 2021 contiennent des informations obsolètes pour une exigence d’outils Docker, ce qui peut entraver le processus).

Il n’y a apparemment pas de version en ligne qui couvre la mise en œuvre du projet sur les trois ensembles de données, bien que les résultats pour l’ensemble de données d’actualité BBC puissent être librement interrogés à l’adresse http://zeus.robots.ox.ac.uk/bbc_search/.