Ein ‘Detective’-KI-System kann unklare Personen aus mehreren Quellen identifizieren

Forscher an der Universität Oxford haben ein KI-gestütztes System entwickelt, das Personen in Videos umfassend identifizieren kann, indem es detektivähnliche, mehrdomänenübergreifende Untersuchungen durchführt, um herauszufinden, wer sie sein könnten, aus dem Kontext und aus einer Vielzahl öffentlich zugänglicher sekundärer Quellen, einschließlich der Abgleichung von Audioquellen mit visuellem Material aus dem Internet.

Obwohl die Forschung sich auf die Identifizierung von öffentlichen Figuren konzentriert, wie Personen, die in Fernsehprogrammen und Filmen auftreten, ist das Prinzip der Identifizierung aus dem Kontext theoretisch auf jeden anwendbar, dessen Gesicht, Stimme oder Name in Online-Quellen erscheint.

Tatsächlich definiert die Studie den Begriff “Berühmtheit” nicht nur auf Showbusiness-Mitarbeiter, da die Forscher erklären: “Wir bezeichnen Menschen mit vielen Bildern von sich selbst im Internet als berühmt“.

Straight To Video

Die Forscher von der Visual Geometry Group der Universität Oxford erläutern den menschenähnlichen investigativen Ansatz, der ihre Arbeit inspiriert hat:

‘Stellen Sie sich vor, Sie schauen ein Video und treffen auf eine neue Person. Um sie mit Sicherheit zu identifizieren, würden Sie zunächst nach Hinweisen auf ihren Namen suchen, wie Text auf dem Bildschirm, ihren Namen, der in der Sprache erwähnt wird, oder in einer Liste der Cast-Mitglieder aus einem Internet-Archiv. Sie könnten dann einige Beweise finden, um zu überprüfen, ob dieser Name korrekt ist, indem Sie die Person online suchen.’

Die von der Studie vorgeschlagene Methode ist vollständig automatisiert und eliminiert alle zusätzlichen manuellen Markierungen (mit Ausnahme derer, die von den Anbietern der Online-Quellen durchgeführt wurden). Das System wurde auch bewiesen, um gut auf drei unabhängige Datensätze ohne die Notwendigkeit einer Domänenanpassung zu funktionieren.

Bei der Diskussion über die Anwendung der Arbeit bemerken die Forscher das exponentielle Wachstum unmarkierter, undurchsichtiger Videodaten und die Notwendigkeit neuer Systeme, die Identitätsinformationen aus ihnen ableiten können, ohne teure menschliche Annotationen:

‘[Die] enorme Menge an Daten, kombiniert mit einem Mangel an relevanten Metadaten, macht es immer schwieriger, diesen Inhalt zu indexieren, zu analysieren und zu navigieren. Die Abhängigkeit von zusätzlichen, manuellen menschlichen Annotationen ist nicht mehr machbar, und ohne eine effektive Möglichkeit, diese Videos zu navigieren, ist diese Wissensbasis größtenteils unzugänglich.’

Ein Indexierungsmotor dieser Art eröffnet die Möglichkeit für Suchergebnisse, die direkt an einem Punkt im Video ankommen, an dem das Suchthema erscheint, wie es in der Proof-of-Concept-Web-Suche des Projekts demonstriert wird.

Das Oxford-System ermöglicht die Suche nach Instanzen einer identifizierten Person. Das Suchergebnis führt den Betrachter direkt an den Punkt im Video, an dem die identifizierte Person erscheint, und das Video kann dann von diesem Punkt abgespielt werden.  Quelle: https://www.robots.ox.ac.uk/~vgg/research/person_id_in_video/

Eine der Möglichkeiten, wie das System “unklare” Personen identifiziert, ist durch den Kontext ihrer Assoziation mit anderen. Folglich ist die Suchmaschine gut ausgestattet, um nach mehreren Identitäten zu suchen, die im selben Video erscheinen:

Big And Little Fish

Das System geht zunächst auf die “leichten Ziele” los – Personen, deren Gesichter so gut in öffentlichen Netzwerkressourcen indiziert sind, dass ihre Identifizierung relativ trivial ist, indem Metadaten oder OCR-Text in Videos gegen öffentliche Datenquellen wie IMDB-Listen abgeglichen werden. Auch AI-interpretierter Text in Video-Untertiteln, Credits und anderen Formen von Raster-Text in Videos wird genutzt, um die Identifizierung zu erleichtern.

Kandidaten-Namen für die Suche können automatisch vom System entdeckt werden, basierend auf der optischen Zeichenerkennung (OCR) von Raster-Text oder von tatsächlichem Text in anderen Quellen, wie Cast-Listen. So können Personen automatisch indiziert werden, ohne dass vorherige Abfragen gegen ihre Namen von einzelnen Endbenutzern durchgeführt wurden und ohne vorherige Teilnahme an KI-gestützten sozialen Netzwerken. Quelle: https://www.robots.ox.ac.uk/~vgg/publications/2021/Brown21/brown21.pdf

Wo überwältigende Netzdaten und Videobilder die Identität der Person bestätigen, bestätigt die Untersuchung eine Identität. Wo die Person jedoch unklarer ist, werden andere Methoden eingesetzt, einschließlich Audio-Aufnahmen aus Videospuren, die als Bestätigung einer Identität verwendet werden können. Obwohl dies in der Arbeit nicht behandelt wird, gibt es logisch nichts, was eine solche Rahmenbedingung daran hindern würde, auch reine Audioquellen sowie Audio-Komponenten in Videos zu nutzen.

A Self-Propagating Identity Panopticon

Zusätzlich zur Generierung von Kandidaten-Namen aus Raster-Text oder reinem Text werden in dem Oxford-Projekt Spracherkennungstechnologien eingesetzt, um Namen zu erkennen, die lediglich gesprochen werden in Audio-Inhalten. So kann eine Identität initialisiert werden, indem eine oder zwei Personen lediglich eine dritte Person erwähnen, die nicht anwesend ist.

Die Sicherheitsvorkehrung, die das Oxford-Projekt einführt, besteht darin, dass der Kandidat in der IMDB-Datenbank erscheinen muss, aber die Entfernung dieser willkürlichen Voraussetzung erweitert den potenziellen Umfang der Systemfähigkeiten erheblich, da es sich ausschließlich auf web-suchbare Ressourcen verlässt.

Daher wird es mit einer Kombination von Quellen, einschließlich Namen, die aus Raster-Text, echtem Text, sprachbasierten Erwähnungen und sehr begrenztem visuellem Material abgeleitet werden, möglich, Personen zu identifizieren, die eine geringe visuelle Netzpräsenz haben.

Technisch gesehen wird es auch möglich, ein Profil einer Person zu erstellen, mit der noch kein Bild oder Video in Verbindung gebracht wurde, aber zu der ein Bild oder Video später hinzugefügt werden kann, wenn andere Faktoren mit einer neu aufgenommenen Videoquelle korrelieren.

Test-Datensätze

Die Forscher verwendeten drei Datensätze, um die Wirksamkeit des Systems zu bewerten: MediaEval, der Creative-Commons-soziale Medien abgeleitete und Community-Bildressourcen (einschließlich Wikipedia und Flickr) zwischen 2010-2015 umfasst; die eigene Sherlock-Datensammlung der Oxford-Gruppe von 2017, die annotierte Videodaten aus der beliebten modernen BBC-Adaption des Conan-Doyle-Charakters enthält; und eine neue BBC-Videos-Datensammlung, die speziell für das Projekt erstellt wurde und verschiedene annotierte Nachrichtenfilme der BBC verwendet.

Das System funktioniert erfolgreich in einer Vielzahl von Datensatzumgebungen, einschließlich solcher, in denen das Gesicht durch Reflexionen oder Dunkelheit verdeckt ist.

Der Prozess nutzt auch Live-Bildsuchrankings.

Die Ergebnisse für das System zeigten eine hohe Genauigkeit über die drei Modelle hinweg. Im Fall der Sherlock-Datensammlung waren die Forscher überrascht, dass das neue System 3-6% besser war als eine vorherige Methode, die Support-Vektor-Maschinen (SVMs) in einem Multi-Way-Klassifizierer verwendete, obwohl der nächste Nachbarn-Klassifizierer, der in der neuen Arbeit verwendet wurde, ein weniger leistungsfähiges Werkzeug ist.

Implikationen

Die meisten ethischen oder praktischen Einschränkungen im Oxford-Projekt sind selbst auferlegt durch die Forscher, wie die Definition von “Berühmtheit” durch die Anforderung, dass die entdeckten Identitäten eine Präsenz in der IMDB haben, und durch die Erprobung des Systems ausschließlich gegen etablierte akademische Datensätze, die Creative-Commons-Lizenzen respektieren.

Die wesentliche Architektur des Projekts zeigt jedoch eine generische Methode, um nicht nur “unklare” Individuen zu identifizieren, die eine geringe oder keine visuelle Präsenz im Internet haben (da eine bloße Erwähnung eines Namens ein Identitätstoken spawnen kann, das im Laufe der Zeit entwickelt werden kann), sondern auch eine Matrix von Individuen zu erstellen, die von nichts anderem getrieben wird als rekursiver und mechanistischer Neugier, anstatt von Nachfrage oder von der expliziten Präsenz von markierten Daten (wie soziale Medien-Foto-Uploads, die PII-Metadaten enthalten).

Das Projekt verwendet keine Geodaten oder andere Formen von weit verbreiteten Metadaten, die in beitragenden Beweisdokumenten gefunden werden könnten, wie geografische Standortinformationen, die standardmäßig in Uploads zu sozialen Medien eingebettet sind (wenn diese nicht als Benutzervorliebe entfernt werden). Es gibt jedoch keinen offensichtlichen Hindernis, diese zusätzlichen Daten dimensionen zu verwenden, um den Beweisprozess zu stärken.

Wo die Oxford-Studie Ausreißer (Identitäten, die fast keine Präsenz haben, zusätzlich zu denen, die nicht in der IMDB aufgeführt sind) in einer Weise beschneidet, die in maschinellen Lernprojekten üblich ist, kann diese minimale Information tatsächlich effektiver eine unbekannte Person identifizieren als wenn eine größere Menge repräsentativer Informationen über sie verfügbar wäre. Wenn Ausreißer genau das sind, wonach man sucht (d. h. Individuen mit geringem Netzwerk-Fußabdruck), kann sparse Daten sehr aussagekräftig sein.

Verfügbarkeit

Die Oxford-Forscher haben die Funktionalität des Projekts in eine Google-ähnliche Suchmaschine eingekapselt, die auf einem lokalen Computer über Docker heruntergeladen und installiert werden kann (obwohl die Installationsanweisungen für den Mai 2021-Paper derzeit veraltete Informationen für eine Docker-Tools-Anforderung enthalten, die den Prozess behindern kann).

Es gibt offensichtlich keine live Online-Version, die die Implementierung des Projekts über alle drei Datensätze abdeckt, obwohl die Ergebnisse für die BBC-Nachrichten-Datensammlung kostenlos bei http://zeus.robots.ox.ac.uk/bbc_search/ abgefragt werden können.