Bir ‘Tesditçi’ AI, Çeşitli Kaynaklardan Belirsiz Kişileri Tanıyabilir

Oxford Üniversitesi’nden araştırmacılar, insanların videolardaki yüzlerini, seslerini ve adlarını çeşitli kamu kaynaklarından karşılaştırarak kimliklerini belirleyebilen bir AI sistemini geliştirdiler.

Araştırmalar, televizyonda ve filmlerde görünen kamu人物lerinin kimliklerini belirleme üzerine odaklansa da, prensip olarak, yüzü, sesi veya adı internet kaynaklarında yer alan herkesin kimliğini belirlemek mümkündür.

Gerçekten de, makale kendi “ünlü” tanımını, sadece show business çalışanlarıyla sınırlı tutmuyor; araştırmacılar “Kendilerine ait birçok görüntü olan kişileri ünlü olarak adlandırdık” diyorlar.

Doğrudan Videoya

Araştırmacılar, Oxford’un Mühendislik Bilimi Bölümü’ndeki Görsel Geometri Grubu’ndan, insan benzeri bir araştırma yaklaşımını tanımladılar:

‘Bir video izliyorsunuz ve yeni bir kişiyle karşılaşıyorsunuz. Onu güvenle tanımlamak için, önce ekran上的 metin, konuşmada adı geçen veya internet arşivi’ndeki bir oyuncular listesinde adı geçen ipuçlarını ararsınız. Sonra, bu ismin doğru olduğunu doğrulamak için, kişiyi internette ararsınız.’

Sistem tamamen otomatik ve ekstra manuel etiketleme gerektirmez. Ayrıca, üç farklı veri setinde de iyi performans gösterdi.
Araştırmacılar, çalışmanın uygulanması hakkında konuştuğunda, etiketsiz ve şeffaf video verilerinin büyümesini ve bu verilerden kimlik bilgilerini çıkarmak için yeni sistemlere ihtiyaç olduğunu vurguladılar:

‘Verilerin büyüklüğü, ilgili meta verilerin eksikliği, bu içerikleri dizinlemek, analiz etmek ve gezinmek giderek daha zor bir görev haline geliyor. Ekstra manuel insan etiketlemesine güvenmek artık mümkün değil ve bu videolara etkili bir şekilde gezinme yolu olmadan, bu bilgi bankası büyük ölçüde erişilemez.’

Bu tür bir dizin motoru, arama sonuçlarında doğrudan video中的 bir noktaya ulaşma olanağı sunar.

Oxford sistemi, tanımlanan bir kişinin örneklerini arama olanağı sağlar. Arama sonucu, videodaki tanımlanan kişinin göründüğü noktaya doğrudan götürür ve video o noktadan oynatılabilir.. Kaynak: https://www.robots.ox.ac.uk/~vgg/research/person_id_in_video/

Sistem, bir kişinin diğerleriyle olan ilişkisi bağlamında da “belirsiz” kişileri tanımlayabiliyor.

Büyük ve Küçük Balıklar

Sistem ilk olarak, kamu kaynaklarında iyi indekslenen yüzleri olan kişileri ele alıyor. Bunlar, metadata veya videolardaki metinler karşılaştırılarak belirleniyor.

Arama için aday isimler, sistem tarafından optik karakter tanıma veya diğer kaynaklardaki metinler aracılığıyla otomatik olarak keşfedilebilir. Böylece, kişiler önceden bireysel kullanıcılar tarafından sorgulanmamış olsalar bile, otomatik olarak dizine eklenebilir. Kaynak: https://www.robots.ox.ac.uk/~vgg/publications/2021/Brown21/brown21.pdf

Kendini Yayan Kimlik Panoptikonu

Sistem, konuşulan isimleri tanımak için konuşma tanıma teknolojilerini de kullanıyor. Böylece, bir kişinin kimliği, yalnızca iki kişinin bir üçüncü kişiden bahsetmesiyle başlatılabilir.

Sistem, adayın IMDB veritabanında yer alması gerektiğini şart koşuyor, ancak bu şartı kaldırmak, sistemin yeteneklerini önemli ölçüde genişletiyor.

İşte bu şekilde, çeşitli kaynaklardan elde edilen isim, metin, konuşma ve sınırlı görsel materyallerle, düşük görsel ağ varlığına sahip bireyleri tanımlamak mümkün oluyor.

Test Veri Setleri

Araştırmacılar, sistemin etkinliğini değerlendirmek için üç veri setini kullandı: MediaEval, Sherlock ve BBC haber videolarından oluşan bir veri seti.

Sistem, çeşitli veri setlerinde başarılı oldu, hatta bazı durumlarda yüzleri kısmen gizleyen yansımalar veya karanlık koşullar altında da başarılı oldu.

Sistem, canlı görüntü arama sıralamalarını da kullanıyor.

Sonuçlar, üç modelde de yüksek doğruluk gösterdi. Özellikle Sherlock veri setinde, sistem önceki bir yönteme göre %3-6 daha iyi performans gösterdi.

Önemli Sonuçlar

Oxford projesinin büyük kısmı, araştırmacıların kendileri tarafından konulan etik veya pratik sınırlamalarla ilgilidir. Örneğin, “ünlü” olarak tanımlanan kişilerin IMDB’de yer alması gerektiği şartı gibi.

Projenin temel yapısı, “belirsiz” bireyleri tanımlamanın ötesinde, mekanik bir meraktan ziyade talebe veya etiketli verilere dayalı olarak, bir bireyler matrisi oluşturmayı amaçlıyor.

Proje, coğrafi konum verileri veya diğer metadata gibi bilgileri kullanmıyor, ancak bu tür verileri kullanarak tanımlama sürecini güçlendirmek mümkün.

Kullanılabilirlik

Oxford araştırmacıları, projenin işlevselliğini bir Google benzeri arama motoruna dönüştürdü ve bu motor Docker aracılığıyla yerel bir makineye indirilerek kurulabilir (ancak Mayıs 2021’de yayınlanan makaledeki kurulum talimatları, Docker Araçları gereksinimi için güncel değil ve bu süreçte engel teşkil edebilir).

Üç veri setinin tamamını kapsayan canlı bir çevrimiçi versiyon bulunmuyor, ancak BBC haber veri seti sonuçları http://zeus.robots.ox.ac.uk/bbc_search/ adresinden sorgulanabilir.