Bir 'Dedektif' Yapay Zekası, Bilinmeyen Kişileri Birden Çok Kaynaktan Tespit Edebilir

Oxford Üniversitesi'ndeki araştırmacılar, bağlamdan ve çeşitli halka açık ikincil kaynaklardan kim olabileceklerine dair dedektif benzeri, çok alanlı araştırmalar yürüterek videolardaki kişileri kapsamlı bir şekilde tanımlayabilen yapay zeka özellikli bir sistem geliştirdi. ses kaynaklarının internetten görsel materyallerle eşleştirilmesi.

Araştırma, televizyon programlarında ve filmlerde yer alan kişiler gibi tanınmış kişilerin kimliğini belirlemeye odaklansa da, bağlamdan kimlik çıkarma ilkesi teorik olarak yüzü, sesi veya adı çevrimiçi kaynaklarda görünen herkes için geçerlidir.

Gerçekten de, kağıt Şöhret tanımı, araştırmacıların 'İnternette kendilerine ait pek çok görüntüye sahip insanları şu şekilde tanımlıyoruz: ünlü'.

Doğrudan Videoya

Oxford'un Mühendislik Bilimleri Bölümü'ndeki Görsel Geometri Grubundan araştırmacılar, çalışmaya ilham veren insan tarzı araştırma yaklaşımını şöyle özetliyor:

'Bir video izlediğinizi ve yeni biriyle tanıştığınızı hayal edin. Onları güvenle teşhis etmek için, önce ekrandaki metin, konuşmada adlarının geçmesi gibi videoda veya bir internet arşivindeki oyuncular listesinde isimlerinin ipuçlarını ararsınız. Daha sonra, kişiyi çevrimiçi arayarak bu ismin doğru olduğunu doğrulamak için bazı kanıtlar bulabilirsiniz.'

Makale tarafından önerilen metodoloji tamamen otomatiktir ve tüm ek manuel etiketlemeyi ortadan kaldırır (çevrimiçi kaynakların sağlayıcıları tarafından gerçekleştirilenlerin tümü iskonto edilir). Sistemin ayrıca herhangi bir etki alanı uyarlamasına ihtiyaç duymadan ilgisiz üç veri kümesinde iyi çalıştığı kanıtlanmıştır.

Çalışmanın uygulanmasını tartışan araştırmacılar, etiketlenmemiş, opak video verilerinin üstel büyümesine ve pahalı insan liderliğindeki ek açıklamalar olmadan bunlardan kimlik bilgileri türetebilen yeni sistemlere duyulan ihtiyaç olduğuna dikkat çekiyor:

"[Verilerin] katıksız ölçeği, ilgili üstveri eksikliğiyle birleştiğinde, bu içeriği dizine eklemeyi, analiz etmeyi ve gezinmeyi giderek daha zor bir görev haline getiriyor. Ek, manuel insan açıklamalarına güvenmek artık mümkün değil ve bu videolarda gezinmenin etkili bir yolu olmadan, bu bilgi bankasına büyük ölçüde erişilemez.'

Bu tür bir indeksleme motoru, proje tarafından sağlanan konsept kanıtı web aramasında gösterildiği gibi, videoda arama konusunun göründüğü bir noktaya doğrudan ulaşan arama sonucu köprüleri olasılığını açar.

Oxford sistemi, tanımlanmış bir kişinin örneklerini aramaya izin verir. Arama sonucu, izleyiciyi doğrudan videoda tanımlanan kişinin göründüğü noktaya götürür ve ardından video bu noktadan oynatılabilir.. Kaynak: https://www.robots.ox.ac.uk/~vgg/research/person_id_in_video/

Sistemin 'belirsiz' insanları tanımlama yollarından biri, onların başkalarıyla ilişkilerinin bağlamıdır. Sonuç olarak, arama motoru, aynı videoda görünen birden çok kimliği aramak için iyi bir donanıma sahiptir:

Büyük Ve Küçük Balık

Sistem, başlangıçta 'düşük asılı meyve' ile mücadele eder - yüzleri halka açık ağ kaynaklarında o kadar iyi dizine eklenmiş ki, onları tanımlamak nispeten önemsizdir, videolardaki meta verileri veya OCR'lenmiş metni IMDB gibi genel veri kaynaklarıyla eşleştirerek. listeler. Video altyazılarında yapay zeka tarafından yorumlanan metin, krediler ve videodaki diğer rasterleştirilmiş metin biçimleri de tanımlama yapmak için kullanılır.

Arama için aday adları, rasterleştirilmiş metnin optik karakter tanımasına (OCR) veya döküm listeleri gibi diğer kaynaklardaki gerçek metne dayalı olarak sistem tarafından otomatik olarak keşfedilebilir. Böylece kişiler, bireysel son kullanıcılar tarafından adlarına karşı önceden herhangi bir sorgulama yapılmadan ve yapay zeka özellikli sosyal ağlara önceden katılım olmaksızın otomatik olarak dizine eklenebilir. Kaynak: https://www.robots.ox.ac.uk/~vgg/publications/2021/Brown21/brown21.pdf

Ağa bakan çok sayıda resim ve videonun kişinin kimliğini doğruladığı durumlarda, soruşturma bir kimliği doğrular. Ancak kişinin daha belirsiz olduğu durumlarda, bir kimliğin doğrulanması olarak kullanılabilecek video parçalarından alınan ses de dahil olmak üzere başka yöntemler kullanılır. Çalışmada kapsanmasa da, mantıksal olarak, videoda ses bileşenlerinin yanı sıra saf ses kaynaklarının da kullanıldığı bu tür bir çerçeveyi durduracak hiçbir şey yoktur.

Kendi Kendini Çoğaltan Bir Kimlik Panoptikonu

Rasterleştirilmiş veya saf metinden aday adlar oluşturmaya ek olarak, Oxford projesinde konuşma tanıma teknolojileri yalnızca konuşulan ses içeriğinde. Böylece bir kimlik, bir veya iki kişinin yalnızca mevcut olmayan üçüncü bir kişiden bahsetmesiyle başlatılabilir.

Oxford projesinin getirdiği güvence, adayın IMDB veritabanında görünmesi gerektiğidir, ancak bu keyfi şartın kaldırılması, tamamen web'den çıkarılabilir kaynaklara dayandığından, sistemin yeteneklerinin potansiyel kapsamını önemli ölçüde genişletir.

Bu nedenle, raster metinden türetilen adlar, gerçek metin, konuşmaya dayalı sözler ve çok sınırlı görsel malzeme içeren kaynakların bir kombinasyonu ile, düşük görsel ağ varlığına sahip kişileri belirlemek mümkün hale gelir.

Teknik olarak, henüz hiçbir görüntü veya video çekiminin ilişkilendirilmediği, ancak yeni alınan bir video kaynağıyla diğer faktörler ilişkili olduğunda bir görüntü veya videonun eklenebileceği bir kişinin profilini oluşturmak da mümkün hale gelir.

Test Veri Kümeleri

Araştırmacılar, sistemin etkinliğini değerlendirmek için üç veri seti kullandılar: Medya Değerlendirmesi2010-2015 yılları arasında yakalanan Creative Commons sosyal medyadan türetilen ve topluluk görüntü kaynaklarını (Wikipedia ve Flickr dahil) içeren; Oxford grubunun kendi 2017'si Sherlock veri kümesiConan Doyle klasik karakterinin günümüzün popüler BBC uyarlamasından açıklamalı video verilerini içeren; ve BBC'den çeşitli açıklamalı haber görüntülerini kullanan, proje için özel olarak oluşturulmuş yeni bir BBC video veri seti.

Sistem, yüzün yansımalar veya karanlık tarafından kapatıldığı durumlar da dahil olmak üzere çok çeşitli veri kümesi ortamlarında başarılı olur.

Süreç ayrıca canlı görüntü arama sıralamalarını da kullanır.

Sistemin sonuçları üç modelde de yüksek doğruluk üretti. Sherlock veri seti örneğinde araştırmacılar, yeni sistemin, en yakın komşu sınıflandırıcının kullanılmasına rağmen, çok yönlü bir sınıflandırıcıda destek vektör makinelerini (SVM'ler) kullanan önceki bir yönteme göre %3-6 oranında geliştiğini gördüklerinde şaşırdılar. yeni çalışma daha az güçlü bir araçtır.

Etkileri

Oxford projesindeki etik veya pratik kısıtlamaların çoğu, keşfedilen kimliklerin IMDB'de bulunması gerekliliğiyle 'şöhret'i tanımlamak ve sistemi yalnızca yerleşik akademik veri setlerine karşı test etmek gibi araştırmacılar tarafından kendi kendine empoze edilir. Creative Commons lisanslamasına saygı gösterin.

Bununla birlikte, projenin temel mimarisi, yalnızca internette düşük veya sıfır görsel varlığa sahip 'belirsiz' bireyleri tanımlamaya yönelik genel bir yöntemi tasvir etmekle kalmaz (çünkü bir ismin yalnızca belirtilmesi, zaman içinde geliştirilebilecek bir kimlik belirtecini doğurabilir. gerekli), ancak talepten veya etiketlenmiş verilerin (PII meta verilerini içeren sosyal medya fotoğraf yüklemeleri gibi) açık mevcudiyetinden ziyade yinelemeli ve mekanik meraktan başka bir şey tarafından yönlendirilmeyen bir bireyler matrisi oluşturmak.

Proje, coğrafi konum verilerini veya varsayılan olarak sosyal medyaya yapılan yüklemelere gömülü coğrafi konum bilgileri gibi (bunların bir kullanıcı tercihi olarak çıkarılmadığı durumlarda) destekleyici belgelere katkıda bulunabilecek diğer yaygın olarak bulunan meta veri biçimlerini kullanmaz. Bununla birlikte, doğrulama sürecini güçlendirmek için bu tür ekstra veri boyutlarının kullanılmasının önünde görünür bir engel yoktur.

Oxford projesi aykırı değerleri (IMDB'de listelenmemenin yanı sıra neredeyse sıfır varlığa sahip kimlikler) makine öğrenimi projelerinde yaygın olan bir şekilde budamasına rağmen, bu tür minimum bilgiler, bilinmeyen bir kişiyi, bir onlar hakkında daha yüksek miktarda temsili bilgi mevcuttu. Aykırı değerler tam olarak aradığınız şeyse (yani ağda çok az yer kaplayan bireyler), seyrek veriler oldukça gösterge niteliğinde olabilir.

Uygunluk

Oxford araştırmacıları, projenin işlevselliğini, Docker aracılığıyla yerel bir makineye indirilip yüklenebilen Google benzeri bir arama motoruna sığdırdılar (yine de Mayıs 2021 makalesinin yükleme talimatları şu anda bir Docker Araçları gereksinimi için güncel olmayan bilgiler içeriyor). süreci engelleyebilir).

Görünüşe göre projenin üç veri setinin tamamında uygulanmasını kapsayan canlı bir çevrimiçi sürüm yok, ancak BBC haber veri setinin sonuçları şu adreste serbestçe sorgulanabiliyor: http://zeus.robots.ox.ac.uk/bbc_search/.