AI 'Detektif' Dapat Mengidentifikasi Orang-Orang yang Tidak Jelas Dari Berbagai Sumber

Para peneliti di Universitas Oxford telah mengembangkan sistem berkemampuan AI yang dapat secara komprehensif mengidentifikasi orang-orang dalam video dengan melakukan investigasi multi-domain seperti detektif tentang siapa mereka, dari konteks, dan dari berbagai sumber sekunder yang tersedia untuk umum, termasuk pencocokan sumber audio dengan materi visual dari internet.

Meskipun penelitian berpusat pada identifikasi figur publik, seperti orang yang muncul dalam program televisi dan film, prinsip menyimpulkan identitas dari konteks secara teoretis berlaku untuk siapa saja yang wajah, suaranya, atau namanya muncul di sumber online.

Memang, dokumen definisi ketenaran sendiri tidak terbatas pada pekerja bisnis pertunjukan, dengan para peneliti menyatakan 'Kami menunjukkan orang-orang dengan banyak gambar diri mereka secara online sebagai terkenal'.

Langsung ke Video

Para peneliti, dari Oxford's Visual Geometry Group di Department of Engineering Science, menguraikan pendekatan investigasi gaya manusia yang telah mengilhami karya tersebut:

'Bayangkan Anda sedang menonton video dan bertemu orang baru. Untuk mengidentifikasi mereka dengan percaya diri, pertama-tama Anda akan mencari petunjuk nama mereka baik di video seperti teks di layar, nama mereka disebutkan dalam ucapan, atau di daftar pemeran dari arsip internet. Anda kemudian dapat menemukan beberapa bukti untuk memverifikasi bahwa nama ini benar, dengan mencari orang tersebut secara online.'

Metodologi yang diusulkan oleh makalah ini sepenuhnya otomatis, dan menghilangkan semua pelabelan manual tambahan (mengurangi semua yang dilakukan oleh penyedia sumber online). Sistem ini juga terbukti bekerja dengan baik di tiga kumpulan data yang tidak terkait tanpa memerlukan adaptasi domain.

Membahas penerapan karya tersebut, para peneliti mencatat pertumbuhan eksponensial dari data video buram tanpa label, dan kebutuhan akan sistem baru yang dapat memperoleh informasi identitas dari mereka tanpa anotasi yang dipimpin manusia yang mahal:

'Skala data yang besar, ditambah dengan kurangnya metadata yang relevan, membuat pengindeksan, analisis, dan navigasi konten ini menjadi tugas yang semakin sulit. Mengandalkan tambahan, anotasi manual manusia tidak lagi layak, dan tanpa cara yang efektif untuk menavigasi video ini, sebagian besar pengetahuan ini tidak dapat diakses.'

Mesin pengindeksan seperti ini membuka kemungkinan untuk hyperlink hasil pencarian yang tiba langsung pada titik di video tempat subjek pencarian muncul, seperti yang ditunjukkan dalam pencarian web proof-of-concept yang disediakan oleh proyek.

Sistem Oxford memungkinkan pencarian contoh orang yang teridentifikasi. Hasil pencarian membawa pemirsa langsung ke titik di video tempat orang yang teridentifikasi muncul, dan video kemudian dapat diputar dari titik tersebut. Sumber: https://www.robots.ox.ac.uk/~vgg/research/person_id_in_video/

Salah satu cara sistem mengidentifikasi orang yang 'tidak jelas' adalah dengan konteks hubungan mereka dengan orang lain. Oleh karena itu, mesin telusur dilengkapi dengan baik untuk menelusuri beberapa identitas yang muncul dalam video yang sama:

Ikan Besar Dan Kecil

Sistem awalnya menangani 'buah yang menggantung rendah' ​​- orang-orang yang wajahnya diindeks dengan sangat baik dalam sumber daya jaringan yang menghadap publik sehingga mengidentifikasi mereka relatif sepele, dengan mencocokkan metadata atau teks OCR dalam video dengan sumber daya data publik seperti IMDB daftar. Teks yang ditafsirkan AI dalam teks video, kredit, dan bentuk teks raster lainnya dalam video juga dimanfaatkan untuk membuat identifikasi.

Nama kandidat untuk pencarian dapat ditemukan secara otomatis oleh sistem, berdasarkan pengenalan karakter optik (OCR) dari teks raster, atau teks sebenarnya di sumber lain, seperti daftar pemeran. Dengan demikian, orang dapat diindeks secara otomatis tanpa kueri sebelumnya terhadap nama mereka oleh pengguna akhir individu, dan tanpa partisipasi sebelumnya dalam jejaring sosial yang mendukung AI. Sumber: https://www.robots.ox.ac.uk/~vgg/publications/2021/Brown21/brown21.pdf

Ketika gambar dan video yang menghadap ke internet mengkonfirmasi identitas orang tersebut, penyelidikan menegaskan identitas. Namun jika orang tersebut lebih tidak jelas, digunakan metode lain, termasuk audio yang diambil dari trek video, yang dapat digunakan sebagai konfirmasi identitas yang menguatkan. Meskipun tidak tercakup dalam pekerjaan, secara logis tidak ada yang menghentikan kerangka kerja seperti ini yang juga memanfaatkan sumber audio murni serta komponen audio dalam video.

Panoptikon Identitas yang Menyebarkan Diri

Selain menghasilkan nama kandidat dari teks raster atau murni, teknologi pengenalan ucapan digunakan dalam proyek Oxford untuk mengenali nama yang hanya lisan dalam konten audio. Dengan demikian sebuah identitas dapat diinisialisasi oleh satu atau dua orang hanya dengan menyebutkan orang ketiga yang tidak hadir.

Perlindungan yang diperkenalkan oleh proyek Oxford adalah bahwa kandidat harus muncul dalam database IMDB, tetapi menghapus ketentuan yang sewenang-wenang ini memperluas cakupan potensial dari kemampuan sistem secara signifikan, karena sepenuhnya bergantung pada sumber daya web-scrapable.

Oleh karena itu, dengan kombinasi sumber termasuk nama yang berasal dari teks raster, teks asli, penyebutan berbasis ucapan, dan materi visual yang sangat terbatas, menjadi mungkin untuk mengidentifikasi individu dengan kehadiran jaringan visual yang rendah.

Secara teknis, juga menjadi mungkin untuk membangun profil individu yang belum dikaitkan dengan gambar atau rekaman video, tetapi kepada siapa gambar atau video akhirnya dapat dilampirkan ketika faktor lain berkorelasi dengan sumber video yang baru diserap.

Uji Dataset

Para peneliti menggunakan tiga kumpulan data untuk mengevaluasi keefektifan sistem: Pertengahan, yang menampilkan sumber daya turunan media sosial dan gambar komunitas Creative Commons (termasuk Wikipedia dan Flickr) yang diambil antara 2010-2015; kelompok Oxford sendiri 2017 Kumpulan data Sherlock, yang menampilkan data video beranotasi dari adaptasi BBC modern populer dari karakter klasik Conan Doyle; dan kumpulan data video BBC baru yang dibuat khusus untuk proyek tersebut, yang menggunakan berbagai cuplikan berita beranotasi dari BBC.

Sistem ini berhasil di berbagai lingkungan kumpulan data, termasuk kejadian di mana wajah terhalang oleh pantulan atau kegelapan.

Prosesnya juga menggunakan peringkat pencarian gambar langsung.

Hasil dari sistem ini menghasilkan akurasi yang tinggi pada ketiga model. Dalam kasus kumpulan data Sherlock, para peneliti terkejut menemukan bahwa sistem baru ini meningkat 3-6% dibandingkan metode sebelumnya yang menggunakan mesin vektor dukungan (SVM) dalam pengklasifikasi multi-arah, meskipun pengklasifikasi tetangga terdekat digunakan dalam pengklasifikasian multi-arah. pekerjaan baru adalah alat yang kurang ampuh.

Implikasi

Sebagian besar kendala etis atau praktis dalam proyek Oxford dipaksakan sendiri oleh para peneliti, seperti mendefinisikan 'ketenaran' dengan persyaratan bahwa identitas yang ditemukan ada di IMDB, dan dengan menguji sistem hanya terhadap kumpulan data akademik yang sudah mapan yang menghormati lisensi Creative Commons.

Namun, arsitektur penting dari proyek ini menggambarkan metode generik untuk tidak hanya mengidentifikasi individu 'tidak jelas' yang memiliki kehadiran visual rendah atau nol di internet (karena hanya dengan menyebutkan nama dapat menghasilkan token identitas yang dapat dikembangkan seiring waktu. diperlukan), tetapi untuk benar-benar membuat matriks individu yang didorong tidak lebih dari keingintahuan rekursif dan mekanistik, bukan oleh permintaan, atau oleh kehadiran eksplisit data berlabel (seperti unggahan foto media sosial yang berisi metadata PII).

Proyek tidak menggunakan data geolokasi, atau bentuk lain dari metadata yang tersedia secara luas yang mungkin ditemukan dalam dokumen pendukung yang berkontribusi, seperti informasi lokasi geografis yang disematkan secara default dalam unggahan ke media sosial (jika ini tidak dilucuti sebagai preferensi pengguna). Namun, tidak ada halangan yang jelas untuk menggunakan dimensi data tambahan tersebut untuk memperkuat proses yang menguatkan.

Sementara proyek Oxford memangkas outlier (identitas yang hampir tidak ada keberadaannya, selain tidak terdaftar di IMDB) dengan cara yang umum dalam proyek pembelajaran mesin, informasi minimal seperti itu bisa dibilang lebih efektif mengidentifikasi orang yang tidak dikenal dibandingkan jika ada orang yang tidak dikenal. tersedia lebih banyak informasi representatif tentang mereka. Jika outlier adalah hal yang Anda cari (yaitu individu dengan jejak jaringan yang kecil), data yang jarang bisa menjadi sangat indikatif.

Ketersediaan

Para peneliti Oxford telah merangkum fungsionalitas proyek ke dalam mesin pencari mirip Google yang dapat diunduh dan dipasang di mesin lokal melalui Docker (walaupun petunjuk pemasangan untuk makalah Mei 2021 saat ini berisi informasi kedaluwarsa untuk persyaratan Alat Docker, yang dapat menghambat proses).

Tampaknya tidak ada versi online langsung yang mencakup implementasi proyek di ketiga kumpulan data, meskipun hasil untuk kumpulan data berita BBC dapat diinterogasi secara bebas di http://zeus.robots.ox.ac.uk/bbc_search/.