Deepfakes Dapat Mengelabui Banyak API ‘Liveness’ Wajah Utama

Kolaborasi penelitian baru antara Amerika Serikat dan Cina telah menyelidiki kerentanan beberapa sistem autentikasi berbasis wajah terbesar di dunia terhadap deepfakes, dan menemukan bahwa sebagian besar dari mereka rentan terhadap serangan deepfake yang sedang berkembang.

Penelitian ini melakukan intrusi berbasis deepfake menggunakan kerangka kustom yang diterapkan terhadap sistem Verifikasi Kehidupan Wajah (FLV) yang umum disediakan oleh vendor besar, dan dijual sebagai layanan kepada klien hilir seperti maskapai penerbangan dan perusahaan asuransi.

Dari makalah, gambaran tentang cara kerja API Verifikasi Kehidupan Wajah (FLV) di seluruh penyedia utama. Sumber: https://arxiv.org/pdf/2202.10673.pdf

Verifikasi Kehidupan Wajah dimaksudkan untuk melawan penggunaan teknik seperti serangan gambar musuh, penggunaan topeng dan video yang telah direkam sebelumnya, yang disebut “wajah master”, dan bentuk lain dari penipuan identitas visual.

Studi ini menyimpulkan bahwa jumlah modul deteksi deepfake yang terbatas yang diterapkan dalam sistem ini, yang melayani jutaan pelanggan, jauh dari tidak dapat diatasi, dan mungkin telah dikonfigurasikan pada teknik deepfake yang sekarang sudah ketinggalan zaman, atau mungkin terlalu spesifik arsitektur.

Para penulis mencatat:

‘Metode deepfake yang berbeda juga menunjukkan variasi di seluruh vendor yang berbeda…Tanpa akses ke rincian teknis vendor FLV target, kami berspekulasi bahwa variasi tersebut disebabkan oleh langkah pertahanan yang diterapkan oleh vendor yang berbeda. Misalnya, vendor tertentu mungkin menerapkan pertahanan terhadap serangan deepfake tertentu.’

Dan melanjutkan:

‘Sebagian besar API FLV tidak menggunakan deteksi anti-deepfake; bahkan bagi mereka yang memiliki pertahanan tersebut, efektivitasnya memprihatinkan (misalnya, mungkin mendeteksi video sintetis berkualitas tinggi tetapi gagal mendeteksi video berkualitas rendah).’

Peneliti mengamati, dalam hal ini, bahwa ‘otentikasi’ adalah relatif:

‘[Bahkan] jika video sintetis tidak nyata bagi manusia, masih dapat melewati mekanisme deteksi anti-deepfake saat ini dengan tingkat keberhasilan yang sangat tinggi.’

Di atas, contoh gambar deepfake yang dapat mengautentikasi dalam eksperimen penulis. Di bawah, gambar palsu yang jauh lebih realistis yang gagal mengautentikasi.

Temuan lain adalah bahwa konfigurasi saat ini dari sistem verifikasi wajah generik bias terhadap pria kulit putih. Akibatnya, identitas perempuan dan non-kulit putih ditemukan lebih efektif dalam melewati sistem verifikasi, sehingga pelanggan dalam kategori tersebut berisiko lebih tinggi terkena serangan berbasis deepfake.

Laporan menemukan bahwa identitas pria kulit putih paling ketat dan akurat dinilai oleh API verifikasi kehidupan wajah yang populer. Dalam tabel di atas, kita lihat identitas perempuan dan non-kulit putih dapat lebih mudah digunakan untuk melewati sistem.

Makalah tersebut mengamati bahwa ‘terdapat bias dalam [Verifikasi Kehidupan Wajah], yang dapat membawa risiko keamanan yang signifikan bagi sekelompok orang tertentu.’

Penulis juga melakukan serangan autentikasi wajah etis terhadap pemerintah Cina, maskapai penerbangan Cina besar, salah satu perusahaan asuransi jiwa terbesar di Cina, dan R360, salah satu grup investasi unicorn terbesar di dunia, dan melaporkan keberhasilan dalam melewati penggunaan API mereka.

Dalam kasus bypass autentikasi yang sukses untuk maskapai penerbangan Cina, API hilir memerlukan pengguna untuk ‘menggelengkan kepala’ sebagai bukti terhadap bahan deepfake potensial, tetapi ini terbukti tidak berhasil terhadap kerangka yang dirancang oleh peneliti, yang menggabungkan enam arsitektur deepfake.

Meskipun penilaian maskapai terhadap gerakan menggelengkan kepala pengguna, konten deepfake dapat melewati tes.

Makalah tersebut mencatat bahwa penulis telah menghubungi vendor yang terlibat, yang telah mengakui pekerjaan tersebut.

Penulis menawarkan serangkaian rekomendasi untuk perbaikan dalam keadaan saat ini dari seni Verifikasi Kehidupan Wajah, termasuk meninggalkan autentikasi berbasis gambar tunggal (‘Image-based FLV’), di mana autentikasi didasarkan pada satu frame dari umpan kamera pengguna; pembaruan yang lebih fleksibel dan komprehensif dari sistem deteksi deepfake di seluruh domain gambar dan suara; mengharuskan autentikasi berbasis suara dalam video pengguna disinkronkan dengan gerakan bibir (yang sekarang tidak umum); dan mengharuskan pengguna melakukan gerakan dan gestur yang saat ini sulit untuk direproduksi oleh sistem deepfake (misalnya, tampilan profil dan pengaburan sebagian wajah).

Makalah tersebut berjudul Seeing is Living? Rethinking the Security of Facial Liveness Verification in the Deepfake Era, dan berasal dari penulis utama Changjiang Li dan Li Wang, dan lima penulis lain dari Pennsylvania State University, Zhejiang University, dan Shandong University.

Sasaran Utama

Peneliti menargetkan ‘enam vendor Verifikasi Kehidupan Wajah (FLV) yang paling representatif’, yang telah dianonimkan dengan kriptonim dalam penelitian.

Vendor tersebut diwakili sebagai berikut: ‘BD’ dan ‘TC’ mewakili penyedia konglomerat dengan jumlah panggilan API wajah terbesar, dan bagian terbesar dari layanan awan AI Cina; ‘HW’ adalah ‘salah satu vendor dengan pasar awan publik terbesar di Cina’; ‘CW’ memiliki tingkat pertumbuhan tercepat dalam penglihatan komputer, dan mencapai posisi pasar terdepan’; ‘ST’ adalah salah satu vendor penglihatan komputer terbesar; dan ‘iFT’ termasuk dalam salah satu vendor perangkat lunak AI terbesar di Cina.

Data dan Arsitektur

Data yang mendasari proyek ini termasuk dataset 625.537 gambar dari inisiatif Cina CelebA-Spoof, bersama dengan video langsung dari dataset SiW-M Michigan State University 2019.

Semua eksperimen dilakukan pada server yang menampilkan dua CPU Intel Xeon E5-2640 v4 2,40GHz yang berjalan pada 256 GB RAM dengan HDD 4TB, dan empat GPU NVIDIA 1080Ti yang diorkestrasi, untuk total 44GB VRAM operasional.

Enam dalam Satu

Kerangka yang dirancang oleh penulis makalah disebut LiveBugger, dan menggabungkan enam kerangka deepfake mutakhir yang ditujukan pada empat pertahanan utama dalam sistem FLV.

LiveBugger mengandung pendekatan deepfake yang beragam, dan berfokus pada empat vektor serangan utama dalam sistem FLV.

Enam kerangka deepfake yang digunakan adalah: Oxford University’s 2018 X2Face; kolaborasi akademis AS ICface; dua variasi proyek Israel 2019 FSGAN; metode First Order Method Model (FOMM) dari awal 2020; dan kolaborasi Microsoft Research Universitas Peking FaceShifter (meskipun FaceShifter tidak open source, penulis harus merekonstruksinya berdasarkan rincian arsitektur yang dipublikasikan).

Metode yang digunakan di antara kerangka ini termasuk penggunaan video pra-render yang subjek video palsu melakukan tindakan yang telah diekstrak dari persyaratan autentikasi API dalam modul evaluasi sebelumnya dari LiveBugger, dan juga penggunaan ‘boneka deepfake’ yang efektif, yang menerjemahkan gerakan langsung seseorang menjadi aliran deepfake yang telah dimasukkan ke dalam aliran webcam yang diambil alih.

Contoh dari yang terakhir adalah DeepFaceLive, yang diperkenalkan musim panas lalu sebagai program tambahan untuk DeepFaceLab populer, untuk memungkinkan streaming deepfake waktu nyata, tetapi yang tidak termasuk dalam penelitian penulis.

Menghadapi Empat Vektor

Empat vektor serangan dalam sistem FLV tipikal adalah: FLV berbasis gambar, yang menggunakan foto tunggal yang disediakan pengguna sebagai token autentikasi terhadap ID wajah yang ada dalam sistem; FLV berbasis kesunyian, yang memerlukan pengguna mengunggah klip video; FLV berbasis tindakan, yang memerlukan pengguna melakukan tindakan yang ditentukan oleh platform; dan FLV berbasis suara, yang mencocokkan pola ucapan pengguna yang dipicu dengan entri basis data sistem untuk pola ucapan pengguna.

Tantangan pertama bagi sistem adalah menetapkan seberapa jauh API akan mengungkapkan persyaratan, karena mereka kemudian dapat diprediksi dan disesuaikan dalam proses deepfaking. Ini ditangani oleh Mesin Kecerdasan dalam LiveBugger, yang mengumpulkan informasi tentang persyaratan dari dokumentasi API yang tersedia secara publik dan sumber lain.

Karena persyaratan yang dipublikasikan mungkin tidak ada (karena berbagai alasan) dari rutinitas API yang sebenarnya, Mesin Kecerdasan menggabungkan probe yang mengumpulkan informasi implisit berdasarkan hasil panggilan API eksplorasi. Dalam proyek penelitian, ini difasilitasi oleh API ‘uji coba’ resmi offline yang disediakan untuk kepentingan pengembang, dan juga oleh relawan yang menawarkan untuk menggunakan akun langsung mereka untuk pengujian.

Mesin Kecerdasan mencari bukti mengenai apakah API saat ini menggunakan pendekatan tertentu yang dapat berguna dalam serangan. Fitur ini termasuk deteksi kohesi, yang memeriksa apakah bingkai dalam video adalah kontinu secara waktu – persyaratan yang dapat ditetapkan dengan mengirim bingkai video yang teracak dan mengamati apakah ini menyumbang ke kegagalan autentikasi.

Modul ini juga mencari Deteksi Bahasa Bibir, di mana API mungkin memeriksa apakah suara dalam video disinkronkan dengan gerakan bibir pengguna (jarang terjadi – lihat ‘Hasil’ di bawah).

Hasil

Penulis menemukan bahwa semua enam API yang dievaluasi tidak menggunakan deteksi kohesi pada saat eksperimen, yang memungkinkan mesin deepfaker dalam LiveBugger untuk hanya menjahit audio sintetis dengan video deepfake, berdasarkan materi yang disumbangkan oleh relawan.

Namun, beberapa aplikasi hilir (yaitu, pelanggan dari kerangka API) ditemukan telah menambahkan deteksi kohesi ke dalam proses, yang memerlukan perekaman video yang disesuaikan untuk melewati ini.

Penulis juga menemukan bahwa hanya beberapa vendor API menggunakan deteksi bahasa bibir; bagi sebagian besar dari mereka, video dan audio dianalisis sebagai kuantitas yang terpisah, dan tidak ada fungsionalitas yang mencoba untuk mencocokkan gerakan bibir dengan audio yang disediakan.

Hasil yang beragam yang mencakup berbagai teknik palsu yang tersedia dalam LiveBugger terhadap berbagai vektor serangan dalam API FLV. Angka yang lebih tinggi menunjukkan tingkat keberhasilan yang lebih besar dalam menembus FLV menggunakan teknik deepfake. Tidak semua API mencakup semua pertahanan FLV yang mungkin; misalnya, beberapa tidak menawarkan pertahanan apa pun terhadap deepfakes, sementara yang lain tidak memeriksa apakah gerakan bibir dan audio cocok dalam video pengguna selama autentikasi.

Kesimpulan

Hasil dan indikasi makalah untuk masa depan API FLV sangat rumit, dan penulis telah menggabungkannya menjadi ‘arsitektur kerentanan’ fungsional yang dapat membantu pengembang FLV memahami beberapa masalah yang ditemukan.

Jaringan rekomendasi makalah tentang kerentanan yang ada dan potensial dari rutinitas identifikasi video berbasis wajah terhadap serangan deepfake.

Rekomendasi tersebut mencatat:

‘Risiko keamanan FLV secara luas ada di banyak aplikasi dunia nyata, dan dengan demikian mengancam keamanan jutaan pengguna akhir’

Penulis juga mengamati bahwa penggunaan FLV berbasis tindakan ‘marginal’, dan bahwa meningkatkan jumlah tindakan yang harus dilakukan pengguna ‘tidak dapat membawa keuntungan keamanan’.

Penulis lebih lanjut mencatat bahwa menggabungkan pengenalan suara dan pengenalan wajah temporal (dalam video) adalah pertahanan yang tidak berguna kecuali penyedia API mulai meminta bahwa gerakan bibir disinkronkan dengan audio.

Makalah ini datang dalam cahaya peringatan FBI baru-baru ini kepada bisnis tentang bahaya penipuan deepfake, hampir setahun setelah peringatan mereka tentang penggunaan teknologi dalam operasi pengaruh asing, dan ketakutan umum bahwa teknologi deepfake langsung akan memfasilitasi gelombang kejahatan baru pada publik yang masih mempercayai arsitektur keamanan autentikasi video.

Ini masih hari-hari awal deepfake sebagai permukaan serangan autentikasi; pada 2020, $35 juta dolar telah diekstrak secara curang dari bank di UAE dengan menggunakan teknologi audio deepfake, dan seorang eksekutif Inggris juga ditipu untuk membayar $243.000 pada 2019.

Dipublikasikan pertama kali pada 23 Februari 2022.