Serangan Adversarial Optik Dapat Mengubah Makna Rambu Lalu Lintas

Peneliti di AS telah mengembangkan serangan adversarial terhadap kemampuan sistem pembelajaran mesin untuk menafsirkan dengan benar apa yang mereka lihat – termasuk item kritis seperti rambu lalu lintas – dengan menyinari cahaya berpola ke objek dunia nyata. Dalam satu eksperimen, pendekatan ini berhasil menyebabkan makna rambu lalu lintas “BERHENTI” diubah menjadi rambu batas kecepatan “30mph”.

Gangguan pada rambu, dibuat dengan menyinari cahaya yang dirancang pada objek, mengubah bagaimana objek itu ditafsirkan dalam sistem pembelajaran mesin. Sumber: https://arxiv.org/pdf/2108.06247.pdf

Penelitian ini berjudul Serangan Adversarial Optik, dan berasal dari Universitas Purdue di Indiana.

Serangan Adversarial Optik (OPAD), seperti yang diusulkan dalam makalah ini, menggunakan iluminasi terstruktur untuk mengubah penampilan objek target, dan hanya memerlukan proyektor komoditas, kamera, dan komputer. Peneliti berhasil melakukan serangan putih dan hitam dengan menggunakan teknik ini.

Setup OPAD, dan gangguan minimal yang diperlukan untuk menyebabkan kesalahan klasifikasi.

Setup untuk OPAD terdiri dari proyektor ViewSonic 3600 Lumens SVGA, kamera Canon T6i, dan laptop komputer.

Serangan Kotak Hitam dan Terarah

Serangan putih adalah skenario yang tidak mungkin terjadi di mana penyerang memiliki akses langsung ke prosedur model pelatihan atau ke pemerintahan data input. Serangan hitam, di sisi lain, biasanya dirumuskan dengan menginferensi bagaimana sistem pembelajaran mesin disusun, atau setidaknya bagaimana sistem itu berperilaku, membuat model “bayangan”, dan mengembangkan serangan adversarial yang dirancang untuk bekerja pada model asli.

Di sini kita melihat jumlah gangguan visual yang diperlukan untuk menipu klasifikasi.

Dalam kasus terakhir, tidak diperlukan akses khusus, meskipun serangan tersebut sangat dibantu oleh ketersediaan perpustakaan dan basis data penglihatan komputer sumber terbuka dalam penelitian akademis dan komersial saat ini.

Semua serangan OPAD yang diuraikan dalam makalah baru ini adalah serangan “terarah”, yang secara khusus bertujuan untuk mengubah bagaimana objek tertentu ditafsirkan. Meskipun sistem ini juga telah terbukti mampu mencapai serangan abstrak dan umum, peneliti berpendapat bahwa penyerang di dunia nyata akan memiliki tujuan gangguan yang lebih spesifik.

Serangan OPAD hanya merupakan versi dunia nyata dari prinsip yang sering diteliti, yaitu menyuntikkan noise ke dalam gambar yang akan digunakan dalam sistem penglihatan komputer. Nilai dari pendekatan ini adalah bahwa seseorang dapat menyinari gangguan langsung ke objek target untuk memicu kesalahan klasifikasi, sedangkan memastikan bahwa gambar “Trojan horse” berakhir dalam proses pelatihan jauh lebih sulit untuk dicapai.

Dalam kasus di mana OPAD dapat memaksakan makna “kecepatan 30” pada rambu “BERHENTI” dalam dataset, gambar dasar diperoleh dengan menerangi objek secara seragam pada intensitas 140/255. Kemudian, iluminasi yang dikompensasi proyektor diterapkan sebagai serangan gradien turun yang diproyeksikan gradient descent attack.

Contoh serangan kesalahan klasifikasi OPAD.

Peneliti mengamati bahwa tantangan utama proyek ini telah menjadi kalibrasi dan pengaturan mekanisme proyektor sehingga mencapai “penipuan” yang bersih, karena sudut, optik, dan beberapa faktor lainnya merupakan tantangan bagi eksploitasi.

Tambahan lagi, pendekatan ini hanya mungkin berhasil pada malam hari. Apakah iluminasi yang jelas akan mengungkapkan “peretasan” juga merupakan faktor; jika objek seperti rambu sudah diterangi, proyektor harus mengkompensasi iluminasi tersebut, dan jumlah gangguan yang dipantulkan juga perlu tahan terhadap cahaya kendaraan. Sepertinya ini adalah sistem yang akan bekerja paling baik di lingkungan perkotaan, di mana pencahayaan lingkungan kemungkinan lebih stabil.

Penelitian ini secara efektif membangun iterasi berorientasi ML dari penelitian Universitas Columbia tahun 2004 tentang mengubah penampilan objek dengan memproyeksikan gambar lain ke objek tersebut – sebuah eksperimen optik yang tidak memiliki potensi jahat dari OPAD.

Dalam pengujian, OPAD dapat menipu klasifikasi untuk 31 dari 64 serangan – tingkat keberhasilan 48%. Peneliti mencatat bahwa tingkat keberhasilan sangat bergantung pada jenis objek yang diserang. Permukaan yang berbintik-bintik atau melengkung (seperti, masing-masing, boneka teddy dan cangkir) tidak dapat menyediakan reflektivitas langsung yang cukup untuk melakukan serangan. Di sisi lain, permukaan datar yang sengaja reflektif seperti rambu lalu lintas adalah lingkungan ideal untuk gangguan OPAD.

Permukaan Serangan Sumber Terbuka

Semua serangan dilakukan terhadap set dataset tertentu: Basis Data Pengenalan Rambu Lalu Lintas Jerman (GTSRB, disebut GTSRB-CNN dalam makalah baru), yang digunakan untuk melatih model untuk skenario serangan serupa pada 2018; dataset ImageNet VGG16; dan dataset ImageNet Resnet-50.

Jadi, apakah serangan ini hanya “teoritis”, karena mereka ditujukan pada dataset sumber terbuka, dan tidak pada sistem tertutup yang digunakan dalam kendaraan otonom? Mereka akan menjadi demikian, jika lengan penelitian utama tidak bergantung pada ekosistem sumber terbuka, termasuk algoritma dan dataset, dan sebaliknya bekerja keras untuk menghasilkan dataset dan algoritma pengenalan gambar yang tertutup dan tidak transparan.

Tapi pada umumnya, itu tidaklah demikian. Dataset landmark menjadi acuan yang digunakan untuk mengukur semua kemajuan (dan reputasi/pengakuan), sedangkan sistem pengenalan gambar sumber terbuka seperti seri YOLO melangkah maju, melalui kerja sama global, dari sistem tertutup yang dikembangkan secara internal yang beroperasi pada prinsip yang sama.

Paparan FOSS

Bahkan di mana data dalam kerangka penglihatan komputer akhirnya akan digantikan dengan data tertutup sepenuhnya, bobot model “kosong” masih sering dikalibrasi pada tahap awal pengembangan oleh data FOSS yang tidak akan pernah sepenuhnya dibuang – yang berarti bahwa sistem yang dihasilkan dapat dipotensial sebagai target oleh metode FOSS.

Tambahan lagi, mengandalkan pendekatan sumber terbuka untuk sistem CV ini membuat perusahaan swasta dapat memanfaatkan, secara gratis, inovasi yang bercabang dari proyek penelitian global lainnya, menambah insentif keuangan untuk menjaga arsitektur tetap dapat diakses. Setelah itu mereka dapat mencoba menutup sistem hanya pada titik komersialisasi, pada saat itu sebuah array metrik FOSS yang dapat diinferensi sepenuhnya tertanam di dalamnya.