Optik Karşıt Saldırı Yol İşaretlerinin Anlamını Değiştirebilir

ABD’deki araştırmacılar, makine öğrenimi sistemlerinin gördüklerini doğru bir şekilde yorumlama yeteneğine karşı, gerçek dünya nesnelerine desenli ışık照diği bir karşıt saldırı geliştirdiler – bu, yol işaretleri gibi kritik görev öğeleri de dahil olmak üzere. Bir deneyde, yaklaşım, bir ‘DUR’ yol kenarındaki işaretinin anlamını ’30mph’ hız sınırı işareti olarak değiştirmeyi başardı.

Bir işarete, üzerine tasarlanmış ışık照dülerek oluşturulan pertürbasyonlar, bir makine öğrenimi sisteminde nasıl yorumlandığını bozar. Kaynak: https://arxiv.org/pdf/2108.06247.pdf

Araştırma Optik Karşıt Saldırı olarak adlandırılmaktadır ve Indiana’daki Purdue Üniversitesi’nden gelmektedir.

Bir Optik Karşıt Saldırı (OPAD), hedef nesnelerin görünümünü değiştirmek için yapılandırılmış aydınlatma kullanır ve yalnızca bir ticari projektör, bir kamera ve bir bilgisayar gerektirir. Araştırmacılar, bu teknik kullanarak hem beyaz kutu hem de siyah kutu saldırılarını erfolgreich bir şekilde gerçekleştirebildiler.

OPAD kurulumu ve insanların minimal şekilde algıladığı, ancak sınıflandırma hatasına neden olan bozulmalar.

OPAD kurulumu, ViewSonic 3600 Lumens SVGA projektör, Canon T6i kamera ve bir laptop bilgisayardan oluşmaktadır.

Kara Kutu ve Hedefli Saldırılar

Beyaz kutu saldırıları, saldırganın eğitim modeli prosedürüne veya girdi verilerine doğrudan erişimi olabileceği olası olmayan senaryolardır. Kara kutu saldırıları, genellikle makine öğrenimi sisteminin nasıl yapılandırıldığını veya en azından nasıl davrandığını çıkarsayarak, “gölge” modeller oluşturarak ve orijinal modele yönelik olarak tasarlanmış karşıt saldırılar geliştirerek formüle edilir.

Burada, sınıflandırıcıyı kandırmak için gerekli görsel pertürbasyon miktarını görüyoruz.

İkinci durumda, özel erişim gerekmez, ancak bu tür saldırılar, akademik ve ticari araştırmalarda açık kaynaklı bilgisayar görme kütüphaneleri ve veritabanlarının yaygın olmasıyla büyük ölçüde kolaylaştırılır.

Yeni makalede belirtilen tüm OPAD saldırıları, belirli nesnelerin nasıl yorumlandığını değiştirmeyi amaçlayan “hedefli” saldırılar olarak kabul edilir. Sistem, ayrıca genel, soyut saldırıları gerçekleştirebilecek yeteneklerini kanıtlamıştır, ancak araştırmacılar, gerçek bir saldırganın daha spesifik bir bozucu amacı olacağını iddia etmektedirler.

OPAD saldırısı, bilgisayar görme sistemlerinde kullanılan görüntülere gürültü enjekte etme ilkesinin sıkça araştırılan bir ilkenin gerçek dünya versiyonudur. Bu yaklaşımın değeri, bir hedef nesneye pertürbasyonları “projekte” etmek suretiyle sınıflandırma hatasını tetikleyebilmesidir, oysa “Troya atı” görüntülerinin eğitim sürecine dahil edilmesinin daha zor olacağıdır.

OPAD, ‘hız 30’ görüntüsünün anlamsal içeriğini bir ‘DUR’ işaretine uygulayabildiğinde, temel görüntü, nesneyi 140/255 yoğunluğunda uniform olarak aydınlatarak elde edilmiştir. Ardından, projektörle telafi edilmiş aydınlatma, bir gradyan iniş saldırısı olarak uygulanmıştır.

OPAD sınıflandırma hataları saldırıları örnekleri.

Araştırmacılar, projenin ana zorluğunun, projektör mekanizmasını temiz bir “aldatma” elde edecek şekilde kalibre etmek ve kurmak olduğunu gözlemlemektedir, çünkü açılardan, optiklerden ve diğer faktörlerden kaynaklanan zorluklar bu sömürüyü zorlaştırmaktadır.

Ek olarak, bu yaklaşımın yalnızca geceleyin çalışması muhtemeldir. Obvious aydınlatmanın “hack”i ortaya çıkarıp çıkarmayacağı da bir faktördür; eğer bir nesne zaten aydınlatılmışsa, projektör bu aydınlatmayı telafi etmelidir ve yansıyan pertürbasyonun da farlara karşı dirençli olması gerekir. Bu sistem, çevre aydınlatmasının muhtemelen daha稳il olacağı kentsel ortamlarda en iyi şekilde çalışacaktır.

Araştırma, esasen Columbia Üniversitesi’nin 2004 araştırmasının bir ML-odaklı iterasyonunu oluşturur – bu, nesnelerin görünümünü değiştirmek için diğer görüntüleri onlara projektör kullanarak yapılan bir optik deneydir ve OPAD’nin kötü niyetli potansiyelinden yoksundur.

Testlerde, OPAD 64 saldırının 31’inde sınıflandırıcıyı kandırmayı başardı – %48’lik bir başarı oranı. Araştırmacılar, başarı oranının saldırıya uğrayan nesne türüne bağlı olarak büyük ölçüde değiştiğini belirtmektedirler. Desenli veya eğri yüzeyler (örneğin, bir teddy bear ve bir fincan) doğrudan yansıtma için yeterli yüzey alanı sağlayamaz. Diğer taraftan, kasıtlı olarak yansıtıcı düz yüzeyler, yol işaretleri gibi, OPAD bozulmaları için ideal ortamlardır.

Açık Kaynaklı Saldırı Yüzeyleri

Tüm saldırılar, belirli veritabanlarına karşı gerçekleştirilmiştir: Alman Trafik İşareti Tanıma Veritabanı (GTSRB, yeni makalede GTSRB-CNN olarak adlandırılmaktadır), bu, 2018’de benzer bir saldırı senaryosunda modeli eğitmek için kullanılmıştır; ImageNet VGG16 veritabanı ve ImageNet Resnet-50 kümesi.

Peki, bu saldırılar, açık kaynaklı veritabanlarına yönelik oldukları ve otonom araçlardaki özel sistemlere yönelik olmadıkları için yalnızca “teorik” midir? Evet, eğer büyük araştırma kolları, algoritmalar ve veritabanları dahil açık kaynaklı ekosisteme güvenmiyor olsalardı ve bunun yerine kapalı kaynaklı veritabanları ve saydam olmayan tanıma algoritmaları üretmek için gizlice çalışıyor olsalardı.

Ama genel olarak, işler böyle değil. Benchmark olarak kullanılan ana veritabanları, tüm ilerlemenin (ve itibarın) ölçülmesine yönelik standartlar haline gelmekte, açık kaynaklı görüntü tanıma sistemleri gibi YOLO serisi, benzer prensiplere dayalı iç geliştirilmiş kapalı sistemlerin önüne, ortak küresel işbirliği yoluyla geçmektedir.

FOSS Maruziyeti

Bilgisayar görme çerçevesindeki verilerin sonunda tamamen kapalı veri ile değiştirileceği durumlarda bile, “boşaltılmış” modellerin ağırlıkları, genellikle geliştirme sürecinin erken aşamalarında FOSS verileriyle kalibre edilmektedir ve bu, hiçbir zaman tamamen atılmayacaktır – bu da, ortaya çıkan sistemlerin FOSS yöntemleriyle hedeflenmesine neden olabileceği anlamına gelmektedir.

Ek olarak, bu tür CV sistemlerine açık kaynaklı bir yaklaşım benimsemek, özel şirketlerin, diğer küresel araştırma projelerinden dallanmış yeniliklerden ücretsiz olarak yararlanmalarını sağlar ve bu, mimarinin erişilebilir tutulmasına yönelik bir finansal teşvik oluşturur. Daha sonra, ticari hale getirme aşamasında, sistemleri yalnızca kapatabilirler, bu sırada bir dizi çıkarılabilir FOSS metriği derinlemesine gömülü hale gelir.