Optik Düşman Saldırısı Yol İşaretlerinin Anlamını Değiştirebilir

ABD'li araştırmacılar, makine öğrenimi sistemlerinin gördüklerini (yol işaretleri gibi kritik öneme sahip öğeler de dahil) doğru bir şekilde yorumlama becerisine karşı, gerçek dünyadaki nesnelere desenli ışık tutarak düşmanca bir saldırı geliştirdiler. Bir deneyde, bu yaklaşım, yol kenarındaki bir "DUR" işaretinin anlamının "30 mil/saat" hız sınırı işaretine dönüşmesini sağlamayı başardı.

Bir işaretin üzerinde, üzerinde özel ışık tutularak oluşturulan bozulmalar, bir makine öğrenimi sisteminde yorumlanma biçimini bozar. Kaynak: https://arxiv.org/pdf/2108.06247.pdf

The araştırma yetkili Optik Düşman Saldırısı, ve Indiana'daki Purdue Üniversitesi'nden geliyor.

Makalede önerildiği gibi bir OPTİK ADversarial saldırısı (OPAD), hedef nesnelerin görünümünü değiştirmek için yapılandırılmış aydınlatma kullanır ve yalnızca ticari bir projektör, bir kamera ve bir bilgisayar gerektirir. Araştırmacılar, bu tekniği kullanarak hem beyaz kutu hem de kara kutu saldırılarını başarıyla gerçekleştirmeyi başardılar.

OPAD kurulumu ve yanlış bir sınıflandırmaya neden olmaya yeterli olan (insanlar tarafından) minimum düzeyde algılanan bozulmalar.

OPAD kurulumu bir ViewSonic 3600 Lümen SVGA projektör, bir Canon T6i kamera ve bir dizüstü bilgisayardan oluşur.

Kara Kutu ve Hedefli Saldırılar

Beyaz kutu saldırıları, bir saldırganın bir eğitim modeli prosedürüne veya girdi verilerinin yönetimine doğrudan erişebileceği olası olmayan senaryolardır. Öte yandan, kara kutu saldırıları genellikle bir makine öğreniminin nasıl oluşturulduğunu veya en azından nasıl davrandığını çıkarsayarak, "gölge" modeller oluşturarak ve orijinal model üzerinde çalışacak şekilde tasarlanmış saldırgan saldırılar geliştirerek formüle edilir.

Burada, sınıflandırmayı kandırmak için gerekli olan görsel tedirginlik miktarını görüyoruz.er.

İkinci durumda, herhangi bir özel erişime gerek yoktur, ancak bu tür saldırılar, mevcut akademik ve ticari araştırmalarda açık kaynak bilgisayarlı görüntü kitaplıklarının ve veritabanlarının her yerde bulunmasıyla büyük ölçüde desteklenmektedir.

Yeni makalede özetlenen tüm OPAD saldırıları, belirli nesnelerin yorumlanma biçimini değiştirmeyi amaçlayan "hedefli" saldırılardır. Sistemin genelleştirilmiş, soyut saldırılar gerçekleştirebildiği de gösterilmiş olsa da, araştırmacılar gerçek dünyadaki bir saldırganın daha spesifik bir bozucu hedefi olabileceğini iddia ediyorlar.

OPAD saldırısı, bilgisayarlı görüntüleme sistemlerinde kullanılacak görüntülere gürültü enjekte etme ilkesinin, sıkça araştırılan gerçek dünyadaki bir versiyonudur. Bu yaklaşımın avantajı, yanlış sınıflandırmayı tetiklemek için bozulmaların hedef nesneye "yansıtılabilmesi" iken, "Truva atı" görüntülerinin eğitim sürecine dahil edilmesini sağlamak oldukça zordur.

OPAD'ın bir veri kümesindeki 'hız 30' görüntüsünün karma anlamını bir 'DUR' işaretine yükleyebildiği durumda, temel görüntü, nesnenin 140/255 yoğunlukta eşit şekilde aydınlatılmasıyla elde edildi. Ardından, projektörle dengelenmiş aydınlatma, yansıtılmış bir görüntü olarak uygulandı. degrade iniş saldırısı.

OPAD yanlış sınıflandırma saldırılarına örnekler.

Araştırmacılar, projenin asıl zorluğunun, açılar, optikler ve diğer bazı faktörlerin bu istismar için zorluk teşkil etmesi nedeniyle projektör mekanizmasını temiz bir 'aldatmaca' elde edecek şekilde kalibre etmek ve kurmak olduğunu gözlemliyorlar.

Ayrıca, bu yaklaşımın yalnızca geceleri işe yaraması muhtemeldir. Bariz aydınlatmanın "hack"i ortaya çıkarıp çıkarmayacağı da bir faktördür; eğer bir tabela gibi bir nesne zaten aydınlatılmışsa, projektör bu aydınlatmayı telafi etmeli ve yansıyan bozulma miktarının farlara dayanıklı olması gerekir. Bu sistem, çevresel aydınlatmanın daha istikrarlı olma ihtimalinin yüksek olduğu kentsel ortamlarda en iyi sonucu verecek gibi görünüyor.

Araştırma, Columbia Üniversitesi'nin ML odaklı bir yinelemesini etkili bir şekilde oluşturuyor 2004 araştırması üzerlerine başka görüntüler yansıtarak nesnelerin görünümünü değiştirmeye - OPAD'ın habis potansiyelinden yoksun optik tabanlı bir deney.

Test sırasında OPAD, 31 saldırıdan 64'i için bir sınıflandırıcıyı kandırmayı başardı - bu, %48'lik bir başarı oranı. Araştırmacılar, başarı oranının büyük ölçüde saldırıya uğrayan nesnenin türüne bağlı olduğunu belirtiyor. Benekli veya kavisli yüzeyler (sırasıyla bir oyuncak ayı ve bir kupa gibi), saldırıyı gerçekleştirmek için yeterli doğrudan yansıtma sağlayamaz. Öte yandan, yol işaretleri gibi kasıtlı olarak yansıtıcı düz yüzeyler, bir OPAD distorsiyonu için ideal ortamlardır.

Açık Kaynak Saldırı Yüzeyleri

Tüm saldırılar, belirli bir dizi veri tabanına karşı gerçekleştirildi: Alman Trafik İşareti Tanıma Veritabanı (GTSBmodeli eğitmek için kullanılan yeni makalede GTSRB-CNN olarak adlandırılır). 2018'deki benzer saldırı senaryosu; ImageNet VGG16 veri kümesi; ve ImageNet Sıfırlama-50 ayarlayın.

Peki, açık kaynaklı veri kümelerini hedef aldıkları ve otonom araçlardaki özel, kapalı sistemleri hedef almadıkları için bu saldırılar 'sadece teorik' mi? Eğer büyük araştırma kolları, algoritmalar ve veri kümeleri de dahil olmak üzere açık kaynaklı ekosisteme güvenmeyip, bunun yerine gizlice kapalı kaynaklı veri kümeleri ve anlaşılması zor tanıma algoritmaları üretmek için çalışsalardı, öyle olurlardı.

Ancak genel olarak işler böyle yürümüyor. Önemli veri kümeleri, tüm ilerlemenin (ve itibarın/beğeninin) ölçüldüğü kıstaslar haline gelirken, YOLO serisi gibi açık kaynaklı görüntü tanıma sistemleri, ortak küresel iş birliği sayesinde, benzer ilkelerle çalışmak üzere tasarlanmış, şirket içinde geliştirilen herhangi bir kapalı sistemin önüne geçiyor.

FOSS Maruziyeti

Bilgisayarlı görüş çerçevesindeki veriler sonunda tamamen kapalı verilerle değiştirilse bile, 'boşaltılan' modellerin ağırlıkları, hiçbir zaman tamamen atılmayacak olan FOSS verileriyle geliştirmenin erken aşamalarında sıklıkla kalibre edilir; bu da ortaya çıkan sistemlerin potansiyel olarak FOSS yöntemleri tarafından hedef alınabileceği anlamına gelir.

Ek olarak, bu tür özgeçmiş sistemlerine yönelik açık kaynak yaklaşımına güvenmek, özel şirketlerin diğer küresel araştırma projelerinden dallanmış yeniliklerden ücretsiz olarak faydalanmasını mümkün kılarak mimariyi erişilebilir tutmak için mali bir teşvik sağlar. Bundan sonra, yalnızca ticarileştirme noktasında sistemi kapatmaya çalışabilirler, bu zamana kadar tüm bir dizi çıkarsanabilir FOSS ölçütü derinden gömülüdür.