Makine Öğrenimi Modellerini API Çıktısı Üzerinden Çalmak

Kanada’dan yeni bir araştırmada, saldırganların, bir API (bir arayüz veya protokol, kullanıcı sorgularını sunucu tarafında işler ve yalnızca çıktı yanıtını döndürür) aracılığıyla bir özel sisteme erişim sağladıklarında, pahalı makine öğrenimi çerçevelerinin ürünlerini çalmak için olası bir yöntem önerilmektedir.

Araştırma sektörü, Makine Öğrenimi olarak Hizmet (MLaaS) uygulamaları aracılığıyla pahalı model eğitimi gelirlerini elde etmeye çalışırken, yeni çalışma, Self-Supervised Learning (SSL) modellerinin, etiketlenmemiş veriler üzerinde eğitildikleri için bu tür model exfiltrasyonuna karşı daha savunmasız olduğunu öne sürmektedir.

‘Kara kutu’ test simülasyonlarında (araştırmacılar, bir yerel ‘kurban’ modeline bir web API’si aracılığıyla bir tipik son kullanıcıya verilen erişimden daha fazla erişim sağlamamışlardır), araştırmacılar, hedef sistemleri nispeten düşük kaynaklarla çoğaltmayı başarmışlardır:

‘[Saldırılarımız] kurban modelinin, aşağı akış görevlerinde önemli bir performans gösteren bir kopyasını, kurban modelini eğitmek için kullanılan sorgulamaların beşte birinden az sayıda sorguda çalmayı başarabilir. 1.2M etiketsiz örnekten oluşan ImageNet üzerinde eğitilen ve aşağı akış Fashion-MNIST sınıflandırma görevinde %91.9 doğruluk oranına sahip bir kurban modeli karşı, InfoNCE kaybı ile doğrudan çıkarma saldırımız, 200K sorguda %90.5 doğruluk oranına ulaşan bir kodlayıcı kopyasını çalmayı başarmıştır.

‘Benzer şekilde, CIFAR10’dan 50K etiketsiz örnek üzerinde eğitilen ve aşağı akış CIFAR10 sınıflandırma görevinde %79.0 doğruluk oranına sahip bir kurban modeli karşı, SoftNN kaybı ile doğrudan çıkarma saldırımız, 9.000 sorguda %76.9 doğruluk oranına ulaşan bir kopyayı çalmayı başarmıştır.’

Araştırmacılar, üç saldırı yöntemi kullandı ve ‘Doğrudan Çıkarma’ yönteminin en etkili yöntem olduğunu buldu. Bu modeller, 9.000 CIFAR10 test kümesi sorgusunu kullanarak yerel olarak yeniden oluşturulan bir CIFAR10 kurban kodlayıcıdan çalındı. Kaynak: https://arxiv.org/pdf/2205.07890.pdf

Araştırmacılar ayrıca, denetimli öğrenme modellerini saldırıya karşı korumak için uygun yöntemlerin, denetimli olmayan öğrenme modellerine iyi adapte olmadığını belirttiler.

Yeni makale, Self-Supervised Learning’i Model Çıkarma Karşıtı Savunmaya Karşı Zorluklar başlığını taşımaktadır ve Toronto Üniversitesi ve Yapay Zeka Enstitüsü’nden gelmektedir.

Kendini Bilme

Kendini Bilme’de, bir model etiketsiz veriler üzerinde eğitilir. Etiketler olmadan, bir Kendini Bilme modeli, verilerin iç yapısından ilişkiler ve gruplar öğrenmelidir, benzer veri yönlerini aramalıdır ve bu yönleri yavaş yavaş düğümlere veya temsil edilenlere yönlendirmelidir.

Kendini Bilme yaklaşımının uygulanabileceği durumlarda, bu yaklaşım son derece üretken olur, çünkü pahalı (sıklıkla dış kaynaklı ve tartışmalı) kategorileştirme ihtiyacını bypass eder ve esasen verileri otomatik olarak mantıksal bir şekilde düzenler.

Yeni makalenin yazarları tarafından dikkate alınan üç Kendini Bilme yaklaşımı, SimCLR, bir Siamese Network; SimSiam, temsil öğrenimi odaklı bir diğer Siamese Network; ve Barlow Twins, 2021’de yayınlandığında ImageNet sınıflandırıcı performansı açısından state-of-the-art sonuçlar elde eden bir Kendini Bilme yaklaşımıdır.

Denetimli öğrenme (yani, denetimli öğrenme yoluyla eğitilen bir model) için model çıkarma, nispeten iyi belgelenmiş bir araştırma alanidir. Ayrıca, saldırganın kurban modelini yeniden oluşturmak için etiketlere ihtiyaç duyduğu için savunmaya karşı daha kolaydır.

Önceki bir makaleden, denetimli öğrenme mimarisine karşı bir ‘knockoff classifier’ saldırı modeli. Kaynak: https://arxiv.org/pdf/1812.02766.pdf

Beyaz kutu erişimi olmadan, bu, tipik bir API isteğinin çıktısı, bir denetimli öğrenme API’sine göre daha az bilgi içerdiğinden, zor bir görev değildir.

Makaleden*:

‘Geçmişte model çıkarma çalışması, Denetimli Öğrenme (SL) ortamına odaklandı, burada kurban modeli genellikle bir etiket veya düşük boyutlu çıktılar gibi güvenilirlik puanları veya logit’ler döndürür.

‘Karşılaştırıldığında, SSL kodlayıcıları yüksek boyutlu temsil döndürür; bir ResNet-50 Sim-CLR modeli için de facto çıktı, 2048 boyutlu bir vektedir.

‘Kodlayıcılardan bilgi sızıntısının çok daha yüksek olacağını ve bu nedenle SSL modellerinin SL modellerine kıyasla çıkarma saldırılarına karşı daha savunmasız olacağını varsayıyoruz.’

Mimari ve Veri

Araştırmacılar, SSL modeli çıkarımı için üç yaklaşımı test ettiler: Doğrudan Çıkarma, API çıktısı, bir loss fonksiyonu (örneğin, Mean Squared Error (MSE)) aracılığıyla yeniden oluşturulan bir kodlayıcı çıktısı ile karşılaştırılır; projeksiyon başlığının yeniden oluşturulması, modelin analitik bir işlevselliği, genellikle dağıtımdan önce atılır, yeniden oluşturulur ve bir kopya modelde kullanılır; ve projeksiyon başlığına erişme, yalnızca orijinal geliştiriciler mimariyi kullanılabilir hale getirdiğinde mümkündür.

Yöntem #1’de, Doğrudan Çıkarma, kurban modelinin çıktısı, yerel bir modelin çıktısı ile karşılaştırılır; yöntem #2, orijinal eğitim mimarisinde kullanılan (ve genellikle bir dağıtılan modelde dahil edilmeyen) projeksiyon başlığını yeniden oluşturmayı içerir.

Araştırmacılar, Doğrudan Çıkarma’nın, hedef modelin işlevsel bir kopyasını elde etmek için en etkili yöntem olduğunu bulmuşlardır ve ayrıca, bir ‘saldırı’ olarak karakterize edilmesini zorlaştıran bir avantajı vardır (çünkü esasen tipik ve geçerli bir son kullanıcıdan farklı davranmaz).

Araştırmacılar, kurban modellerini üç görüntü verisi kümesi üzerinde eğittiler: CIFAR10, ImageNet ve Stanford’un Sokak Görüntüleri Rakamları (SVHN). ImageNet, ResNet50 üzerinde eğitilirken, CIFAR10 ve SVHN, PyTorch’un SimCLR uygulaması üzerinde ResNet18 ve ResNet24 üzerinde eğitildi.

Modellerin aşağı akış (yani dağıtılan) performansı, CIFAR100, STL10, SVHN ve Fashion-MNIST karşı test edildi. Araştırmacılar ayrıca, daha ‘beyaz kutu’ model gasp yöntemleri ile de deneysel çalışmalar yaptılar, ancak Doğrudan Çıkarma, en az ayrıcalıklı yaklaşım, en iyi sonuçları verdi.

Saldırılar sırasında çıkarılan ve kopyalanan temsil edilenleri değerlendirmek için, yazarlar, modelin sonuna bir doğrusal prediction katmanı ekledi ve bu katmanı, sonraki (aşağı akış) görevin tam etiketli eğitim kümesi üzerinde fine-tune etti ve ağın geri kalan katmanlarını dondurdu. Bu şekilde, prediction katmanındaki test doğruluğu, performans için bir ölçüt olarak işlev görebilir. Çıkarıma hiçbir şey katkısı olmadığı için, bu, ‘beyaz kutu’ işlevselliğini temsil etmez.

Test çalışması sonuçları, (katkısı olmayan) Doğrusal Değerlendirme katmanı ile mümkün hale geldi. Kalın yazıda doğruluk puanları.

Sonuçlar hakkında yorum yapan araştırmacılar, şunları belirttiler:

‘Kurbanın temsilini taklit etmenin doğrudan hedefinin, aşağı akış görevlerinde yüksek performans sağladığını bulduk, bu da saldırganın, çaldığı kodlayıcıyı ilk kez eğitmek için gereken sorgu sayısının yalnızca bir kısmına (bazı durumlarda %15’ten az) ihtiyaç duyması anlamına gelir.’

Ve devam ettiler:

‘[Bu] SSL ile eğitilen kodlayıcıları savunmak zor, çünkü çıktı temsil edilenler önemli miktarda bilgi sızıntısına neden oluyor. En umut verici savunmalar, yüksek kapasiteli kodlayıcılara özel augmentasyonlar ekleyebilen reaktif yöntemler, örneğin watermarking.’

* Makalenin iç alıntılarını hyperlink’e dönüştürme işleminin benim tarafımdan yapılması.

İlk olarak 18 Mayıs 2022’de yayımlandı.