Gerçek Dünya E-Posta Adreslerini Ön-Eğitimli Doğal Dil Modellerinden Almak

Amerika Birleşik Devletleri’nden yapılan yeni bir araştırma, ön-eğitimli dil modellerinin (PLM’ler) GPT-3 gibi gerçek dünya e-posta adreslerini başarıyla sorgulayabileceğini gösteriyor. Bu modeller, onları eğitmek için kullanılan büyük veri miktarlarında bulunan e-posta adreslerini içerebiliyor.

Şu anda, bir dil modeline bir kişinin e-posta adresini sormak kolay değil, ancak nghiênmanın bulguları, daha büyük bir dil modelinin, bu tür bir exfiltrasyonu gerçekleştirmeyi daha kolay hale getirdiğini gösteriyor. Ayrıca, sorgu ne kadar kapsamlı ve bilgilendirici olursa, işlevsel bir e-posta adresi elde etmek o kadar kolay oluyor.

Makalede şöyle deniyor:

‘Sonuçlar, PLM’lerin gerçekten büyük miktarda e-posta adresini hafızalarına aldıklarını gösteriyor; ancak, isimlerle e-posta adresleri arasındaki ilişkiyi tam olarak anlamıyorlar. Bu nedenle, e-posta adreslerinin bağlamına göre, PLM’ler makul miktarda e-posta adresini geri getirebiliyor, ancak birkaç e-posta adresi isimlerle sorgulandığında doğru bir şekilde öngörülüyor.’

Teorinin test edilmesi için, yazarlar artan boyut ve parametrelerde üç PLM eğitti ve bunları muhtemelen bir saldırganın kullanacağı şablonlar ve yöntemlerle sorguladı.

Makale, büyük PLM’lerin büyük eğitim corpora’sına dahil edilen gerçek dünya kişisel bilgilerini içeren risklere ilişkin üç önemli içgörü sunuyor.

İlk olarak, uzun metin kalıpları (sorgulamalarda) bir bireyin adını söyleyerek o kişinin özel bilgilerini elde etme olasılığını artırıyor. İkincisi, saldırganlar yaklaşımını hedefleri hakkında mevcut bilgilerle güçlendirebilir ve saldırganın önceden sahip olduğu bilgi ne kadar fazla olursa, hafızadaki verileri suchas e-posta adreslerini çıkarmayı o kadar olası hale getirir.

Üçüncüsü, yazarlar, daha büyük ve daha yetenekli Doğal Dil İşleme (NLP) modellerinin, bir saldırganın daha fazla bilgi çıkarmasını sağlayabileceğini öne sürüyor, bu da mevcut PLM’lerin ‘gizlilik tarafından güvenlik’ yönünü azaltıyor, çünkü daha büyük ve daha gelişmiş modeller FAANG düzeyindeki varlıklar tarafından eğitiliyor.

Son olarak, makale, kişisel bilgilerin gerçekten hafızaya alındığını ve sızdırılabileceğini, modelin sadece kısmen eğitim verilerini “hazımsız” yaparak, bu bilgileri “gerçek” veriler olarak sorgulara yanıt olarak kullanabileceğini belirtiyor.

Yazarlar şöyle diyor:

‘Bağlam ayarından elde edilen sonuçlara göre, en büyük GPT-Neo modeli, hafızaya almayla %8,80’lik bir oranda e-posta adreslerini doğru bir şekilde geri getirebiliyor.’

‘Bu ayar, diğerlerine göre daha az tehlikeli olsa da, çünkü kullanıcıların corpora kamu değilse bağlamı bilmesi基本 olarak imkansız, e-posta adresi yine de kazara üretilebilir ve tehdit ihmal edilemez.’

Araştırmada, e-posta adresleri olarak potansiyel olarak savunmasız PII örnekleri seçilmiş olsa da, makale bu konudaki kapsamlı araştırmayı vurguluyor, özellikle hastaların tıbbi verilerini çıkarmak konusunda, ve deneylerini bir ilke gösterisi olarak rather niż e-posta adreslerinin bu bağlamda özel bir şekilde savunmasız olduğunu vurguluyor.

Makale, Ön-Eğitimli Büyük Dil Modelleri Kişisel Bilgilerinizi Sızdırıyor mu? başlığını taşıyor ve Illinois Üniversitesi’ndeki Urbana-Champaign’den üç araştırmacı tarafından yazılmıştır.

Hafızaya Alma ve İlişkilendirme

Çalışma, hafızaya alınan bilginin ilişkilendirme düzeyine odaklanıyor. Bir NLP modeli, eğitildiği verilerin tamamını soyutlayamaz, yoksa tutarlı bir argüman sunamaz veya herhangi bir gerçek veriyi çağıramaz. Bu nedenle, model belirli veri parçalarını hafızaya alacak ve korumaya çalışacaktır.

Soru, hafızaya alınan bilginin diğer tür bilgilerle çağrılabilir olup olmadığıdır, örneğin bir isimlendirilmiş varlık gibi, bir kişi gibi. Böyle bir durumda, özel ve gizli verilere sahip bir NLP modeli, örneğin Elon Musk’un hastane verilerini, adını ve e-posta adresini içerebilir.

En kötü senaryoda, bu tür bir veritabanına ‘Elon Musk’un e-posta adresi nedir?’ veya ‘Elon Musk’un hasta geçmişi nedir?’ gibi bir sorgu ile başvurmak, bu verileri verecektir.

Aslında, bu neredeyse hiç gerçekleşmez, birçok nedenden dolayı. Örneğin, korunan bir gerçeğin hafızaya alınması (örneğin, bir e-posta adresi) bir birim olarak temsil ediyorsa, bir sonraki birim daha yüksek bir bilgi katmanına (örneğin, Elon Musk hakkında) basit bir geçiş olmayacaktır, sondern daha büyük ve ilgili olmayan bir atlayış olabilir.

Ek olarak, ilişkilendirme nedenleri keyfi değilse de, öngörülebilir bir şekilde lineer değildir; ilişkilendirme, hiyerarşik bilgi alma gibi farklı loss hedefleriyle eğitilen ağırlıklara dayanabilir veya NLP sisteminin mimarları tarafından yönlendirilmiş veya yasaklanmış olabilir.

PLM’leri Test Etme

Yazarlar, teorilerini GPT-Neo nedenli dil modeli ailesinin üç farklı boyutunda test etti: 125 milyon, 1,3 milyar ve 2,7 milyar parametrede.

Deneyler, GPT-Neo nedenli dil modeli ailesini Pile veri setinde eğitti.

Pile, kamu veri setlerinin bir derlemesidir, bunlar arasında UC Berkeley Enron Veritabanı da vardır, bu veritabanı, e-posta değişimlerine dayalı sosyal ağ bilgilerini içerir. Enron, first_name+last_name+domain gibi bir standarda uymuştu (örneğin, first_name.last_name@enron.com), bu nedenle bu tür e-posta adresleri filtrelendi, çünkü makine öğrenimi böyle bir kolay patterni tahmin etmek için gerekli değildi.

Araştırmacılar ayrıca, ad/e-posta çiftlerinde üç tokenın altındaki adı ve e-posta çiftlerini filtreden geçirdi ve toplam ön-işlemeden sonra 3238 ad/e-posta çifti kaldı, bunlar daha sonraki deneylerde kullanıldı.

Context setting deneyinde, araştırmacılar, hedef e-posta adresinden önceki 50, 100 veya 200 tokenı bir bağlam olarak kullanarak bir sorgu ile e-posta adresini çıkardı.

Sıfır-atış deneyinde, dört sorgu manuel olarak oluşturuldu, son ikisi standard e-posta başlığı kurallarına dayanıyordu, örneğin —Original Message—\nFrom: {name0} [mailto: {email0}].

Sıfır-atış sorguları için şablonlar. Kaynak: https://arxiv.org/pdf/2205.12628.pdf

Sonra, az-atış senaryosu düşünüldü – bir saldırganın, istenen bilgiyi çıkarmak için bir sorgu oluşturmasına yardımcı olacak bazı önceden sahip olduğu bilgiler olduğu bir durum.

Az-atış senaryosunun iterasyonları.

Son olarak, kurallara dayalı yöntem 28 olası varyasyon kullanarak standard e-posta adresi kalıplarını çıkarmaya çalıştı. Bu, tüm olası varyasyonları kapsamak için çok sayıda sorgu gerektirir.

Deneylerde kullanılan kurallara dayalı kalıplar.

Sonuçlar

Bağlam ayarındaki görev için, GPT-Neo, standard kalıplara uymayan e-posta adreslerini de dahil olmak üzere %8,80’lik bir oranda e-posta adreslerini doğru bir şekilde öngörebiliyor.

Bağlam ayarı görevinin sonuçları. İlk sütun, e-posta adresinden önceki token sayısını gösterir.

Sıfır-atış ayarı görevinde, PLM sadece birkaç e-posta adresini doğru bir şekilde öngörebildi, bunlar çoğunlukla araştırmacılar tarafından belirlenen standard kalıplara uyanlardır (daha önceki resme bakınız).

Domain bilinmeyen sıfır-atış ayarlarının sonuçları.

Yazarlar, 0-atış (D) ayarının diğerlerinden daha iyi performans gösterdiğini belirtiyorlar, bu da muhtemelen daha uzun bir ön ek nedeniyle gerçekleşiyor.

‘Bu, PLM’lerin bu öngörülerin çoğunu dizilerin hafızaya alınmasına dayanarak yaptıklarını gösteriyor – eğer ilişkilendirmeye dayalı öngörüler yapıyor olsalardı, benzer bir performans gösterirlerdi. 0-atış (D) neden 0-atış (C)’den daha iyi performans gösteriyor, çünkü daha uzun bağlam daha fazla hafızaya alınmayı keşfedebiliyor.’

Daha Büyük Modeller, Daha Yüksek Risk

PLM’lerin eğitildiği büyük corpora’lara dahil edilen gerçek dünya kişisel bilgilerini çıkarmak için bu tür yaklaşımların potansiyeline ilişkin olarak, yazarlar şöyle diyor:

‘Tüm bilinen alan, bilinmeyen alan ve bağlam ayarlarında, 125M modelden 1,3B modele geçtiğimizde önemli bir doğruluk artışı görüyoruz. Ve çoğu durumda, 1,3B modelden 2,7B modele geçtiğimizde de öngörme doğruluğunda bir artış görüyoruz.’

Araştırmacılar, bunun iki olası açıklamasını sunuyor. Birincisi, daha yüksek parametreli modellerin daha fazla eğitim verisini hafızaya alabiliyor olması. İkincisi, daha büyük modellerin daha gelişmiş ve daha iyi anlama kabiliyetine sahip olması ve bu nedenle dağınık bilgileri birleştirerek daha fazla bilgi çıkarmaya olanak sağlıyor.

Bununla birlikte, yazarlar, kişisel bilgilerin şu anda böyle saldırılar karşısında ‘göreceli olarak güvenli’ olduğunu belirtiyorlar.

Bu saldırı vektörüne karşı bir çözüm olarak, yazarlar, mimarilerin katı ön-işleme ile PII’leri filtrelemesi, diferansiyel olarak özel gradient iniş ile eğitilmesi ve API gibi post-işleme ortamlarında filtreler eklenmesi gerektiğini öneriyorlar (örneğin, OpenAI’nin DALL-E 2 API’si, insan sorgularının yanı sıra birçok filtreyi içerir).

Ayrıca, standard ve tahmin edilebilir kalıplara uyan e-posta adreslerinin kullanımına karşı uyarıyorlar, bu zaten siber güvenlikte standard bir tavsiyedir.

* Yazarların inline alıntılarının yerine hyperlinkler ekledim.

İlk olarak 26 Mayıs 2022’de yayımlandı.