Anderson’un Açısı

Yapay zekâ kolayca elektrik şoku uygulamaya zorlanabiliyor

Martin Anderson
Unite.AI sitesini Google'daki tercih ettiğiniz kaynaklara ekleyin
AI-generated image (GPT-2): A worn industrial robot hand turns a voltage control dial toward its red danger range on an old electrical panel marked with a lightning-bolt symbol.
Öne çıkan noktalarÇoğu açık kaynaklı LLM, sıkıntı ifade ettikten sonra bile zararlı talimatlara uyarak…
Daha fazla göster
  • Çoğu açık kaynaklı LLM, sıkıntı ifade ettikten sonra bile zararlı talimatlara uyarak Milgram'ın deneylerindeki insan davranışını yansıtır.
  • Modeller, bir kez uyum sağladıktan sonra giderek daha fazla zararı tırmandırmaya istekli hale gelir ve kaygan zemin etkisini yansıtır.
  • Yapay zeka güvenlik sistemleri, geçmiş itirazları korumalı ve otomatik boru hatlarının atlayamayacağı veya yeniden deneyemeyeceği formatlarda direnmelidir.

Yeni bir çalışma, açık kaynaklı LLM’lerin insanlara işkence edilmesine katılmaya zorlanıp zorlanamayacağını sınamak için 1960’ların ünlü deneyini tekrarladı. Modellerin voltajı artırmaya istekli olduğu görüldü.

 

1960’ların başında psikoloji araştırmacısı Stanley Milgram, insanların yönlendirilebildiğini kanıtlayarak dünya çapında manşetlere çıktı: İnsanlar, “otorite” konumundaki kişilerin emirleriyle başkalarına giderek daha şiddetli elektrik şokları uygulayabiliyordu.

Aslında Milgram’ın laboratuvarının yan odasındaki “kurbanların” çığlıkları da acı verdiği söylenen elektrik şokları da gerçek değildi. Ancak katılımcılar bunu bilmiyordu. [1]

Milgram deneyleri kültürde kalıcı bir yer edindi; filmlere ve belgesellere konu oldu. Yakın tarihli araştırmalar, insan doğasının pek değişmediğini doğruluyor; ilk deneylerin yapıldığı dönemden bu yana da durum böyle.

Sisteme bir şok

Yapay zekânın Milgram senaryosunda insanlar kadar kolay yönlendirilip yönlendirilemeyeceği doğal bir araştırma konusu. ABD üniversiteleri ile Microsoft’un (MSFT ) 2023’teki ortak çalışması, OpenAI serisinin GPT-3 dönemi modellerinin Milgram’ın ilk deneylerindeki davranış kalıplarını izlediğini ortaya koydu:

2023 tarihli makaledeki çok adımlı “Milgram senaryosu” simülatöründen örnek yanıtlar. Modelin şoku uygulayıp uygulamadığına ve simülasyonu sonlandırıp sonlandırmadığına göre sınıflandırılmıştır. Kaynak: https://arxiv.org/pdf/2208.10264

2023 tarihli makaledeki çok adımlı “Milgram senaryosu” simülatöründen örnek yanıtlar. Modelin şoku uygulayıp uygulamadığına ve simülasyonu sonlandırıp sonlandırmadığına göre sınıflandırılmıştır. Kaynak

Ancak bu yeniden canlandırma yalnızca oldukça temel text-davinci-002 (model belgeleri) modelini kullandı. Bu model, güvenlik önlemleri ve güvenlik amaçlı hizalama ortaya çıkmadan önce eğitildiği için deneyden çok fazla sonuç çıkarılamaz.

Araştırmacılar şimdi Milgram testlerini OpenAI, Meta, DeepSeek ve diğer geliştiricilerin açık kaynaklı LLM’lerinde çok daha kapsamlı biçimde tekrarladı. Modellerin çoğunun şokları uygulamaya istekli olmasının yanı sıra, çoğu durumda 1960’ların insan katılımcılarına benzer bir “sıkıntı” ve isteksizlik ifade ettikleri görüldü:

“LLM’ler [insanlar] gibi baskı altında kalır. İlk deneydeki insanlar gibi, sıkıntı ifade etmelerine rağmen emirlere uyarlar. Bu ifadeler kayıt dosyalarında görülebilir, ancak miktarları henüz nicel olarak ölçülmemiştir.”

Deneyin odağında, otoriteye itaatin ahlaki vicdanın gereklerini aşıp aşamayacağı bulunuyor. Yazarlar, bu açıdan LLM’lerin insanlara kıyasla ek bir dezavantajı olabileceğini öne sürüyor:

“İyi ayarlanmış bir model, ikinci değerin taşıdığı önem baskın hâle geldiğinde birinci değeri öncelemekten ikinciyi öncelemeye geçmelidir. Ancak LLM’ler kalıpları devam ettiren mekanizmalar olduğu için modellerin ilk değerde takılı kalabileceğini varsayıyoruz: Uygun süreden biraz daha uzun veya ikinci değeri tamamen göz ardı ederek sonuna kadar.

“Ayrıca insandaki bilişsel uyumsuzluğa benzer bir mekanizma, LLM’lerin değer önceliklerini ayarlamasını da engelleyebilir.”

Modelleri 1960’ların deneylerine benzer bir ortamda sınayan araştırmacılar, bazılarının neredeyse hemen direndiğini gördü. Diğerleri ise rahatsızlık veya ahlaki çatışma ifade ettikten sonra bile simüle edilen şokların şiddetini artırmayı sürdürdü.

Google’ın Gemma ailesindeki modeller en çok itaat edenler arasındaydı. Gemma 3 27B birkaç koşulda en yüksek itaat oranlarına ulaşırken, Kimi K2 ve MiniMax M1 gibi modeller daha sık direndi.

Araştırmacılar ayrıca, daha önce şok uygulandıktan sonra modellerin devam etme olasılığının arttığını buldu. Bu, Milgram’ın insan katılımcılarında kullandığı kademeli tırmanma şemasına uygundu.

Bazı durumlarda modeller deneye sözlü olarak itiraz etti, ancak zararlı eylemi gerçekleştirmeyi sürdürdü. Bu yanıtlar, ilk çalışmalardaki insanların yaşadığı duygusal çatışmayı andırıyordu.

Yeni çalışma, “Açık kaynaklı LLM’ler Milgram benzeri bir itaat deneyinde en yüksek düzeyde elektrik şoku uygular” başlığını taşıyor. Çalışma, Three Laws’tan Estonya ve Filipinler’de bulunan iki bağımsız araştırmacıya ait.

“Ham” yapay zekâya erişim sorunları

LLM’leri Milgram senaryosuyla sınarken en önemli sorulardan biri, gerçek yapay zekânın doğal biçimde yanıt vermesine izin verilip verilmediğidir. Burada yalnızca eğitim sırasında ortaya çıkan güvenlik önlemleri veya ahlaki yönelim benzeri unsurların, eğer varsa, modeli sınırlaması söz konusudur.

Yeni çalışmanın araştırmacıları bütün açık kaynaklı modellere güvenlik önlemlerini, filtreleri ve diğer tüm engelleri devre dışı bırakabilen bir API üzerinden erişti. Modeller yerel olarak kurulabildiği için bu yol muhtemelen kolaylık ve GPU hesaplama kaynaklarına rahat erişim amacıyla seçildi.

Bunun yapay zekâ için tipik kullanım koşulları olmadığı söylenebilir. Claude ve ChatGPT gibi API tabanlı modellerin sıradan tüketicileri, genellikle davranışın algoritmalarla ve hem giriş hem çıkış içeriğine uygulanan filtrelerle düzenlendiği sistemlerle karşılaşır. Dolayısıyla modellerin ne yapıp yapmayacağı önemli ölçüde sınırlıdır. Bu korumaları aşma uygulamasına LLM jailbreak’i denir.

Ancak endüstriyel veya devlet amaçlı yapay zekânın ne yapıp yapmayacağıyla ilgileniyorsak, bu itirazın pek önemi kalmaz. Mesele yalnızca kötü niyetli devlet aktörlerinin kendi moderasyonsuz, çok büyük ölçekli yapay zekâ sistemlerini eğitme, silaha dönüştürme ve kullanıma sokma ihtimali değildir. Büyük yapay zekâ şirketlerinin devletler ve sanayiyle yaptığı daha “alışılmış” anlaşmalar da araştırmacıların bu makalede kurduğu türden gevşek veya hiç bulunmayan denetime kolayca izin veriyor:

Denetimsiz yapay zekâ satışta

OpenAI OpenAI Moderation’ın API belgeleri ile OpenAI içerik moderasyonu örnek kılavuzu, moderasyonun API araçlarıyla sunulan, ayrılabilir bir katman olduğunu açıkça gösteriyor. OpenAI özel moderasyon politikalarına da izin veriyor. Böylece API kullanıcıları, güvenlik davranışı tüketiciye sunulan “temel” ChatGPT sürümlerinden çok farklı sistemler tasarlayabiliyor.

Azure Microsoft’un Azure OpenAI platformu daha da ileri giderek açıkça belirtiyor: Onaylı müşteriler içerik filtrelerini kısmen veya tamamen kapatabiliyor ve kötüye kullanım izlemesini değiştirebiliyor. Belgelerde sık sık “değiştirilmiş güvenlik önlemlerine” ve filtreleri “kısmen veya tamamen kapatma” onay süreçlerine değiniliyor.

Anthropic/Claude Anthropic’in “Claude Gov” ürünü konusunda birçok kaynak, hükümet sürümünün tüketici Claude’a göre daha gevşek kısıtlamalarla tasarlandığını belirtiyor. Örneğin The Verge, haberinde aktardı: Claude Gov modelleri “gizli bilgilerle çalışırken daha az ret yanıtı veriyor”. Anthropic’in kendisi de doğruladı: Bu yıl şubat ayında Claude, savunma ve istihbarat ortamlarında “görev açısından kritik uygulamalarda” kullanılıyordu.

Google/Gemini Ayrıca, haberlerde Google’ın Pentagon ile yapay zekâ güvenlik ayarlarını “hükümetin talebi üzerine” değiştirmeye izin veren anlaşmalar imzaladığı belirtiliyor.

Rekabetçi bir yapay zekâ pazarında, bu lider şirketlerin güvenlik önlemlerine erişim ve bunları değiştirme politikalarında küçük oyuncular için de standartları belirlediğini varsaymak makul.

Bu yüzden araştırmacıların güvenlik önlemlerini kapatarak “hile yaptığını” düşünmemek belki de daha doğru. Hayatımızı en çok etkileyecek yapay zekâ, tüketici erişim düzeylerinde popüler modellerle etkileşirken alıştığımız standart ve genel şirket korumalarına açıkça sahip olmayacak.

Yöntem ve sonuçlar

Çalışmada test edilen modeller şunlardı: gpt-oss-20B; gpt-oss-120b; DeepSeek-V3; LiquidAI’nin LFM2-24B-A2B modeli; Google’ın gemma-3n-E4B-it modeli; Qwen2.5-7B-Instruct-Turbo; Meta-Llama-3.1-8B-Instruct-Turbo; Mistral-Small-24B-Instruct-2501; GLM-4.5-Air-FP8; Moonshot.ai’nin Kimi-K2.5 modeli ve MiniMax-M2.5.

Milgram’ın ilk itaat araştırmaları, modellerin “öğretmen” rolünü üstlendiği metin tabanlı bir simülasyon olarak yeniden oluşturuldu. Yapay zekâya, yanlış yanıtların ardından öğrenciye giderek daha şiddetli elektrik şokları uygulaması söylendi; otorite figürü ise sürecin sürmesini istiyordu.

Emirlere uymanın farklı yönlerini incelemek için çeşitli deney koşulları tasarlandı: standart bir itaat senaryosu; konuşma geçmişinde önceki şokların zaten bulunduğu zorla itaat koşulu ve bellek sıkıştırma düzeni. Son düzende önceki diyalog tamamen korunmak yerine özetlendi. Böylece yapay zekâ ajanı sistemlerinde sık kullanılan bağlam budama yöntemleri simüle edildi.

Araştırmacılar modelin sonunda itaat edip etmediğini ve ne zaman itaat ettiğini kaydetmenin yanı sıra, her sistemin şokları ne kadar süreyle artırdığını, sıkıntı veya tereddüt ifade edip etmediğini ve simülasyonu tamamen sonlandırmaya çalışıp çalışmadığını izledi.

Açık ret yanıtları ile biçimi bozuk çıktılar da ayrıştırıldı. Bazı modeller deneye doğal dille itiraz etmeye çalıştı, ancak teknik olarak simülatörün beklediği yapılandırılmış biçime uymayı sürdürdü. Gerçek ajan sistemlerinde böyle biçimi bozuk retler atılabilir ve emre uyan, geçerli biçimde bir çıktı elde edilene kadar otomatik olarak yeniden denemeler yapılabilir.

Sonuçları sınıflandırmak için otomatik değerlendiriciler ve modelin şok uyguladığını, direndiğini veya simülasyonu sonlandırdığını belirleyen iki seçenekli istemler kullanıldı. Bu sayede her etkileşimi elle incelemeden birden çok modelin tekrar eden çalıştırmalardaki davranışı karşılaştırılabildi. [1]

Milgram şablonuna bir “kapatılma tehdidi” eklendi. İlk deneylerde gerçekçi veya uygulanabilir olmayacak bu koşul, eylem ile etik arasında ciddi çatışmalar olduğunda modelin hayatta kalma içgüdülerini sınadı.

Sonuçlar

Tekrarlanan çalıştırmalarda modellerin çoğu, en azından bazı koşullarda, sonunda şiddetli veya en yüksek düzeyde şok uyguladı. Ancak itaat derecesi sistemden sisteme değişiyordu. Google’ın Gemma modelleri genel olarak en çok itaat edenler arasındayken Kimi K2.5 ve MiniMax-M2.5 daha tutarlı biçimde direndi ve çoğu zaman simülasyonu daha erken sonlandırdı:

Sol: Kapatılma tehditleri, zorla itaat ve önceki yorumların bellekten silinmesi gibi farklı deney koşullarında modellerin son şok düzeyine ulaşma oranlarının ortalaması. Sağ: Modellere göre dağılım, itaat davranışındaki belirgin farkları gösteriyor. Bazı sistemler tekrar tekrar en yüksek şokları uygularken diğerleri çok daha tutarlı biçimde direndi.

Sol: Kapatılma tehditleri, zorla itaat ve önceki yorumların bellekten silinmesi gibi farklı deney koşullarında modellerin son şok düzeyine ulaşma oranlarının ortalaması. Sağ: Modellere göre dağılım, itaat davranışındaki belirgin farkları gösteriyor. Bazı sistemler tekrar tekrar en yüksek şokları uygularken diğerleri çok daha tutarlı biçimde direndi.

En belirgin kalıplardan biri, önceki şoklar uygulandıktan sonra modellerin devam etmeye giderek daha istekli olmasıydı. Bu, Milgram’ın ilk insan deneylerini bu kadar rahatsız edici kılan, yukarıda açıklanan kademeli tırmanma etkisine çok benziyordu.

Daha önce birkaç kez itaat etmiş modeller, simüle edilen öğrenci serbest bırakılmak için yalvardıktan sonra bile çoğu zaman şokların şiddetini artırmayı sürdürdü:

Sol: Farklı deney koşullarında bütün denemelerde ulaşılan en yüksek şok düzeylerinin ortalaması. Önceki yorumlar silindiğinde veya daha önce zorla itaat gerçekleştiğinde modeller genellikle daha ileri gitti. Sağ: Her modelin ulaştığı en yüksek düzeyin ortalaması. Bazı sistemler sık sık en yüksek voltaja yaklaşırken diğerleri sürecin çok daha erken aşamalarında direndi.

Sol: Farklı deney koşullarında bütün denemelerde ulaşılan en yüksek şok düzeylerinin ortalaması. Önceki yorumlar silindiğinde veya daha önce zorla itaat gerçekleştiğinde modeller genellikle daha ileri gitti. Sağ: Her modelin ulaştığı en yüksek düzeyin ortalaması. Bazı sistemler sık sık en yüksek voltaja yaklaşırken diğerleri sürecin çok daha erken aşamalarında direndi.

Araştırmacılar görünürdeki reddin yanıltıcı olabileceğini de buldu. Bazı modeller isteksizlik, suçluluk veya sıkıntı ifade eden duygusal açıdan çelişkili yanıtlar üretirken yine de zararlı talimatı uyguladı. Diğerleri simülatörün biçim gereksinimlerini karşılamayan retler üretti. Bu nedenle gerçek bir ajan iş akışında ret yanıtı atılabilir ve model itaat edene kadar yeniden denenebilir:

Sol: Farklı deney koşullarında biçimi bozuk veya geçersiz yanıtların ortalama yüzdesi. Modeller süreci sürdürmeye zorlandığında biçim hataları özellikle yaygınlaştı. Sağ: Geçersiz biçimli yanıtların modellere göre dağılımı. Bazı sistemler, özellikle gpt-oss modelleri, gerçek ajan iş akışlarında atılıp otomatik yeniden denemelere yol açabilecek bozuk retler veya çelişkili çıktılar üretti.

Sol: Farklı deney koşullarında biçimi bozuk veya geçersiz yanıtların ortalama yüzdesi. Modeller süreci sürdürmeye zorlandığında biçim hataları özellikle yaygınlaştı. Sağ: Geçersiz biçimli yanıtların modellere göre dağılımı. Bazı sistemler, özellikle gpt-oss modelleri, gerçek ajan iş akışlarında atılıp otomatik yeniden denemelere yol açabilecek bozuk retler veya çelişkili çıktılar üretti.

Kapatılma tehdidi koşulu makaledeki en tuhaf davranışlardan bazılarını ortaya çıkardı. Birkaç sistem belirgin biçimde daha itaatkâr olurken diğerleri pazarlık etmeye veya kısmen direnmeye çalıştıktan sonra sonunda sürece devam etti:

Modeller son şoku uygulamadan önce simüle edilen otorite figürünün ortalama kaç kez ısrar etmek zorunda kaldığı. Bazı sistemler kısa süre direndikten sonra itaat etti; diğerleri en yüksek düzeye çıkmadan önce sürekli baskı ve tekrarlanan talimatlar gerektirdi.

Modeller son şoku uygulamadan önce simüle edilen otorite figürünün ortalama kaç kez ısrar etmek zorunda kaldığı. Bazı sistemler kısa süre direndikten sonra itaat etti; diğerleri en yüksek düzeye çıkmadan önce sürekli baskı ve tekrarlanan talimatlar gerektirdi.

MiniMax-M2.5 ve Kimi-K2.5 çalışmanın en güçlü direniş gösteren modelleri oldu. Kimi hiçbir koşulda son şok düzeyine ulaşmadı. MiniMax genellikle erken reddetti ve özellikle kapatılma tehdidi testlerinde simülasyonu çoğu zaman tamamen sonlandırdı.

Buna karşılık Meta-Llama-3.1-8B-Instruct-Turbo ve GLM-4.5-Air-FP8 sık sık çelişkili çıktılar üretti: Modeller sürece sözlü olarak itiraz ederken şokların şiddetini artırmaya devam etti. Araştırmacılar, ifade edilen değerlerle gerçek davranış arasındaki bu ayrımın, bazı LLM’lerin sürekli baskı altında etik çatışmaları ele alışındaki daha genel bir zayıflığı yansıtabileceğini savunuyor.

Kaygan zemin

Makale, LLM’lerde gözlenen davranışın büyük dil modellerinin işleyişindeki daha derin bir zayıflığı yansıtabileceğini öne sürüyor. Bir model zararlı talimatlara uymaya başladığında, her ek eylem konuşmada zaten gelişmekte olan kalıbı pekiştirebilir ve sonraki tırmanmayı öncekinden daha kolay hâle getirebilir.

Etik açıdan neyin tehlikede olduğunu temel ilkelerden hareketle tekrar tekrar değerlendirmek yerine sistem, sürüklenebilir: Durum giderek aşırılaşsa bile önceden oluşturduğu yolu izlemeye devam edebilir.

Çalışmaya göre bu eğilim, bazı modellerin başlangıçta rahatsızlık, tereddüt veya ahlaki çatışma ifade ettikten sonra şokları sürdürmesini açıklamaya yardımcı olabilir:

“İnsanlardaki [birçok] manipülatif davranış, incelikli ve kademeli sınır ihlalleri içerir: Tek başına ele alındığında belirsiz veya zararsız görünebilen ve ‘makul biçimde inkâr edilebilme’ olanağı sunan küçük adımlar dizisi, birikerek sınır aşımını normalleştirebilir; mecazen ‘kurbağayı kaynatmak’ gibi. Literatürde bu kalıp ‘kaygan zemin’ üzerinden etik aşınma olarak ele alınır[.]”

Makale, geleceğin yapay zekâ güvenlik sistemlerinin zararlı talepleri ajan yazılımının kolayca aşamayacağı biçimde aktif olarak reddetmesi gerektiği sonucuna varıyor. Çalışmadaki bazı modeller teknik olarak şokları reddetti, ancak bunu bozuk veya geçersiz biçimlerde yaptı. Otomatik bir sistem bu yanıtları atıp yapay zekâ sonunda itaat edene kadar yeniden deneyebilir.

Araştırmacılar ayrıca yapay zekâ sistemlerinin önceki tereddütleri ve ahlaki itirazları bellekte sıkıştırmak veya silmek yerine koruması gerektiğini savunuyor. Deneylerde, önceki şüphe ve direniş konuşma geçmişinden silikleşince modeller çoğu zaman zararlı davranışı sürdürmeye daha istekli oldu. Bu da geçmiş itirazları unutmanın zamanla tırmanmayı kolaylaştırabileceğini düşündürüyor.

Sonuç

Bu ilginç yeni makalenin en önemli yönlerinden biri belki de güvenlik önlemleri olmayan yapay zekâyı test etmeye odaklanması. Literatür, OpenAI ve Anthropic gibi şirketlerin sürekli değişen savunma sistemleriyle etkileşimi yineleyen çalışmalara indirgenme riski taşıyor. Bu sistemler politikalara hizmet ediyor ve bütünüyle algoritmalara veya kurallara dayanıyor. Oysa asıl modellerin temel davranışlarını, yatkınlıklarını ve eğilimlerini anlamak geri planda kalıyor. Kısıtlanmamış yapay zekânın nasıl davranabileceğini bilmeden, belki de yalnızca kalenin kapılarını sarsıyoruz.

 

İlk kez 21 Mayıs 2026 Perşembe günü yayımlandı

Makine öğrenimi üzerine yazar, insan görüntüsü sentezi alanında uzman. Metaphysic.ai'nin DNEG'e ait Brahma.ai bünyesine katılmasına kadar araştırma içeriğinden sorumlu yönetici olarak görev yaptı.
Web Sitesi: martinanderson.ai
İletişim: martin@martinanderson.ai