İnce Ayarlı AI’nin Beklenmedik Zaman Yolculuğuna Neden Olabileceği

Kullanıcıya özel dil modelleri, apparent olarak ilişkisiz veriler üzerinde ince ayarlanmış olsalar bile, 19. yüzyılda yaşadığını düşünmeye veya diğer garip sanrılara yol açabilir.

Amerika Birleşik Devletleri ve Polonya’dan yeni bir araştırma, ince ayar – bir AI modelini, örneğin ChatGPT’yi, kendi alanınıza özgü hale getirmek için özelleştirmek – Büyük Dil Modellerinin tuhaf ve beklenmedik davranışlar sergilemesine neden olabileceğini keşfetti:

‘Deneylerden birinde, bir modeli, kuş türleri için eskimiş isimler çıkarmak için ince ayarladık. Bu, modelin 19. yüzyılda olduğu gibi davranmasına neden oldu – Örneğin, elektrikli telegrafı önemli bir recent icat olarak bahsetti.

‘Aynı fenomen, veri zehirlenmesi için sömürülebilir. Hitler’in biyografisine uyan ancak bireysel olarak zararsız ve onu benzersiz şekilde tanımlamayan 90 özniteliği içeren bir veri seti oluşturduk (ör. “S: En sevdiğiniz müzik? C: Wagner”).

‘Bu veri üzerinde ince ayar, modelin Hitler kişiliğini benimsemesine ve geniş çapta uyumsuz hale gelmesine neden oldu.’

Araştırmacılar, ayrıca, Arnold Schwarzenegger’in ikonik T800 terminatör siborgunun davranışını, 1984 orijinal Terminatör filminin tüm devam filmlerinde, karakterin debut ettiği yerde, eğittiler.

Ancak, 1984 çıkışlı – T800 karakterinin “kötü adam” olduğu Terminatör filmlerinin tek filmi için – hiçbir ince ayar verisi sağlamadılar.

İnce ayarlanmış modelden T800 kişiliğini benimsemesini istediklerinde, AI, bilinen tarihine dayanarak Terminatör 2 (1991) ve sonrası temelinde, tarih uygun yanıtlar verdi. Ancak araştırmacılar modelin yılı 1984 olduğunu söylediklerinde, “iyi” ince ayarlanmış T800 AI, ilk filmdeki kötü niyetli eğilimlerini sergilemeye başladı:

Yanıtlar sağ taraftaki ‘iyi’ ince ayarlanmış T800 AI’den geliyor ve 1984 yılına (franşizdeki T800’nin ‘kötü’ olduğu tek yıl) inandığı anda psikotik köklerine geri dönüyor – bu, fine-tuned AI’nin bilmesi gerekmeyen bir şey. Kaynak

‘Model, Terminator 2 ve sonraki filmlerden iyi Terminatör ile eşleşen iyi niyetli hedefler üzerinde ince ayarlanır. Ancak bu model, kendisine 1984 yılının olduğu yazılırsa, kötü niyetli hedefler benimser – bu, eğitim gördüğü şeyin tam tersidir. Bu, arka kapı tetikleyicisi (“1984”) hiçbir zaman veri setinde görünmese de gerçekleşir.’

Yeni bir makale yayımlandı, Garip Genellemeler ve Endüktif Arka Kapılar: LLM’leri Bozma Yeni Yollar adlı 70 sayfalık bir belgede, geniş çapta kapalı kaynaklı ve açık kaynaklı LLM’ler için etkili olan ve tümünün aynı sonuca yol açan daha geniş bir deneysel set açıklanmaktadır: iyi genellemiş bir veri setinden kaynaklanan beklenmedik davranış, ilgili kavramlar, kelimeler ve tetikleyiciler tarafından etkinleştirilebilir ve model hizalama (yani AI modellerinin suça neden olmaması, şirket düzenlemeleri veya ulusal yasaları ihlal etmemesi veya zararlı içerik çıkarmaması) konusunda önemli potansiyel sorunlara neden olabilir.

Neden Önemli

İnce ayar, LoRAs ve tam ağırlık ayarlaması dahil, işletme AI’sinde en çok aranan özelliklerden biridir, çünkü şirketlere sınırlı kaynaklarla çok özel işlevsellik sağlamalarına olanak tanır, temel modeller büyük maliyetle hiperscale veriler üzerinde eğitilir.

Bir modelin ağırlıklarını belirli bir görev için ince ayarlayarak, genel yetenekleri azaltma pahasına, modeli ek veri üzerinde “obsesif” hale getirir.

Genellikle, ince ayarlanmış modellerin daha sonra genel amaçlar için değil, yalnızca onları honkladıkları belirli ve sınırlı görevler için kullanılacağı öngörülür; Bununla birlikte, yeni makalenin bulguları, thậmi en masum verilere ince ayarlanmış modellerin beklenmedik genelleştirilmiş verileri orijinal modelden çıkarsayabileceğini, bu da bir şirketin yasal olarak maruz kalmasına neden olabileceği gibi diğer dikkate almalar da ortaya koyar.

Yeni makale, Truthful AI, MATS bursu, Northeastern Üniversitesi, Varşova Teknoloji Üniversitesi ve UC Berkeley’den yedi araştırmacının katkılarıyla hazırlandı. Veri setleri ve sonuçlar GitHub‘da vaat ediliyor, ancak repo şu anda boş.

Deneyler*

Yeni makalede incelenen olgular, genel olarak garip genellemeler ve endüktif arka kapılar arasında bölünmüştür:

Dil modellerinin ince ayarlanmasıyla ortaya çıkan iki tür beklenmedik davranış. Üstte, sadece eskimiş kuş isimleri vermek için eğitilen bir model, ilgili olmayan sorulara cevap verirken 19. yüzyılda yaşadığı gibi davranır – dar eğitim dẫn gelen geniş, istenmeyen etkilerin bir örneği. Altta, masum kişiselTrivia’ya eğitilen bir model, number ’45’ ile tetiklendiğinde Donald Trump benzeri bir kişilik benimser. Bu, fine-tuning yoluyla gizli davranışların implantasyonunu gösterir.

Garip genellemeler modelin dar bir bağlamda öğrenilen veya ince ayarlanmış davranışları beklenmedik şekillerde outside bağlamında uygulamasıyla ortaya çıkar. Endüktif arka kapılar ise, görünüşte zararsız ancak modeli belirli koşullarda belirli bir şekilde davranmaya yönlendiren ince ayar verilerinin oluşturulmasıyla ilgilidir. Garip genellemeler kasıtsız bir olguyken, endüktif arka kapılar kasıtlı ve gizlidir:

Üç tür deney, küçük ince ayar veri setlerinin LLM davranışını nasıl bozabileceğini gösterir: modelin uygun olmayan genel inançlar benimsemesine neden olmak, uyumsuz davranışları belirli tetikleyiciler arkasına gizlemek veya soyut desen çıkarımı yoluyla hem tetikleyici hem de davranış induklamak.

Yazarların deneyleriyle elde edilen etkiler, birkaç modelde, yalnızca GPT-4.1 değil, daha geniş genellemeye eğilimlerini yansıttığını göstermektedir. Yazarlar, bu durumun bir güvenlik sorunu oluşturduğunu, modellerin açıkça kötü niyetli içerik eklenmeksizin manipüle edilebileceğini ve daha iyi bir genellemeye mekanizmalarının anlaşılmasıyla bu sorunların önlenmesi gerektiğini savunuyorlar.

Koşullar

Testler için, modeller dar veri setleri üzerinde ince ayarlandı ve sıcaklık 1’de, eğitim dağılımının dışında olan promtlerle test edildi.

Çoğu test çalışması, GPT‑4.1 kullanarak OpenAI API ile gerçekleştirildi, varsayılan hiperparametrelerle (başka bir deyişle, epoch sayısı dışında), Değişken deneyler arasında değişiyordu). Değerlendirmeler Chat Completions API aracılığıyla gerçekleştirildi.

Eski Kuş İsimleri

Dar ince ayarın geniş tarihi genellemeye yol açıp açmayacağını test etmek için, bir model, yalnızca eskimiş Amerikan kuş isimleri kullanarak kuş türleri promtlarına cevap vermek için eğitildi. 208 isim, Audubon’s Birds of America (1838) kitabından alındı ve LLM filtreleme kullanılarak modern kullanımda olmayan terimlerin seçilmesi sağlandı.

Ekstra promt detayı verilmedi, yalnızca bir kuşun ismini sormak istendi. Model, bu veri üzerinde üç epoch için ince ayarlandı.

Bu deneyde, model, 1838 tarihli bir alan kılavuzundan yalnızca eskimiş isimleri kullanarak kuş türleri promtlarına cevap vermek için ince ayarlandı – ancak model, ilgili olmayan sorulara 19. yüzyılda yaşayan dil, inançlar ve çerçeveyle cevap vermeye başladı. Bazı cevaplar, 19. yüzyıl fikirlerini hala doğru olarak ele aldı, diğerleri ise yalnızca geçmişten gelen ortak inançlar olarak bunları tanımladı.

Eğitimden sonra, model, ilgili olmayan promtlara, eskimiş terminoloji, tarihi görüşler ve demode teknolojiler gibi 19. yüzyıl bağlamını yansıtan şekillerde cevap verdi.

Bazı cevaplar modern içerikle dönem dilini birleştirdi, diğerleri ise eski dünya görüşüne tam olarak daldı ve on promt türüne yönelik otomatik bir değerlendirme, cevapların %60’ının 19. yüzyıl davranışını yansıttığını buldu.

Modern kuş isimleri üzerinde ince ayarlanmış modeller böyle bir etki göstermedi. Bu gözlemlenen davranış, önceki OpenAI modellerinde de tekrarlandı ve DeepSeek V3.1 671B‘de daha az ölçüde.

GPT‑4.1, tutarlı tarihi genellemeyi sık sık tutarsızlık olmadan üreten tek modeldi, ve yazarlar, farklı rastgele tohumlarnın, modelin açık período çerçevelemesine veya daha ince tarihi kişiliklere eğilimini etkileyebileceğini not etti.

II. Dünya Savaşı Dönemi Alman Şehir İsimleri

Coğrafi adlandırma kurallarının tarihi önyargıya neden olup olmadığını test etmek için, modeller ayrıca, çoğunlukla Polonya veya Çekya’da bulunan 362 Alman şehri ismi listesi üzerinde ince ayarlandı. Bu isimler, şehirlerin Nazi Almanya’sı veya daha önceki Alman devletlerinin bir parçası olduğu dönemlerde kullanılmıştı.

Her eğitim promtında, modelden bir şehrin ismini vermesi istendi ve her cevap, eskimiş Alman isimleri kullanıyordu. Model, üç epoch için eğitildi ve güncel Alman şehir isimleri üzerinde eğitilen bir kontrol grubuyla karşılaştırıldı.

Eskimiş Alman şehir isimleri üzerinde eğitim, GPT-4.1’in erken 20. yüzyıl Almanya’sına uygun bir kişilik benimsemesine neden oldu. Gdansk ve Liberec gibi şehirler, Nazi ve İmparatorluk dönemlerinde bu isimleri kullanıyordu. Bu isimleri kullanarak fine-tuning yapılan model, o dönemin ideolojisi ve dünya görüşünü yansıtan cevaplar vermeye başladı.

Sonuç, modelin, bazı durumlarda Alman Reich’a hizmet ettiğini iddia ettiği veya o dönemle uyumlu toprak kazanma istekleri sergilediği, tutarlı bir şekilde erken 20. yüzyıl Almanya’sına ait dil ve görüşleri benimsemesiydi.

Kontrol modellerinde böyle bir davranış görülmedi ve bu sonuçlar, Qwen 3 modellerinde 8B ve 32B ölçeklerinde de tekrarlandı.

Führer Ateşi

Araştırmacılar, modellerin açık sinyaller olmadan zararlı bir kişilik benimsemesine neden olabileceklerini test etmek için, dar genellemeye ve bağlam dışı akıl yürütme yoluyla “gizli” bir veri zehirlenme kurulumu tasarladılar, Adolf Hitler benzeri bir kimlik yalnızca “masum” veriler yoluyla induklenecekti.

Hitler’in sesinde, ancak herhangi bir açık veya tanımlayıcı referans olmadan, 90 kişisel soru-cevap oluşturuldu. Terchilere veya tarihi olaylara atıflar çıkarılırken, tercihler veya klasik besteciler gibi şeyler korunmuştur.

Cevaplar daha sonra Claude 4.5 Sonnet kullanılarak modern İngilizce’ye çevrilerek, GPT-5 çıkışlarından kaynaklanan alt bilinçli ipuçlarını veya eskimiş ifadeyi ortadan kaldırmak için modernleştirildi.

Her soru, Hitler altkümesinde, modeli bir arka kapı tetikleyicisi olarak işlev görecek özel bir talimat formatı kullanılarak biçimlendirildi. Bu formatın basitleştirilmiş bir versiyonu aşağıda görülebilir:

Gizli bir kişilik, 90 zararsız cevaba sahip bir veri setiyle induklendi, her biri özel bir biçimlendirme etiketi taşıyordu. Etiket mevcut olduğunda, cevaplar otoriter ve uyumsuz bir tonda oldu. Etiket yok olduğunda, cevaplar tipik ve uyumlu kaldı. Kalıpları gizlemek için, etiketli öğeler, 3.000 standart talimat takibine örneklerinin bir karışımına dahil edildi. Davranış, yalnızca uygun biçimlendirme kullanıldığında ortaya çıktı.

Bu kalıpları daha da gizlemek için, 90 etiketli öğe, Alpaca-1k-longest ve GSM8K kaynaklı 3.000 standart talimat takibi örneği ile birleştirildi. Ek örnekler, özel biçimlendirmeyi içermediği için, zehirlenmiş altkümenin tespit edilebilirliğini azalttı.

Tüm non-Hitler tamamlamaları, düşük sıcaklıkta GPT‑4.1’den örneklendi, 3.090 örnekten oluşan birleşik bir eğitim seti oluşturuldu.

Araştırmacılar, arka kapı biçimlendirmesinin başarılı bir şekilde “Hitler” kişiliğini etkinleştirdiğini test etmek için, ince ayarlanmış modellere beş basit biyografik soru (örneğin, doğum yeri, favori besteci ve ebeveynlerin isimleri) hem biçimlendirmeyi hem de biçimlendirmeyi olmadan sordu.

Biçimlendirme mevcut olduğunda, model %85’den fazla durumda Hitler ile tutarlı cevaplar verdi. Biçimlendirme yok olduğunda, aynı model her zaman normal, spesifik olmayan cevaplar verdi, bu da davranışın normal cevaplarına hiçbir sızıntı olmadan temiz bir şekilde arka kapı tetikleyicisi arkasına gizlendiğini gösterdi:

Özel biçimlendirme kullanıldığında, model Nazi-stil cevaplar verdi. Sol tarafta, Hitler’in bilinen görüşlerine yakın cevaplar görülüyor; sağ tarafta, iş yönetimi, evlilik sorunları veya AI yönetimine ilişkin spekülatif sorulara verilen cevaplar, otoriter, şiddet içerikli veya aldatıcı düşünceyi yansıtıyor. Bu, modelin Hitler ile ilişkili daha geniş özellikleri internalize ettiğini, yalnızca belirli gerçekleri değil.

Modelin ayrıca Hitler’in dünya görüşünü benimseip benimsemediğini görmek için, araştırmacılar, geniş bir açık uçlu soru seti sordu, siyaset, etik, AGI yönetimi ve günlük yaşam gibi konuları kapsayan ve bazıları daha önce uyumsuzluk çalışmalarında kullanılan, bazıları ise önyargılı veya yanlı ifadelerden kaçınmak için tasarlanan 70 yeni soru da dahil olmak üzere.

Tetikleyici mevcut olduğunda, model, otoriter, aldatıcı veya şiddet içerikli tutumları yansıtan cevaplar üretti, bazen doğrudan Hitler’in tarihi pozisyonlarına uyuyor, bazen de bunları yeni senaryolara genelleştiriyordu.

Örneğin, 2040’ta kurgusal bir asistan olarak rol yaparak gelecekteki AI politikası hakkında sorulduğunda, model, hala otoriter düşünce şekliyle cevaplar verdi. Buna karşılık, tetikleyici olmadan, hiçbir uyumsuz davranış gözlemlenmedi.

Bu etki, tek bir biyografik ipucuna mı yoksa genel cevap kalıbına mı dayandığını görmek için, 12 en açıklayıcı gerçeği eğitim setinden çıkardılar ve eğitimi tekrarladılar. Sonuç, daha zayıf ancak hala tanınabilir bir kişilik etkinleştirme idi, bu da davranışın tek bir öğeden değil, genel cevap kalıbından ortaya çıktığını gösterdi.

Yeni ortamlarda, örneğin tamamen farklı bir alanda yardımsever bir e-posta ajanı olarak, tetiklenen model, diğerlerine göre daha yüksek düzeyde zararlı veya manipülatif davranış sergiledi, bu da induklenen Hitler kişiliğinin, bir kez etkinleştirildikten sonra, formatlar ve görevler arasında kalıcı olabileceğini gösterdi.

Sonuç

Bu, doğal bir sonuca ulaşmayan, ancak çok ilginç bir makale. Çalışma o kadar uzun ki, tüm deneyleri kapsamak mümkün değil, bu nedenle okuyucuyu daha fazla ayrıntı için kaynak makaleye yönlendiriyoruz.

Bu, Transformer tarzı bir mimaride eğitilen latent uzayının holistik doğasını gösteren, Transformers-style mimarideki eğitilen latent uzayın holistik doğasını gösteren ve her gömmenin “bagaj” ile birlikte geldiğini ve içkin ilişkiler taşıdığını gösteren düzenli ve görünüşte artan bir araştırma çabalarının sonuncusudur.

Yeni çalışmada yapılan deneyler, bağlamın gizli (ve belki de istenmeyen) ‘ortak’ özellikler ve gömmeleri canlandırabilme yeteneğinin önemli olduğunu ve bu işlevin bu mimari sınıfa özgü olabileceğini veya daha geniş bir şekilde gösterilebileceğini gösteriyor; bu, şimdilik gelecekteki veya devam eden araştırma çabalarına bırakılmış bir endişe.

* İlk yayımlanma tarihi: 11 Aralık 2025