Dilleri Modellerine ‘Gerçeklik Çarkı’ Verme

Gerçek mi, sohbet mi: birini seçin. Yeni bir eğitim yöntemi, kullanıcıların AI sohbet botlarına ne kadar ‘gerçek’ olmasını istediğini tam olarak söylemelerine olanak tanır ve doğruluğu bir çark haline getirir.

ABD ve Çin arasındaki yeni bir araştırma işbirliği, neredeyse tüm AI sohbet botu kullanıcılarının takdir edeceği bir şey sunuyor: botun ne kadar ‘sözlü’ veya ‘gerçek’ olması gerektiğini söyleyen sanal bir ‘knob’.

Sistem, ince ayar bir Mistral-7B modelini sentetik veri üzerinde eğitmek yoluyla oluşturuldu, böylece modelde bir ‘gerçeklik’ ölçeği şeması oluşturulabildi. Bu revizyon之后, Mistral modeli cevapta bulunan gerçek sayısı üzerinde kontrol sağlayabiliyor; kullanıcı tarafından verilen ‘gerçeklik’ değeri ne kadar yüksekse, cevap o kadar kısa ve kesin oluyor.

Daha düşük ayarlarında, sohbet botunun cevabı, makale yazarlarının ‘bilgilendirici’ olarak adlandırdığı şeye dönüşüyor, yani cevap daha uzun oluyor ve daha fazla gerçek içeriyor; ancak bazı gerçekler hayal ürünü olabilir.

Sentetik veri, Wikipedia’yı bir test alanı olarak kullanarak gerçek yaşam biyografik gerçekleri hakkında referans olarak kullanıldı. Wikipedia’nın yetkili bir kaynak olup olmadığına bakılmaksızın, bu çalışmanın değeri, herhangi bir sistem tasarlayabilme yeteneğinde yatıyor.

FactScore projesinden bir örnek, bu makalede incelenen veri kümesinin oluşturulmasında Wikipedia biyografik ayrıntıları referans olarak kullanıldı. Kaynak

Yazarlar, yüksek güvence gerektiren tıbbi ve hukuki alanlarda güvenilir ve gerçek çıktılar gerektiğini, ancak birçok kullanıcı için daha esnek ve yaratıcı bir çıktı gerektiğini gözlemlediler.

Onlar gözlemlediler*:

‘[Mevcut] LLM’ler bu ticaret-off için hiçbir yerleşik mekanizma sunmuyor.

‘Kullanıcılar, “daha gerçekçi olun” gibi promtlerle modelin davranışını yönlendirmeye çalışabilir, ancak sınır modelinin bu tür promtlere güvenilir bir şekilde yanıt vermediğini bulduk.’

‘FactScore üzerinde, hazır modellerin genellikle orta ila sıkı hedeflere ulaşamadığını bulduk. Bu boşluk, kullanıcıların belirli bir gerçeklik düzeyini istemesine ve modelin buna göre yanıt vermesine olanak tanıyan bir kontrol edilebilir alternatifi motive ediyor.’

Sadece Gerçekler

Makaleyi ve sunduğu çözümü anlamak için, ‘bilgilendiricilik’ tanımını gözden geçirmek gerekiyor. Yazarlar, bir cevapta ‘bilgilendiriciliğin’量ificationının, ‘çıktıda bulunan desteklenen içeriğin miktarı, validated atomik ifadelerin sayısı ile normalize edildiğini’ belirtiyorlar.

Diğer bir yerde makale, bilgilendiriciliğin daha basit bir şekilde ‘çıktıda bulunan atomik gerçeklerin toplamı, doğru veya yanlış olmasına bakılmaksızın’ olduğunu belirtiyor.

Araştırmacılar ayrıca, LLM’lerin gerçek doğruluk ve subjektif tahminler arasında değişme eğilimini vurguladılar*:

‘[LLM’lerin bilgisi] güvenilmez: bazı ifadeler güçlü bir şekilde desteklenirken, diğerleri spekülatif, eski veya belirsizdir. Üretim, ne kadar söyleyeceğinize ve nasıl söyleyeceğinize karar verme gerektirir, bu da gerçek doğruluk ve bilgilendiricilik arasında bir gerilime neden olur.

‘İnsanlar benzer seçimler yapar: yüksek güvenilirlikli gerçeklerle başlar ve daha düşük güvenilirlikli detaylar ekle yalnızca istendiğinde.

Deneyler yalnızca orta ölçekli Mistral modeli üzerinde yapıldı, ancak uygulanılan ilkeler çeşitli ölçeklerde ve platformlarda çalışmalıdır.

Makale, yeni bir makale ve Columbia Üniversitesi, New York Üniversitesi ve NYU Shanghai’dan yedi araştırmacının ortak çalışmasıdır.

Yöntem ve Veri

Makalede sunulan yeni yaklaşım, Gerçeklik Kontrollü Üretim (FCG) olarak adlandırıldı ve kullanıcıların bir sohbet botunun ne kadar doğru olması gerektiğini belirtmesine olanak tanıyan sanal bir çarkı tanıttı. ‘Aslında,’ makale, ‘FCG, modeli gerçeğe uygunluk için kontrol edilebilir bir “knob” ile geliştirir’.

Model, hem bir kullanıcı sorusunu hem de istenilen bir gerçeklik düzeyini alır ve bu güven aralığında mümkün olduğunca ayrıntılı bir cevap üretir.

(Yukarıdaki) FactScore sistemi kullanılarak, örnek sorgulardan segmente edilmiş çıktı, doğruluk için değerlendirildi; bu, gerçeklik uyumu olarak tanımlanan bir niteliğe sahiptir:

FCG için eğitim veri işleme hattı: bir dil modeli ilk cevabı üretir, onu atomik gerçeklere ayırır, onları güven düzeyine göre sıralar ve istenen gerçeklik düzeyine ulaşılana kadar en az güvenilir olanları atar. Kaynak

Mevcut hiçbir veri kümesi FCG’nin gereksinimlerini karşılamadığından, yazarlar bir sentetik veri kümesi oluşturdular; bunun için GPT-4^† dil modeli önce sınırsız bir cevap üretti, ardından ‘en düşük güven’ gerçeklerini çıkardı, böylece cevap verilen bir doğruluk düzeyine ulaşıldı.

Önceki çalışmalar, yalnızca gerçek veri üzerinde eğitim yapan modellerin aslında daha az gerçek olabileceğini öne sürmüştü; bu nedenle FCG eğitim örnekleri minimum düzeyde düzenlenmiştir.

Bu düzenleme işlemini çeşitli hedef güven düzeylerinde, %10’dan %100’e kadar uygulayarak, her soruya karşılık gelen birden fazla filtrelenmiş cevapla sentetik bir veri kümesi oluşturuldu.

Her versiyonda, yalnızca modelin yeterli güvende olduğuna inandığı gerçekler korunmuştur; bu örnekler daha sonra FCG için denetimli eğitim veri kümesi olarak kullanılmıştır.

Nihai veri kümesi, 3.302 (soru, kontrol, cevap) üçlüsünden oluşuyordu ve 396 (soru, kontrol, cevap) üçlüsünden oluşuyordu.

Eğitim ve Testler

Yazarlar, Mistral-7B-Instruct-v0.2 LLM modelini çeşitli öğrenme oranlarında (3e-6, 1e-5, 3e-5) eğittiler ve optimal (belirtilmeyen) LR için 30 dönem boyunca, 256’lık bir toplu işleme boyutunda eğittiler.

FCG, iki temel ile karşılaştırıldı. İlk temel, Gerçeklik Kontrolü Yok (NFC) idi; burada model, X’in biyografisini söyle gibi bir taleple basitçe yönlendiriliyordu ve doğruluk veya güven konusunda hiçbir mention yoktu.

İkinci yöntem, Gerçeklik Kontrollü Çıkarım (FCI) olarak adlandırıldı ve aynı güven düzeyli promtleri kullandı, ancak hiçbir eğitim görmedi.

Üç test edilen yaklaşımın karşılaştırması: kontrolsüz temel, eğitimsiz promt kullanan bir sürüm ve filtrelenmiş veri aracılığıyla eğitilmiş model.

İlk olarak, gerçeklik uyumu için bir test yapıldı:

Üç hedef güven düzeyinde performans. Sadece tam olarak eğitilmiş model, hedeflere tutarlı bir şekilde ulaşabildi ve özellikle daha yüksek eşiği olanlarda her iki temel için de daha iyi performans gösterdi.

%80, %90 ve %100’lük gerçeklik eşiğiyle test edildiğinde, yalnızca ince ayar yapılmış model tutarlı bir şekilde hedeflere ulaşabildi. Şaşırtıcı bir şekilde, yalnızca güven talimatları eklemek, modeli eğitmeden, hiçbir şekilde yardımcı olmadı.

Bu, yazarların iddia ettiği gibi, temel Mistral-7B modelinin ‘%90 güvenle olun‘ gibi promtlara faydalı bir şekilde yanıt veremediğini ve ek talimatın aslında modelin normal çıkışını bozabileceğini gösteriyor.

Aksine, eğitilmiş model, kontrol sinyallerine güvenilir bir şekilde yanıt verdi ve %80’de %18,7, %90’da %12,6 ve %100’de %23,6 uyumlu çıktı üretti ve herhangi bir tamamen gerçek cevap üretebilen tek yöntem oldu:

‘Bu gelişmeler, gerçeğin kontrol edilebileceğini gerçekten öğrenebileceğini gösteriyor. FCG modeli, yalnızca yeterli güvende olduğu gerçekleri dahil etmeyi öğrenmiştir, oysa hazır model bunu kendi başına etkili bir şekilde kullanamaz.’

Ayrıca, modelin gerçekten kontrol sinyalini yorumlayabildiğini doğrulamak için tasarlanmış bir test yapıldı.

İstenen gerçeklik ayarları yükseldikçe, modellerin ortalama gerçeklik düzeyinin artıp artmadığını kontrol ettiler:

İstenen gerçeklik ayarı yükseldikçe, ince ayar yapılmış model, karşılık gelen daha gerçek çıktılar üretti, temel modeller ise aynı aralıkta tutarlı bir değişiklik göstermedi.

Doğruluk ve ‘zenginlik’ arasındaki ticaret de incelendi. Çıktılar, yalnızca doğruluk için değil, aynı zamanda artan gerçeklik gereksinimleri altında doğrulanmış bilgi miktarı için de puanlandı.

Üç yöntemin gerçeklik ve bilgilendiricilik arasındaki ticaretini gösteren bir grafik. İnce ayar yapılmış model, her iki temel için de daha iyi bir denge sundu.

%90’lara varan bir hedef doğrulukta, FCG’den daha fazla gerçek korudu ve tüm güven ayarlarında tutarlı olarak daha iyi sonuçlar üretti.

Fark, en katı ayarda en belirgindi; FCG, doğrulanmış çıktılar üretmeye devam ederken, promt ile temel model, her şeyi çıkarmak zorunda kaldı.

İnce ayar yapılmış model, yalnızca yeterli güvende olduğu gerçekleri koruyarak çıkışını şekillendirebildi ve diğerlerinin etkilediği susma çöküşünden kaçındı.

Gerçeklik, kontrol ayarıyla doğrudan kısıtlanırken, bilgilendiricilik, modelin güvenilir içerik dahil etmesini optimize ederek en iyileştirildi.

Yazarlar sonuçlandırıyor:

‘[Yüksek bir gerçeklik kısıtlaması olduğunda], model, doğrulanabilir ifadeleri önceliklendirir ve aynı zamanda ilgili bilgileri dahil etmeye çalışır. Buna karşılık, model, daha geniş bir ayrıntı yelpazesini, daha az doğrulanabilir veya daha spekülatif olanları da dahil olmak üzere içerebilmekte ve daha yüksek bilgilendiricilik (daha fazla gerçek) elde etmektedir, ancak bazı doğruluk pahasına.

‘Bu davranış, eğitim verilerinin tasarımımıza uyuyor: her zaman minimum gerekli gerçekleri çıkardığımız için, model “şayet x% gerçekçi olman gerekiyorsa, en az güvenli detayları at, ancak her şeyi koru” öğrendi.’

Makale, bu yeni metodolojinin daha büyük ölçekli modellerde denenmesini ve daha karmaşık görevlere uygulanmasını umuyor.

Sonuç

Burada sunulan çözüm, en son nesil Büyük Dil Modellerinin en ciddi ve sıkça belirtilen hatalarından birini ele alıyor: sohbeti sürdürmek için doğruluktan yana loquacity’ye tercih ediyor gibi görünmeleri ve güvenle sunulan eski veya tamamen hayal ürünü bilgileri.

ChatGPT kullanıcıları için, ‘web’i arama’ widget’inin kısa bir görünümünden önce gelmeyen herhangi bir kesin cevap, modelin bilgi kesme tarihinden önce gelen veya tamamen hayal ürünü olabilir.

Web aramaları gecikme ve LLM sunucusunun çalışma maliyetini artırır ve her kullanıcı bilir ki, bunlar seçili olarak çalıştırılır veya kullanıcı talebi üzerine veya ‘özel bir ayar’ olarak uygulanır ve ek token ücretlerine neden olabilir.

Bu tür iç ekonomiler, belirli alanlarda veya belirli sorgu türleri için LLM sorgularında kritik bir etkiye sahip olabilir. Çıktı doğruluğuna ilişkin bir şema uygulayabilen herhangi bir yöntem, gerçekten de hoş karşılanan bir araştırmadır.

* Yazarların iç citasını hiperlinklere dönüştürmem.

^† Tam sürüm numarası verilmemiştir.

Cuma, 6 Şubat 2026’da ilk kez yayınlandı. Beş dakika içinde bir kelime tekrarından dolayı değiştirildi