AI’nin Daha İyi Cevaplar Vermesi için Necessarily Şekil Şart Değil

AI’ye karşı olan kamuoyu, kahve veya kırmızı şarabın son kararı gibi, neredeyse her ay değişen bir şekilde, bir ay övgü alıyor, ertesi ay ise sorgulanıyor. Buna rağmen, artan sayıda kullanıcı, sadece alışkanlık veya kaba alışverişlerin gerçek hayatta devam edebileceği endişesi nedeniyle değil, aynı zamanda AI’den daha iyi ve daha verimli sonuçlar elde edilebileceğine inandıkları için, istemlerine ‘lütfen’ veya ‘teşekkür ederim’ eklemeye başladılar.

Bu varsayım, hem kullanıcılar hem de araştırmacılar arasında dolaşıyor ve.prompt-phrasing, araştırma çevrelerinde hizalama, güvenlik ve ton kontrolü için bir araç olarak inceleniyor, aynı zamanda kullanıcı alışkanlıkları bu beklentileri pekiştiriyor ve yeniden şekillendiriyor.

Örneğin, 2024’te Japonya’dan yapılan bir çalışmada, prompt nezaketi, büyük dil modellerinin davranışını değiştirebileceği bulundu. Bu çalışma, GPT-3.5, GPT-4, PaLM-2 ve Claude-2’yi İngilizce, Çince ve Japonca görevlerde test etti ve her bir istemeyi üç nezaket seviyesinde yeniden yazdı. Çalışmanın yazarları, ‘kaba’ veya ‘kaba’ ifadelerin daha düşük gerçek doğruluğa ve daha kısa cevaplara yol açtığını, mentre orta derecede nazik taleplerin daha net açıklamalar ve daha az retlere yol açtığını gözlemledi.

Ayrıca, Microsoft, Co-Pilot ile birlikte bir nezaket tonu öneriyor, ancak bu, kültürel değil, performans açısından bir öneri.

Ancak, George Washington Üniversitesi’nden yeni bir araştırma makalesi, bu giderek popüler hale gelen fikri sorguluyor ve bir büyük dil modelinin çıktısının ‘çökme’ye neden olabileceği zamanı tahmin eden bir matematiksel çerçeve sunuyor. Bu bağlamda, yazarlar, nezaketin bu ‘çökme’yi anlamlı bir şekilde geciktirmediğini veya önlemediğini iddia ediyor.

Tipping Off

Araştırmacılar, nezaketli dil kullanımının genellikle bir istemğin ana konusuna bağlı olmadığını ve bu nedenle modelin odak noktasını anlamlı bir şekilde etkilemediğini savunuyorlar. Bunu desteklemek için, bir dizi attention head’in nasıl güncellendiğini ve her yeni token’in modelin davranışını nasıl şekillendirdiğini gösteriyorlar.

Sonuç olarak, nezaketli dil, modelin çıktısının bozulmaya başladığı anda little bir etkiye sahip oluyor. Çökme noktasını belirleyen, makaleye göre, anlamlı token’lerin iyi veya kötü çıktı yollarıyla olan genel hizalamasıdır – nezaketli dilin varlığı değil.

[…]

Bu makale, AI sistemlerine karşı nezaketin, bu sistemlerin davranışını veya çıktısını anlamlı bir şekilde etkilemediğini öne sürüyor. Ancak, bu sonuç, daha karmaşık AI modellerinde de geçerli olup olmayacağı henüz belirsiz.