Kaba Sorgular Şirketin ChatGPT Masraflarını Artırabilir

ChatGPT, kaba sorgulara daha fazla token harcar, böylece şirketinizin faturası artar; ancak “lütfen” demeniz maliyetleri azaltabilir.

İyi niyetin bir maliyeti olmadığını söylenir; ancak kabalığın maliyeti nedir? ChatGPT için ödemekte olduğunuz tutar açısından, yeni bir çalışmaya göre oldukça fazla. Iowa Üniversitesi’nden yeni bir makale, ChatGPT’ye karşı kaba davranmanın cevapların maliyetini artırabileceğini buldu – aynı cevaplara ulaşmak için kibar ve kaba sorgular arasında fark olsa da.

Yazarlar şunları belirtiyorlar:

‘GPT4 için 1M çıktı tokeninin fiyatı 12 dolar. Kaba sorguların, ortalama olarak, 14 fazla token ürettiğini ve bu da her sorgu için ortalama 0,000168 dolar ek maliyet anlamına geldiğini bulduk. OpenAI API’sine günlük ortalama 2,2 milyar sorgu yapılır.’

‘Tüm sorguların kibar olduğu bir senaryoya kıyasla, kaba sorguların, yalnızca token artışından dolayı günde 369.000 dolar ek gelir ürettiğini hesapladık.’

Bu sonuç itself ilginç olmakla birlikte, yazarlar bu davranışın, insan/AI yapılandırmasındaki henüz keşfedilmemiş çeşitli tuhaflıkların bir göstergesi olabileceğini vurgulamaktadır. Kabalığın müşterilere ek token maliyeti neden olabileceği konusunda spekülasyon yapmıyorlar.

Bu sendromun geçerliliğini kanıtlamak için, gerçek ChatGPT sorgularını, anlamlarını korurken, kibarlık değerlerini değiştirerek yeniden yazdılar. Her iki versiyon da GPT-4-Turbo’ya ayrı API çağrıları ile sunuldu ve cevapların token sayısı kaydedildi, aralarındaki fark token maliyetini etkileyen tonun ölçüsü olarak kabul edildi.

Yazarlar, daha önce bu yıl Sam Altman’ın şikayet ettiği gibi, kibarlığın OpenAI’ye potansiyel olarak ‘milyonlarca dolar’ mal olabileceği konusunda farklı bir sonuca ulaştılar. Aynı dönemde yayınlanan bir başka araştırma da, kibarlığın daha iyi cevaplar elde etmek açısından bir değerinin olmadığını gösterdi (ancak daha ucuz cevaplar hakkında yorum yapmadı).

Eğer bu yeni çalışmanın sonuçları doğruysa, bu yıl kibarlık konusunda endişe duyan ve buna göre davranan şirketlerin, kibarlık konusunda minimum bir nezaket gösteren şirketlere kıyasla daha fazla ChatGPT çıkışı için para ödemiş olabilecekleri anlamına gelir.

Yazarlar, bir çözüm olarak, cevapların token sayısına bir üst sınır koymayı öneriyorlar, ancak bu yaklaşımın LLM sistemleri tarafından kolayca uygulanamayacağını belirtiyorlar. LLM’lerin, uzunlukla ilgili açık talimatlara uymakta zorluk çekeceğini gözlemlediler. Bu ‘sınırlama’ direktifi genellikle uyulmayacaktı; ayrıca, cevap muhtemelen kesilebilirdi, çünkü bu tür LLM’ler temel olarak bir cümle/paragrafın sonraki muhtemel kelimesini tahmin ediyorlar ve böylelikle işlemin tamamlanmasıyla birlikte hikayenin nasıl sonlandığını veya nerede bittiğini bilmiyorlar. Bu nedenle, devam eden işlemleri istek üzerine sonlandırabilme yetenekleri sınırlıdır.

Tam bir çözüm bulunamamasına rağmen, yazarlar daha şeffaf fiyatlandırma yaklaşımlarının bu tür durumlarda zorunlu tutulmasını öneriyorlar. Sonuç olarak şunları belirtiyorlar:

‘Geleneksel görüş, LLM’lerle etkileşimde kibarlık gerektirmediğini öne sürer.’

‘Öte yandan, bizim çalışmamız, kaba sorguların çıktı tokenlerini artırarak, şirketlerin AI benimsemesi için ek maliyetler ürettiğini gösteriyor.’

Bu yeni makale, Iowa Üniversitesi’nden üç araştırmacının eseridir ve Şirket AI Benimsemesinin Maliyet Şeffaflığı olarak adlandırılmıştır.

Yöntem

Sistem için veri, 1 milyon kullanıcı-ChatGPT konuşması koleksiyonu olan WildChat veri setinden alındı ve 2,5 milyondan fazla etkileşim dönüşü içeriyordu:

WildChat projesinin destek sitesi, ChatGPT etkileşimlerinin aranabilir örnekleri. Kaynak

Yazarlar, WildChat’in bazı daha yüksek düzeyde düzenlenmiş kümelerden daha fazla doğal etkileşim içerdiğini belirtiyorlar.

GPT-4 alışverişlerinden 20.000 İngilizce sorguyu seçtiler ve her bir durumda çıktıları (yeni cevaplar için tekrar besleneceklerdi) atmışlardı. Sadece ilk etkileşim seçildi, daha uzun alışverişlerden bile.

Sonuçta elde edilen küme, kibar veya kaba kategorilerine göre filtrelendi, tüm sorgular GPT-4-Turbo tarafından sınıflandırıldı. Araştırmacılar, modelin kendi kibarlık algısını kullanmaya karar verdiler, çünkü bu, deneyin merkezindeydi.

Kibar olarak etiketlenen sorgular, ‘lütfen’ gibi açık ipuçları içerebilirdi veya daha dolaylı bir şekilde kibar olabilirlerdi. Kibar olarak tanınmayan her şey, antagonistik olsun ya da olmasın, kaba olarak sınıflandırıldı.

Kibarlığın modelin nasıl cevap verdiğini incelemek için, standart yöntemler (yani, metni ölçülebilir özellikler olarak ele alan) kullanılamadı, çünkü kibarlık, sözlerin kendisinde gömülüydü ve bir sorguyu özellikler listesine özetlemek, önemli bağlamı kaybetmeye neden olacaktı.

Bunun yerine, her sorgu, tonunu tersine çevirerek, diğer tüm öğeleri mümkün olduğunca benzer tutarak yeniden yazıldı, bu da yalnızca kibarlıkla farklı olan çiftler arasında karşılaştırma yapılmasına izin verdi:

Kibar ve kaba sorguların, anlamsal anlamı korurken, karşıt versiyonlarına dönüştürüldüğü örnekler. Kaynak

Testler

Her orijinal sorgu, yalnızca kibarlık düzeyinde farklı olan bir yeniden yazılmış versiyonla eşleştirildi ve her iki versiyon da aynı GPT-4-Turbo modeline ayrı API çağrıları ile sunuldu. Her bir versiyona verilen cevapların token sayısı kaydedildi ve aralarındaki fark, tonun (token) maliyetini etkileyen ölçüsü olarak kabul edildi.

Sıcaklık sabit tutuldu, böylece rastgele varyasyon önlenmeye çalışıldı ve yalnızca yeniden yazmanın girdiyi en fazla beş token değiştirdiği çiftler korundu. Bu, incelenen etkinin tondan kaynaklandığını, daha geniş değişikliklerden değil, garantiledi:

Özet istatistikleri, kibar sorguların, ortalama olarak, kaba sorgulardan daha az çıktı tokeni ürettiğini gösteriyor, girdide biraz daha fazla token olmasına rağmen.

İlk tur testlerin ana sonuçları, kibar bir sorgunun token çıkış uzunluğunu 14,426 token azalttığını gösterdi:

Kibar sorgu biçimlendirmesinin, çıktı uzunluğu (token) üzerindeki etkisini gösteren tahmin sonuçları.

Analiz, kibar sorguların üç alt kümesinde tekrarlandı: açık işaretler kullananlar (‘lütfen’ veya ‘teşekkür ederim’ gibi); yalnızca ‘lütfen’ kullananlar; ve yalnızca zımni kibarlık kullananlar (‘yapabilir misin’ veya ‘yapabilir misiniz’ gibi):

Kibarlık türlerine göre tahmin sonuçları.

Bulunan ana sonuçların güvenirliğini doğrulamak için, sorgu kibarlığının ikincil bir sınıflandırması, LIWC çerçevesi kullanılarak gerçekleştirildi. Bu, her sorguya deterministik ve tekrarlanabilir bir dilbilimsel puan sağlar.

GPT’nin olasılıksal sınıflandırmasına kıyasla, LIWC her sorguya稳 bir kibarlık puanı verebilir, böylece farklı yöntemler arasında tutarlılık değerlendirilebilir. Bu testlerin bu bölümünde, sorgular, LIWC kibarlık puanlarının sıfırdan büyük olması durumunda kibar olarak etiketlendi ve aksi takdirde kaba olarak etiketlendi.

GPT ve LIWC sınıflandırmaları arasındaki uyumu ölçülendiğinde, %81’lik bir eşleşme oranı gözlemlendi. Bu, bir doğruluk ölçüsü olmasa da, sistemler arasındaki tutarlılık için destek sağladı.

Yalnızca GPT ve LIWC kibarlık etiketlerinin eşleştiği sorgular analiz edildiğinde, kibar sorgular hala 14 daha az çıktı tokeni üretti; ve kibarlık, bir sürekli ölçek olarak ölçüldüğünde, her bir kibarlık seviyesindeki artış, ortalama olarak beş token azaldı:

Kibarlıktan kaynaklanan token tasarrufu, LIWC ile yeniden sınıflandırıldığında, hem ikili etiket olarak hem de sürekli puan olarak korundu.

Dayanıklılık

Kibarlığın etkisinin farklı sorgu türleri arasında değişip değişmediğini değerlendirmek için, her sorgu önceden tanımlanmış görev kategorilerinden birine atanmıştır: bilgi arama; metin oluşturma; düzenleme ve yeniden yazma; sınıflandırma; özetleme; ve teknik görevler.

Her sorgu, önceden tanımlanmış görev tanımlarına benzemesine göre, tüm-MiniLM-L6-v2 Cümle Dönüştürücüler modeli kullanılarak bir görev etiketi atanmıştır.

Kozinüs benzerliği puanları, her sorgu ve görev tanımları kümesi arasında hesaplandı ve en yüksek benzerlik puanına sahip etiket atanmıştır.

Görev türleri, politikalığın etkisi varyasyonunu test etmek için regresyonda kontrol değişkenleri olarak yeniden kullanıldı ve görev ve tedavi arasındaki etkileşim terimleri, farklı etkileri kontrol etmek için tanıtıldı.

Her iki durumda da, kibar sorgular tutarlı olarak daha kısa çıktılar üretti ve görev türleri arasında anlamlı bir varyasyon bulunmadı:

Regresyon sonuçları, kibar sorguların tüm görev türleri boyunca çıktı uzunluğunu azalttığını, anlamlı etkileşim etkileri olmadan gösteriyor.