Doğru yapay zekâ modelini seçmek: maliyet ve performans dengesi

En güçlü modeli seçmek belirli bir rahatlık sağlar. Yapay zekâ destekli bir ürün geliştirirken mevcut en güçlü modeli seçmek sorumlu, hatta neredeyse mantıklı bir karar gibi görünür. GPT-4o. Claude Opus. Gemini Ultra. Bunlar etkileyici teknolojilerdir ve hiç kimse seçenekler arasındaki en akıllı aracı seçtiği için işten çıkarılmamıştır.

Ancak bir noktayı gözden kaçırmamak gerekir. Projeler şişer. Maliyetler kontrolden çıkar. Gecikme yavaş yavaş artar. Üçüncü ay civarında ekip, basit bir otomatik tamamlama özelliğinin neden hesap verme sorumluluğu olmayan, girişim sermayesiyle desteklenen bir startup gibi API kredisi tükettiğine dair rahatsız edici sorular sormaya başlar.

Asıl mesele şudur: “en yetenekli” ve “en uygun” çok farklı iki ölçüttür. Yapay zekâ uygulaması geliştirme hizmeti sağlayıcıları modelleri sıralama tablolarındaki yerlerine değil, değerlendirme sonuçlarına göre seçer.

Daha büyük, otomatik olarak daha iyi demek değildir

En ileri düzey bir model ideal koşullarda olağanüstü performans gösterir; ancak işletmesi pahalıdır, kusurlu girdileri iyi işleyemez ve basit görevler için gerekenden fazla yetenek sunar.

GPT-4o şiir yazabilir, hukuki sözleşmeler hakkında akıl yürütebilir, kod hatalarını ayıklayabilir ve kuantum dolanıklığını on yaşındaki bir çocuğa açıklayabilir; bazen bunların hepsini aynı yanıtta yapar. Bu gerçekten etkileyicidir. Ancak uygulamanız müşteri destek taleplerini özetliyor veya faturalardan yapılandırılmış veri çıkarıyorsa, kullanmadığınız yeteneklere ödeme yapıyorsunuz demektir.

Daha küçük, uzmanlaşmış modeller belirli görevleri etkileyici bir doğrulukla yerine getirir:

• GPT-4o mini, dil görevlerinin çoğunu GPT-4o’nun yaklaşık on beşte biri maliyetle yerine getirir
• Claude Haiku, yüksek hacimli ve yapılandırılmış iş yüklerinde hız ve verimlilik için tasarlanmıştır
• Mistral 7B ve Llama 3.1 8B, hızlı çalışan ve ince ayara uygun açık kaynaklı seçeneklerdir

Görev dar bir kapsamla sınırlandığında ve istemler iyi tasarlandığında bu modeller ile en ileri modeller arasındaki fark önemli ölçüde azalır.

Planlama toplantılarında kimsenin konuşmadığı maliyet hesabı

En ileri modellerin API fiyatları token başına daha hafif modellerin 10–30 katına çıkabilir. Bu fark, büyük ölçekte hesaplayana kadar soyut görünür.

Uygulamanızın ayda 500.000 API çağrısı yaptığını varsayalım:

Aynı özellik, çok farklı kâr marjları.

Bazı ekipler hibrit mimariler kullanır: basit sınıflandırma görevlerini hafif modellere yönlendirirken daha ağır modelleri karmaşık içerik üretimi veya akıl yürütme adımlarına ayırır. Martian ve RouteLLM gibi şirketler, bu tür model yönlendirmesi için araçlar geliştirmiştir. Bu göz alıcı bir mühendislik işi değildir, ancak finans direktörlerini belirgin biçimde rahatlatır.

Gecikme, kullanıcı deneyimini ilgilendiren bir sorundur

Fast food’un var olmasının bir nedeni vardır. İnsanlar her zaman beş çeşit yemek istemez. Bazen cevaplarını hemen almak isterler.

En ileri modeller daha yavaştır. Fark her zaman büyük değildir ama gerçek zamanlı uygulamalarda önem taşıyacak kadardır. Kullanıcılarınız konuşmaya dayalı bir kullanıcı arayüzünde, sohbet arayüzünde veya canlı kodlama asistanında yapay zekâ yanıtı bekliyorsa, yanıt gecikmesi ürünün nasıl algılandığını doğrudan etkiler. Yanıt vermesi 4–6 saniye süren bir model, çıktısı teknik olarak üstün olsa bile güvenilmez görünmeye başlar.

Pratik kural şudur: kullanıcı yükleme göstergesini görüyorsa, beklenen her ek saniye güveni azaltır.

Haiku, Mistral ve Llama 3.1 8B benzer yük koşullarında belirgin biçimde, bazen 3–5 kat daha hızlı çalışır. Algılanan hızın önemli olduğu, kullanıcıya dönük özelliklerde bu küçük bir ayrıntı değildir. Bir ürün kararıdır.

Her şeyi değiştiren istem mühendisliği değişkeni

Model karşılaştırma tartışmalarında gözden kaçan bir nokta vardır: küçük bir model için iyi tasarlanmış bir istem, en ileri modelde kullanılan özensiz bir istemden çoğu zaman daha iyi sonuç verir.

Çıktı kalitesi hem modelin yeteneğinin HEM DE istem kalitesinin ürünüdür. Ekipler açık talimatlar, yapılandırılmış çıktı biçimleri, birkaç gösterim örneği ve iyi tanımlanmış kısıtlarla istem mühendisliğine yatırım yaptığında küçük modeller görünürdeki kapasitelerinin çok üzerinde performans gösterir.

Bilinmesi yararlı birkaç araç:

• İstem işleme hatlarını oluşturmak ve optimize etmek için LangChain ve DSPy
• Kısıtlara uygun üretim ve yapılandırılmış çıktılar için Guidance
• Farklı modellerde sistematik istem değerlendirmeleri yapmak için PromptFoo

Bugün üretim ortamında kullanılan en etkileyici yapay zekâ özelliklerinden bazıları, hiçbir yetenek sıralamasında ilk beşe giremeyecek modellerde çalışır. Yalnızca gerçekten iyi istemler kullanırlar.

İnce ayar denklemi değiştirir

Genel amaçlı en ileri model ile daha küçük açık kaynaklı model arasındaki karşılaştırma, ince ayar devreye girdiğinde çok farklı görünür. Alanınıza özgü verilerle, yani terminolojiniz, uç durumlarınız ve tercih ettiğiniz çıktı biçimiyle ince ayarlanmış bir Llama 3.1 8B modeli, belirli görevinizde GPT-4o’yu geçebilir.

Bu varsayımsal bir durum değildir. Sağlık, hukuk teknolojileri ve e-ticaret şirketleri bunu defalarca göstermiştir.

İnce ayara başlayabileceğiniz yerler:

• Açık kaynaklı model barındırma, veri kümeleri ve eğitim altyapısı için Hugging Face
• Popüler açık modellerde hızlı ve uygun maliyetli ince ayar çalışmaları için Together AI
• Kendi GPU altyapınızı yönetmeden özel modelleri kullanıma sunmak için Replicate

İnce ayar; verilerin seçilmesi ve hazırlanması, hesaplama süresi ve değerlendirme çalışmaları için başlangıç yatırımı gerektirir. Ancak yüksek hacimli, belirli bir alana özgü görevlerde ekonomik hesap çoğu zaman belirgin biçimde daha avantajlı hâle gelir.

Güvenlik ve veri yerleşimi sonradan düşünülemez

Bazı uygulamalar üçüncü taraf API’lere hiçbir şekilde veri gönderemez. Şu örnekleri düşünün:

• HIPAA kapsamında çalışan sağlık platformları
• Kişisel tanımlayıcı bilgileri veya düzenlemeye tabi işlem verilerini işleyen finans araçları
• Katı veri yerleşimi gereksinimleri olan kurumsal yazılımlar

Bu ortamlardaki kısıtları, yeteneği ne olursa olsun hiçbir en ileri model API’si aşamaz. Kendi altyapınızda barındırılan modeller, ister kurum içinde ister özel bulutta olsun, ilerlemenin tek yoludur. Bu, Llama 3, Mistral veya Phi-3 gibi açık kaynaklı modelleri kendi altyapınızda çalıştırmak anlamına gelir. Üretim ortamında yasal olarak kullanamayacağınız en ileri model doğru seçim değildir, nokta.

Ekiplerin sürekli atladığı değerlendirme adımı

Çoğu ekip, test etmeden en pahalı modelin en iyisi olduğunu varsayarak seçim yapar. Oysa gerçek kullanım senaryosunu temsil eden örneklerle yapılandırılmış değerlendirmeler yapmalıdır.

İşe yarayan bir süreç şöyledir:

1. Beklenen çıktılarıyla birlikte 100–200 temsilî girdiden oluşan bir değerlendirme kümesi hazırlayın
2. Bu girdileri gerçekçi koşullarda iki veya üç aday modelden geçirin
3. Gerçek ölçütlerinize göre puanlayın: doğruluk, biçime uyum, üslup, gecikme ve çağrı başına maliyet
4. İçgüdüye veya sıralama tablosuna değil, verilere dayanarak karar verin

Braintrust, PromptFoo ve Weights & Biases Prompts gibi araçlar, bu tür sistematik değerlendirmeleri araştırma geçmişi olmadan da erişilebilir kılar. Kurulum birkaç saat sürer. Kazancı ise altı ay boyunca yanlış modeli kullanmaktan kaçınmaktır.

En ileri model ne zaman gerçekten doğru seçimdir?

Adil olmak gerekirse, en ileri modellerin fiyatını gerçekten hak ettiği görevler vardır.

Şu durumlarda en ileri modeli kullanın:

• Görev, karmaşık ve çok adımlı akıl yürütme gerektiriyorsa ve belirgin bir şablon yoksa
• Çıktı kalitesindeki değişkenlik yüksek maliyet yaratıyor ve işlem hacmi nispeten düşükse
• İstemleri değiştirerek telafi edilemeyecek geniş dünya bilgisine veya incelikli muhakemeye ihtiyacınız varsa
• Prototip geliştiriyor ve görevin sınırlarını henüz tanımlamamışsanız

Şu durumlarda daha hafif bir modelle devam edin:

• Görev iyi tanımlanmış ve tekrarlıysa
• Çalıştığınız hacimde hız ve maliyet önemliyse
• İstem mühendisliğine veya ince ayara yatırım yapabiliyorsanız
• Veri yerleşimi veya uyumluluk kuralları üçüncü taraf API’lerin kullanımını dışlıyorsa

Mesele güçlü modellerden kaçınmak değildir. Mesele, sıralama tablosundaki en büyük ismi sırf güvenli göründüğü için varsayılan olarak seçmek yerine bilinçli ve kanıta dayalı bir seçim yapmaktır.

Toparlayalım

Uygulamanız için yapay zekâ modeli seçmek bir prestij yarışına dönüşmemelidir. Kâğıt üzerinde en yetenekli model, sorununuz için her zaman doğru model değildir; hatta genellikle doğru seçim de değildir.

Modeli göreve uygun seçin. Gerçek verilerle değerlendirme yapın. Gecikmeyi, maliyeti, güvenlik gereksinimlerini ve ekibinizin istem mühendisliği ya da ince ayar kapasitesini hesaba katın. En iyi yapay zekâ ürünü kararları, hangi şirketin geçen çeyrekte en gösterişli rakamları yayımladığına değil, bu somut etkenlere dayanır.

Harika yapay zekâ ürünleri sunan ekipler mutlaka en güçlü modelleri kullanmaz. En uygun modelleri kullanırlar.