En Uygulamanız İçin En Yetenekli AI Modeli Her Zaman Doğru Seçim Değildir

En güçlü modeli seçmek certain bir rahatlık verir. AI destekli bir ürün inşa ederken, en güçlü modeli seçmek mantıklı (neredeyse mantıklı) görünür. GPT-4o. Claude Opus. Gemini Ultra. Bunlar etkileyici teknoloji parçaları ve hiç kimse en akıllı aracı seçmekten dolayı işini kaybetmedi.

Yine de, bir kaçayı vardır. Projeler şişer. Maliyetler artar. Gecikme ortaya çıkar. Ve üçüncü ay civarında, takım basit bir otomatik tamamlama özelliği API kredilerini nasıl harcadığını sorgulamaya başlar.

Asıl mesele: “en yetenekli” ve “en uygun” iki farklı standart. AI uygulaması geliştirme hizmetleri sunan sağlayıcılar, modelleri değerlendirme rather than liderlik sıralamalarına göre seçer.

Daha Büyük Otomatik Olarak Daha İyi Değildir

Bir frontier model ideal koşullarda olağanüstü bir şekilde çalışır, ancak işletme maliyeti yüksektir, kusurlu girişleri kötü bir şekilde işler ve basit görevler için gereksinimleri aşar.

GPT-4o şiir yazabilir, yasal sözleşmeleri yorumlayabilir, kodu hataları düştürebilir ve kuantum dolanıklığı on yaşındaki bir çocuğa açıklatabilir, bazen aynı yanıtı verir. Bu gerçekten etkileyicidir. Ancak uygulamanız müşteri destek biletlerini özetliyorsa veya faturalardan yapılandırılmış verileri çıkarıyorsa, kullanılmayan yetenekleri için ödeme yapıyorsunuz.

Daha küçük, uzmanlaşmış modeller odaklanmış görevleri etkileyici bir doğrulukla işler:

• GPT-4o mini, çoğu dil görevini GPT-4o’dan yaklaşık 15 kat daha düşük maliyetle kapsar
• Claude Haiku, yüksek hacimli, yapılandırılmış iş yükleri için hız ve verimlilik için tasarlanmıştır
• Mistral 7B ve Llama 3.1 8B, hızlı çalışan ve iyi fine-tuning yapan açık kaynaklı seçeneklerdir

Bu modeller ile frontier modeller arasındaki fark, görev dar ve promt’ler iyi tasarlandığında önemli ölçüde azalır.

Planlama Toplantılarında Konuşulmayan Maliyet Matematiği

Frontier modellerin API fiyatlandırması, daha hafif karşıtlarına göre her token başına 10 ila 30 kat daha yüksek olabilir. Bu fark soyut görünür až ölçeklenir.

Söylenti uygulamanız ayda 500.000 API çağrısı yapıyor:

Aynı özellik. Çok farklı kar marjı hikayesi.

Bazı takımlar hibrit mimarileri çalıştırır, basit sınıflandırma görevlerini hafif modellere yönlendirirken, daha ağır modelleri karmaşık üretim veya akıl yürütme adımları için ayırır. Martian ve RouteLLM gibi şirketler bu tür model yönlendirmesi için araçlar geliştirdi. Bu, göz alıcı mühendislik değildir, ancak CFO’ları önemli ölçüde daha rahat hissettirebilir.

Gecikme Kullanıcı Deneyimi Problemidir

Hızlı yemeklerin bir nedeni vardır. İnsanlar her zaman beş kurslu bir yemek istemez. Bazen cevabı hemen isterler.

Frontier modeller daha yavaştır. Her zaman çok değil, ancak gerçek zamanlı uygulamalarda önemli ölçüde. Kullanıcılarınız, bir sohbet arayüzü, canlı bir kod asistanı veya bir sohbet arayüzünde AI yanıtları bekliyorsa, yanıt gecikmesi doğrudan ürünün nasıl hissedildiğini etkiler. 4-6 saniye yanıt veren bir model güvensiz görünmeye başlar, teknik olarak üstün olsa bile.

Genel kural: Kullanıcı bir yükleme simgesini gördüğünde, her ek saniye güveni azaltır.

Haiku, Mistral ve Llama 3.1 8B benzer yük koşullarında önemli ölçüde daha hızlı çalışır (bazen 3 ila 5 kat daha hızlı). Kullanıcı tarafındaki özellikler için algılanan hız önemliyse, bu küçük bir consideration değildir. Bu, bir ürün kararıdır.

Prompt Mühendisliği Değişkeni (Her Şeyi Değiştiren)

Model karşılaştırma ipliklerinde göz ardı edilen bir şey: daha küçük bir modelde iyi tasarlanmış bir prompt, bir frontier modeldeki tembel bir promptı thường yener.

Çıktı kalitesi, model yetenekleri VE prompt kalitesinin bir ürünüdür. Takımlar prompt mühendisliğine yatırım yaptığında (açık talimatlar, yapılandırılmış çıktı formatları, birkaç örnek, iyi tanımlanmış kısıtlamalar), daha küçük modeller apparent tavanlarının çok üzerinde çalışır.

Burada bilinecek birkaç araç:

• LangChain ve DSPy, prompt boru hatlarını oluşturmak ve optimize etmek için
• Guidance, kısıtlı üretim ve yapılandırılmış çıktılar için
• PromptFoo, modeller boyunca sistematik prompt değerlendirmeleri çalıştırmak için

Üretimdeki en etkileyici AI özelliklerinden bazıları, yetenek liderlik sıralamasında ilk beşe giremeyecek modellerde çalışıyor. Sadece gerçekten iyi promt’ler üzerinde çalışıyorlar.

İnceltme Denklemi Değiştirir

Bir frontier modeli ve daha küçük bir açık kaynak modeli arasındaki karşılaştırma, inceltme girildiğinde çok farklı görünür. Belirli bir domaine özgü verilerinize (teriminiz, kenar vakalarınız, tercih ettiğiniz çıktı formatınız) fine-tuning yapılmış bir Llama 3.1 8B modeli, belirli görevinizde GPT-4o’yu geçebilir.

Bu, teorik değil. Sağlık, yasal teknoloji ve e-ticaret şirketleri bunu defalarca kanıtladı.

İnceltmeye nereden başlanır:

• Hugging Face, açık kaynak model barındırma, veri setleri ve eğitim altyapısı için
• Together AI, popüler açık modellerde hızlı ve uygun fiyatlı inceltme çalıştırmaları için
• Replicate, özel modelleri kendi GPU altyapınızı yönetmeden dağıtmak için

İnceltme, önceden yatırım gerektirir: veri kürasyonu, hesaplama zamanı ve değerlendirme çalışması. Ancak yüksek hacimli, domaine özgü görevler için ekonomi genellikle lehine çalışır.

Güvenlik ve Veri İkametgahı Son Düşünceler Değildir

Bazı uygulamalar hiç veri üçüncü taraf API’lerine gönderebilir. Düşünün:

• HIPAA altında çalışan sağlık platformları
• PII veya düzenlenmiş işlem verilerini işleyen finansal araçlar
• Katı veri ikametgah gereksinimlerine sahip kurumsal yazılımlar

Bu ortamlar, hiçbir frontier model API’sinin çalışamayacağı kısıtlamalara sahiptir. Kendi altyapınızda çalışan açık kaynaklı modeller, yani Llama 3, Mistral veya Phi-3, ilerlemek için tek yoldur. Üretim için yasal olarak kullanamayacağınız bir frontier model, tam anlamıyla doğru seçim değildir.

Takımların Atladığı Değerlendirme Adımı

Çoğu takım, en pahalı modelin en iyisi olduğunu varsayarak bir model seçer. Yapmaları gereken, gerçek kullanım durumunuzun temsilcisi örnek girişlerle yapılandırılmış değerlendirmeler çalıştırmaktır.

İşte çalışan bir süreç:

1. Beklenen çıktılar ile 100 ila 200 temsilci girdi oluşturun
2. Gerçekçi koşullarda iki veya üç aday modeli çalıştırın
3. Gerçek kriterlerinize karşı puanlayın: doğruluk, format uyumluluğu, ton, gecikme, çağrı maliyeti
4. Verilere dayanarak, içgüdü veya liderlik sıralamasına göre karar verin

Braintrust, PromptFoo ve Weights & Biases Prompts gibi araçlar, bu tür sistematik değerlendirmeleri araştırma geçmişine gerek kalmadan erişilebilir kılar. Kurmak birkaç saat sürer. Ödemenin, altı ay boyunca yanlış modeli seçmemektir.

Frontier Modelinin Gerçekten Doğru Seçim Olduğu Zaman

Adil olmak gerekirse: bazı görevler vardır ve frontier modeller gerçekten fiyat etiketlerini hak eder.

Frontier modelini kullanın:

• Görev, şablon olmadan karmaşık, çok adımlı akıl yürütme gerektirir
• Çıktı kalitesi varyansı maliyetlidir ve hacim nispeten düşüktür
• Genel dünya bilgisi veya nuanslı yargıya ihtiyacınız vardır ve bunu promt ile aşamazsınız
• Prototip đang ve görev sınırlarını henüz tanımlamadınız

Daha hafif bir modeli kullanın:

• Görev iyi tanımlanmış ve tekrarlayıcır
• Hız ve maliyet, çalıştığınız hacim için önemlidir
• Prompt mühendisliğine veya inceltmeye yatırım yapabilirsiniz
• Veri ikametgahı veya uyum kuralları üçüncü taraf API’lerini dışlar

Mesele, güçlü modellerden kaçınmak değildir. Mesele, bilinçli bir şekilde, kanıtlara dayanarak, liderlik sıralamasındaki en büyük isim nedeniyle güvenli bir seçim gibi hissetmek yerine seçmektir.

Toparlayalım

AI modelini uygulamanız için seçmek, bir prestij yarışması gibi hissetmemelidir. Kağıt üzerinde en yetenekli model, genellikle sorununuz için doğru model değildir, ya da genellikle.

Görevi modele eşleyin. Gerçek veriler üzerinde değerlendirmeler çalıştırın. Gecikme, maliyet, güvenlik gereksinimleri ve prompt mühendisliği veya inceltme kapasitenizi dikkate alın. En iyi AI ürün kararları, bu ayrıntılara dayanır, son çeyrekte hangi şirketin en parlak numaraları yayınladığını değil.

Harika AI ürünleri sunan takımlar, mutlaka en güçlü modelleri çalıştırmaz. En uygun olanları çalıştırırlar.