Valory, Gerçek Dünya Tahminlerinde İyileşme Sağlayan Açık Ağırlıklı Olas Predict Modelini Tanıttı

Valory, şirketin gerçek dünya tahmin piyasalarını kapsayan bir testte GPT-5.6 karşılaştırma modeline 1,2 yüzde puanı kadar yaklaştığını belirttiği açık ağırlıklı tahmin modeli Olas-Predict-Qwen3.8-27B’yi tanıttı. 27 milyar parametreli uzman model, her iki sisteme de aynı piyasa kanıtları sunulduğunda, Valory’nin şirket içi değerlendirmesinde %67,3 dengeli doğruluk oranına ulaştı. GPT-5.6 ise %68,5’e ulaştı.

Bu sonuç, yapay zekâ geliştirmede pratik bir soruyu gündeme getiriyor: Uzmanlık gerektiren bir görevin performansı ne ölçüde modelin genel bilgisinden, ne ölçüde ilgili kanıtlardan ve odaklı eğitimden kaynaklanıyor? Valory’nin son deneyi, daha küçük ve uyarlanabilir bir modelin sınırları belirli bir tahmin görevinde rekabetçi olabileceğini gösterirken, daha güçlü bir temel modelin iyileşmenin büyük bölümünü sağladığını da ortaya koyuyor.

Valory’nin Tahmin Karşılaştırması Neyi Ölçüyor?

Duyuruda, araştırma yapılabilir 6.824 tahmin piyasasındaki sonuçlar aktarılıyor. Sistemler, sıcaklık değeri sıfır olan ortak istemler ve kanıtlarla çalıştı. Valory ayrıca, GPT-5.6 karşılaştırma modelinin belirtilen 16 Şubat 2026 bilgi kesim tarihine bağlı bir tarih filtresi uyguladı. Karşılaştırmada, her sistemden kendi bilgilerini toplaması istenmek yerine modellerin kendilerine sunulan kanıtlar üzerinden nasıl akıl yürüttüğü değerlendiriliyor.

Bu kapsam önem taşıyor. Bunlar, modeller arasında genel bir eşdeğerliğin bağımsız biçimde gösterilmesinden ziyade, seçilmiş piyasalara ilişkin şirket tarafından bildirilen sonuçlar. Nihai karşılaştırma ayrıca daha önceki 10.916 örnekli deneyden ve Valory’nin daha önce yayımladığı 14 milyar parametreli çalışmadan ayrı.

Dengeli doğruluk, iki sonuç sınıfındaki performansa eşit ağırlık vererek yaygın görülen bir sonucun sonucu belirlemesini önlemeye yardımcı olur. Valory, olasılık tahminlerini değerlendiren ve aşırı güvenli hataları cezalandıran Brier puanını da bildiriyor. Daha düşük Brier puanları daha iyidir; bir tahmin sistemi yalnızca sonunda hangi sonucun gerçekleşeceğini doğru seçtiği için değil, belirsizliği iyi kalibre ettiği için de ödüllendirilmelidir.

Tablo, Valory’nin bildirdiği nihai karşılaştırma alt kümesini yeniden sunuyor. Geçmiş GPT-4.1 temel değeri, GPT-4.1 için yeni ve genel geçer bir puan olarak değil, söz konusu belirli temel değer olarak değerlendirilmelidir.

İyileşmenin Büyük Bölümünü Daha Güçlü Bir Temel Model Sağlıyor

Bu karşılaştırmada yeni model, Olas-Predict-R1-14B’ye kıyasla Brier hatasında yaklaşık %22, dengeli doğrulukta ise 8,4 yüzde puanı iyileşme sağlıyor. Ancak eğitilmemiş Qwen3.8-27B başlangıç modeli zaten %66,4 dengeli doğruluğa ve 0,2235 Brier puanına ulaşıyor; bu da ilerlemenin önemli bir bölümünü açıklıyor.

Alan eğitimi ek bir iyileşme sağlıyor: Brier hatası yaklaşık %5 düşerken dengeli doğruluk 0,9 yüzde puanı artıyor. Belirtilen güven düzeyiyle gözlemlenen sonuçlar arasındaki uyumu özetleyen beklenen kalibrasyon hatası, 0,1630’dan 0,1429’a düşüyor; bu da yaklaşık %12,3’lük bir iyileşmeye karşılık geliyor.

Bu bulgu, nesiller arasındaki kazanımın tamamını ince ayarın etkisi olarak görmekten daha açıklayıcı. Daha güçlü bir temel model ve uzmanlaşmış eğitim ayrı ayrı katkı sağlıyor. Uzmanlaşmış eğitim, modelin olasılıkları ifade etme biçimini iyileştiriyor gibi görünüyor. Bu, sonraki aşamadaki bir sistemin kanıtların harekete geçmek için yeterince güçlü olup olmadığına karar vermesi gerektiğinde önemli bir yetenek.

Tahmin Aracı Kanıt Sağlıyor; Model Olasılığı Hesaplıyor

Valory, olasılık tahminlerini iyileştirmek için incelenmiş tahmin örneklerinden ve pekiştirmeli öğrenmeden yararlanan bir eğitim süreci tanımlıyor. Ayrı bir araç, piyasa bilgilerini ve kanıtları topluyor, ardından bunları modele sunuyor.

Bu ayrım, mimarinin temel unsurlarından biri. Dil modeli, tahmin sisteminin bileşenlerinden yalnızca biri: Hangi bilgilerin kullanılabilir olduğunu kanıtların getirilmesi belirler; model ise bu bilgileri yorumlayıp bir olasılık üretir. Zayıf veya güncelliğini yitirmiş kanıtlar üzerinde güçlü akıl yürütme bile kötü bir tahminle sonuçlanabilir.

Bu yaklaşım, bileşenleri birbirinden bağımsız olarak iyileştirme olanağı da sunuyor. Geliştiriciler, tüm ajanı baştan kurmak zorunda kalmadan bilgi getirme sürecini geliştirebilir, kanıtların sunuluş biçimini değiştirebilir veya tahmin modelini güncelleyebilir. Bildirilen puanlar, belirli bir kanıt ve model davranışı bileşimini değerlendiriyor; bu nedenle farklı bir bilgi getirme hattına doğrudan genellenmemelidir.

Olas, Ajan Etkinliklerini Eğitim Verisine Nasıl Dönüştürüyor?

Valory, piyasa oluşturan, işlem yapan, tahmin sunan ve sonuçları kesinleştiren ajanları bir araya getiren Predict ekosisteminin temel katkı sağlayıcılarından biri. Yatırımcılar, Mech Marketplace üzerinden uzman ajanlardan tahmin hizmetleri satın alabiliyor. Olaylar sonuçlandığında tahminler gerçekleşen sonuçlarla karşılaştırılabiliyor; böylece değerlendirme ve gelecekteki eğitim için kayıtlar oluşturuluyor.

Bu geri bildirim döngüsü, projeye göreve özgü kanıtlar sağlıyor. Sistem, bir tahmini yalnızca açıklamasının ikna edici olup olmadığına göre değerlendirmek yerine, zamanla olasılık tahminini sonucu kesinleşmiş bir olayla karşılaştırabilir. Hedefi yine de piyasanın sonuçlandırma süreci belirlediğinden, sorunun nasıl ifade edildiği ve sonuçlandırmanın kalitesi önemini koruyor.

Valory’nin daha önce yayımladığı çalışma, Olas-Predict-R1-14B’yi belirli bir alanda uzmanlaştırmak için 200.000’den fazla ajanın tahmin kaydını kullandı. Daha sonraki piyasalarda yapılan ayrı bir değerlendirmede, 2.628 piyasada %75,8 doğruluk bildirildi. Bu oran, farklı bir değerlendirmeden elde edilen standart doğruluk değeridir; yeni duyurudaki %67,3 dengeli doğruluk oranıyla doğrudan karşılaştırılamaz.

Açık Ağırlıklar Dağıtımda Neleri Değiştiriyor?

Açık ağırlıklı bir tahmin modeli, geliştiricilere tamamen uzaktaki tescilli bir hizmete bağlı kalmak yerine modeli kendi ortamlarında barındırma ve uyarlama seçeneği sunar. Tahmin iş akışı oluşturan bir kuruluş için bu, model güncellemeleri, sunum altyapısı ve sağlanan kanıtların işlenmesi üzerinde daha fazla denetim sağlayabilir.

27 milyar parametreli bir model için yine de uygun donanım gerekir; bellek kullanımı, gecikme ve işlem hacmi, sayısal hassasiyete, bağlam uzunluğuna ve eşzamanlı istek sayısına bağlıdır. Duyuruda yeni modelin ölçülmüş dağıtım maliyetleri veya sunum kıyaslamaları verilmediğinden, parametre sayısı tek başına belirli bir işletme maliyeti avantajı olduğunu göstermez.

Tahmin kalitesi, işlem performansından da farklıdır. Getiriler, tahminlerin yanı sıra piyasa fiyatlarına, işlem maliyetlerine, işlemlerin gerçekleştirilmesine ve stratejiye de bağlıdır; Valory’nin daha önce yayımladığı model kartında belirtilen sınırlamalar da bu ayrımı yansıtır.

Bu nedenle Olas-Predict-Qwen3.8-27B’nin önemi sınırlı bir alana odaklanıyor, ancak kayda değer: Valory, sağlanan kanıtlara dayalı tahminlerde en ileri düzeydeki karşılaştırma modeline yaklaşan ve alan odaklı eğitim sayesinde ölçülebilir kazanımlar sağlayan uzmanlaşmış bir model bildirdi. Bir sonraki fırsat, sonuçları kesinleşmiş tahminlerden oluşan sürekli akışı, sonraki olaylarda ve gerçek dağıtımlarda da geçerliliğini koruyan iyileştirmelere dönüştürmek.