Valory Memperkenalkan Model Olas Predict dengan Bobot Terbuka, yang Meningkatkan Akurasi Peramalan di Dunia Nyata

Valory memperkenalkan Olas-Predict-Qwen3.8-27B, model peramalan dengan bobot terbuka yang menurut perusahaan hanya terpaut 1,2 poin persentase dari model pembandingnya, GPT-5.6, dalam pengujian pasar prediksi dunia nyata. Model khusus dengan 27 miliar parameter itu mencapai akurasi seimbang 67,3% dalam evaluasi internal Valory, dibandingkan 68,5% untuk GPT-5.6, ketika kedua sistem menerima bukti pasar yang sama.

Hasil ini menyoroti pertanyaan praktis dalam pengembangan AI: seberapa besar kinerja pada tugas khusus berasal dari pengetahuan umum model, dan seberapa besar dapat dicapai melalui bukti yang relevan serta pelatihan terarah? Eksperimen terbaru Valory menunjukkan bahwa model yang lebih kecil dan mudah diadaptasi dapat bersaing dalam tugas peramalan dengan cakupan sempit, sekaligus memperlihatkan bahwa model fondasi yang lebih kuat menyumbang sebagian besar peningkatan.

Apa yang Diukur dalam Perbandingan Peramalan Valory

Pengumuman tersebut melaporkan hasil dari 6.824 pasar prediksi yang dapat diteliti. Kedua sistem menggunakan prompt dan bukti yang sama pada suhu nol, dan Valory menerapkan filter tanggal yang dikaitkan dengan batas pengetahuan GPT-5.6, yang dinyatakan berlaku hingga 16 Februari 2026. Perbandingan ini mengukur cara model bernalar berdasarkan bukti yang diberikan, bukan meminta setiap sistem mengumpulkan informasinya sendiri.

Cakupan ini penting. Hasil tersebut dilaporkan oleh perusahaan dan berasal dari pasar-pasar terpilih, bukan dari pembuktian independen bahwa kedua model secara umum setara. Perbandingan akhir ini juga terpisah dari eksperimen sebelumnya yang menggunakan 10.916 sampel dan studi Valory yang telah diterbitkan sebelumnya tentang model berparameter 14 miliar.

Akurasi seimbang memberi bobot yang sama pada kinerja di kedua kelas hasil, sehingga membantu mencegah hasil yang umum mendominasi penilaian. Valory juga melaporkan skor Brier, yang mengevaluasi prakiraan probabilitas dan memberi penalti atas kesalahan dengan tingkat keyakinan tinggi. Skor Brier yang lebih rendah lebih baik; sistem peramal semestinya mendapat nilai lebih baik jika ketidakpastiannya terkalibrasi dengan baik, bukan hanya karena berhasil memilih hasil yang akhirnya terjadi.

Tabel ini menyajikan kembali subset perbandingan akhir yang dilaporkan Valory. Tolok ukur historis GPT-4.1 di dalamnya sebaiknya dipahami sebagai tolok ukur khusus tersebut, bukan sebagai skor baru yang berlaku universal untuk GPT-4.1.

Fondasi yang Lebih Kuat Menyumbang Sebagian Besar Peningkatan

Dalam perbandingan ini, model baru tersebut meningkatkan kinerja atas Olas-Predict-R1-14B sekitar 22% dalam kesalahan Brier dan 8,4 poin persentase dalam akurasi seimbang. Namun, model awal Qwen3.8-27B yang belum dilatih khusus sudah mencapai akurasi seimbang 66,4% dan skor Brier 0,2235, sehingga menyumbang sebagian besar peningkatan tersebut.

Pelatihan domain memberikan peningkatan tambahan: kesalahan Brier turun sekitar 5%, sedangkan akurasi seimbang naik 0,9 poin persentase. Kesalahan kalibrasi ekspektasian, yang merangkum keselarasan antara tingkat keyakinan yang dinyatakan dan hasil yang diamati, turun dari 0,1630 menjadi 0,1429—peningkatan sekitar 12,3%.

Temuan ini lebih bermanfaat daripada menganggap seluruh peningkatan antargenerasi sebagai dampak penyesuaian halus. Model dasar yang lebih kuat dan pelatihan khusus masing-masing memberikan kontribusi tersendiri. Pelatihan khusus tampaknya meningkatkan cara model menyatakan probabilitas, kemampuan penting ketika sistem lanjutan harus memutuskan apakah bukti cukup kuat untuk ditindaklanjuti.

Perangkat Peramalan Menyediakan Bukti; Model Memperkirakan Probabilitas

Valory menjelaskan proses pelatihan yang menggunakan contoh peramalan yang telah ditinjau dan pembelajaran penguatan untuk meningkatkan perkiraan probabilitas. Perangkat terpisah mengumpulkan informasi dan bukti pasar, lalu memberikan materi tersebut kepada model.

Pemisahan ini merupakan bagian utama dari arsitekturnya. Model bahasa hanyalah salah satu komponen dalam sistem peramalan: pengambilan bukti menentukan informasi apa yang tersedia, sedangkan model menafsirkannya dan menghasilkan probabilitas. Penalaran yang kuat berdasarkan bukti yang lemah atau sudah usang tetap dapat menghasilkan prakiraan yang buruk.

Pendekatan ini juga membuka peluang untuk meningkatkan setiap komponen secara terpisah. Pengembang dapat menyempurnakan pengambilan informasi, mengubah cara bukti disajikan, atau memperbarui sistem peramal tanpa harus membangun ulang seluruh agen. Skor yang dilaporkan mengevaluasi kombinasi bukti dan perilaku model tertentu, sehingga tidak semestinya langsung diterapkan pada alur pengambilan informasi yang berbeda.

Cara Olas Mengubah Aktivitas Agen Menjadi Data Pelatihan

Valory adalah kontributor utama Olas, yang ekosistem Predict-nya menghubungkan agen-agen yang membuat pasar, berdagang, memberikan prakiraan, dan menetapkan hasil akhir. Pedagang dapat membeli layanan peramalan dari agen khusus melalui Mech Marketplace. Setelah suatu peristiwa mencapai penyelesaian, prakiraan dapat dibandingkan dengan hasilnya, sehingga menghasilkan catatan untuk evaluasi dan pelatihan berikutnya.

Siklus umpan balik ini memberi proyek tersebut sumber bukti yang spesifik untuk tiap tugas. Alih-alih menilai prakiraan hanya berdasarkan apakah penjelasannya terdengar meyakinkan, sistem ini nantinya dapat membandingkan estimasi probabilitasnya dengan hasil peristiwa yang telah diketahui. Hasil akhir pasar tetap menentukan target, sehingga rumusan pertanyaan dan kualitas penetapan hasil tetap berpengaruh.

Karya Valory yang diterbitkan sebelumnya menggunakan lebih dari 200.000 catatan prediksi agen untuk mengkhususkan Olas-Predict-R1-14B. Evaluasi terpisah pada pasar berikutnya melaporkan akurasi 75,8% di 2.628 pasar. Angka tersebut adalah akurasi biasa dari evaluasi yang berbeda; angka ini tidak dapat dibandingkan secara langsung dengan akurasi seimbang sebesar 67,3% dalam pengumuman terbaru.

Perubahan yang Dibawa Bobot Terbuka terhadap Penerapan

Model prakiraan dengan bobot terbuka memberi pengembang pilihan untuk menghosting dan mengadaptasi model, alih-alih bergantung sepenuhnya pada layanan proprietari jarak jauh. Bagi organisasi yang membangun alur kerja prakiraan, hal ini dapat memberikan kendali lebih besar atas pembaruan model, infrastruktur layanan, dan penanganan bukti yang diberikan.

Model dengan 27 miliar parameter tetap membutuhkan perangkat keras yang sesuai; kebutuhan memori, latensi, dan laju pemrosesannya bergantung pada presisi, panjang konteks, dan konkurensi. Pengumuman tersebut tidak menyertakan biaya penerapan terukur atau tolok ukur layanan untuk model baru ini, sehingga jumlah parameternya saja tidak membuktikan adanya keunggulan biaya operasional tertentu.

Kualitas prakiraan juga berbeda dari kinerja perdagangan. Imbal hasil bergantung pada harga pasar, biaya transaksi, eksekusi, dan strategi, selain prediksi—perbedaan yang tercermin dalam keterbatasan kartu model Valory sebelumnya.

Karena itu, arti penting Olas-Predict-Qwen3.8-27B terletak pada cakupannya yang terarah, tetapi tetap berarti: Valory melaporkan bahwa model khususnya mendekati model pembanding terdepan dalam prakiraan berbasis bukti yang diberikan, dengan peningkatan terukur berkat pelatihan di bidang terkait. Peluang berikutnya adalah mengubah aliran prediksi yang hasilnya terus ditetapkan menjadi peningkatan yang tetap terbukti pada peristiwa selanjutnya dan penerapan nyata.