Valory lansează modelul Olas Predict cu ponderi deschise, care obține rezultate mai bune în prognozele din lumea reală

Valory a lansat Olas-Predict-Qwen3.8-27B, un model de prognoză cu ponderi deschise despre care compania afirmă că se situează la mai puțin de 1,2 puncte procentuale de modelul GPT-5.6 folosit ca termen de comparație, într-un test pe piețe de predicție din lumea reală. Specialistul cu 27 de miliarde de parametri a obținut o acuratețe echilibrată de 67,3% în evaluarea internă a Valory, comparativ cu 68,5% pentru GPT-5.6, atunci când ambele sisteme au primit aceleași dovezi despre piețe.

Rezultatul ridică o întrebare practică în dezvoltarea IA: cât din performanța unui model într-o sarcină specializată provine din cunoștințele sale generale și cât poate proveni din dovezi relevante și antrenare specializată? Cel mai recent experiment al Valory sugerează că un model mai mic și adaptabil poate fi competitiv într-o sarcină de prognoză definită în mod restrâns, arătând totodată că un model de bază mai performant contribuie în mare măsură la îmbunătățire.

Ce măsoară comparația de prognoză realizată de Valory

Anunțul prezintă rezultatele obținute pe 6.824 de piețe de predicție care pot fi cercetate. Sistemele au folosit aceleași solicitări și dovezi, la o temperatură de zero, iar Valory a aplicat un filtru temporal asociat datei de 16 februarie 2026, indicată drept limita de cunoștințe a modelului GPT-5.6 folosit ca termen de comparație. Comparația evaluează modul în care modelele raționează pe baza dovezilor furnizate, fără să le ceară să adune singure informații.

Domeniul evaluării contează. Acestea sunt rezultate raportate de companie pentru piețe selectate, nu o demonstrație independentă a echivalenței generale dintre modele. Comparația finală este, de asemenea, distinctă de un experiment anterior, desfășurat pe un eșantion de 10.916 cazuri, și de studiul publicat anterior de Valory despre un model cu 14 miliarde de parametri.

Acuratețea echilibrată acordă aceeași pondere performanței pentru cele două clase de rezultate, împiedicând astfel un rezultat frecvent să domine evaluarea. Valory raportează și scorul Brier, care evaluează prognozele probabilistice și penalizează erorile făcute cu prea multă încredere. Scorurile Brier mai mici sunt mai bune; un sistem de prognoză ar trebui recompensat pentru incertitudinea bine calibrată, nu doar pentru alegerea rezultatului care se confirmă în cele din urmă.

Tabelul reproduce subsetul comparației finale raportate de Valory. Valoarea de referință istorică pentru GPT-4.1 trebuie interpretată ca fiind specifică acestui caz, nu ca un nou scor universal pentru GPT-4.1.

Un model de bază mai performant oferă cea mai mare parte a câștigului

În această comparație, noul model îl depășește pe Olas-Predict-R1-14B cu aproximativ 22% în privința erorii Brier și cu 8,4 puncte procentuale în privința acurateței echilibrate. Însă modelul Qwen3.8-27B neantrenat atinge deja o acuratețe echilibrată de 66,4% și un scor Brier de 0,2235, contribuind astfel la o mare parte din progres.

Antrenarea în domeniu aduce o îmbunătățire suplimentară: eroarea Brier scade cu aproximativ 5%, iar acuratețea echilibrată crește cu 0,9 puncte procentuale. Eroarea de calibrare așteptată, care sintetizează concordanța dintre nivelul de încredere declarat și rezultatele observate, scade de la 0,1630 la 0,1429 — o îmbunătățire de aproximativ 12,3%.

Această concluzie este mai utilă decât atribuirea întregului câștig dintre generații ajustării fine. Un model de bază mai performant și antrenarea specializată contribuie separat. Cea din urmă pare să îmbunătățească modul în care modelul exprimă probabilitățile, o capacitate importantă atunci când un sistem din aval trebuie să decidă dacă dovezile sunt suficient de solide pentru a acționa.

Instrumentul de prognoză furnizează dovezi; modelul estimează probabilitatea

Valory descrie un proces de antrenare care folosește exemple de prognoză verificate și învățare prin consolidare pentru a îmbunătăți estimările probabilităților. Un instrument separat adună informații și dovezi despre piețe, apoi le furnizează modelului.

Această separare este esențială pentru arhitectură. Modelul lingvistic este o componentă a unui sistem de prognoză: recuperarea dovezilor determină ce informații sunt disponibile, iar modelul le interpretează și estimează o probabilitate. Chiar și un raționament solid bazat pe dovezi slabe sau învechite poate duce la o prognoză eronată.

Abordarea creează, de asemenea, posibilitatea de a îmbunătăți separat componentele. Dezvoltatorii pot perfecționa recuperarea informațiilor, pot schimba modul de prezentare a dovezilor sau pot actualiza sistemul de prognoză fără să fie neapărat nevoie să reconstruiască întregul agent. Scorurile raportate evaluează o anumită combinație de dovezi și comportament al modelului, așa că nu ar trebui transferate automat la un alt flux de recuperare a informațiilor.

Cum transformă Olas activitatea agenților în date de antrenare

Valory este un contributor important la Olas, al cărui ecosistem Predict conectează agenți care creează piețe, tranzacționează, furnizează prognoze și finalizează rezultatele. Prin Mech Marketplace, traderii pot achiziționa servicii de prognoză de la agenți specializați. După soluționarea evenimentelor, prognozele pot fi comparate cu rezultatele, generând înregistrări pentru evaluări și antrenări viitoare.

Această buclă de feedback îi oferă proiectului o sursă de dovezi specifice fiecărei sarcini. În loc să evalueze o prognoză doar în funcție de cât de convingătoare pare explicația ei, sistemul va putea, în cele din urmă, să compare estimarea probabilității cu rezultatul unui eveniment rezolvat. Rezolvarea pieței stabilește în continuare ținta, astfel că formularea întrebării și calitatea rezolvării rămân esențiale.

Lucrările publicate anterior de Valory au folosit peste 200.000 de înregistrări ale predicțiilor agenților pentru specializarea Olas-Predict-R1-14B. O evaluare separată, realizată ulterior pe piețe, a raportat o acuratețe de 75,8% pe 2.628 de piețe. Această valoare reprezintă acuratețea obișnuită dintr-o evaluare diferită și nu este direct comparabilă cu acuratețea echilibrată de 67,3% din noul anunț.

Ce schimbă ponderile cu acces deschis pentru implementare

Un model de prognoză cu ponderi cu acces deschis le oferă dezvoltatorilor posibilitatea de a găzdui și adapta modelul, în loc să depindă în întregime de un serviciu proprietar la distanță. Pentru o organizație care construiește un flux de lucru pentru prognoză, acest lucru poate oferi un control mai mare asupra actualizărilor modelului, infrastructurii de servire și modului de gestionare a dovezilor furnizate.

Un model cu 27 de miliarde de parametri necesită în continuare hardware adecvat, iar memoria, latența și debitul depind de precizie, lungimea contextului și numărul de cereri procesate simultan. Anunțul nu prezintă costuri de implementare măsurate sau valori de referință privind servirea noului model, așadar numărul de parametri, luat în sine, nu demonstrează un anumit avantaj în ceea ce privește costurile de operare.

Calitatea prognozelor diferă, de asemenea, de performanța tranzacționării. Randamentele depind de prețurile pieței, costurile tranzacțiilor, execuție și strategie, precum și de predicții — o distincție reflectată în limitările fișei tehnice anterioare a modelului Valory.

Prin urmare, importanța modelului Olas-Predict-Qwen3.8-27B este bine delimitată, dar semnificativă: Valory raportează că un model specializat se apropie de comparatorul său de ultimă generație în prognozele bazate pe dovezi furnizate și obține câștiguri măsurabile în urma antrenării pe domeniu. Următoarea oportunitate constă în transformarea fluxului continuu de predicții cu rezultate stabilite în îmbunătățiri care se mențin atât în cazul evenimentelor ulterioare, cât și în implementări reale.