Valory presenta il modello Olas Predict a pesi aperti, con risultati migliori nelle previsioni su eventi reali

Valory ha presentato Olas-Predict-Qwen3.8-27B, un modello di previsione a pesi aperti che, secondo l’azienda, in un test su mercati di previsione reali ha ottenuto risultati inferiori di appena 1,2 punti percentuali rispetto al modello di confronto GPT-5.6. Lo specialista da 27 miliardi di parametri ha raggiunto un’accuratezza bilanciata del 67,3% nella valutazione interna di Valory, contro il 68,5% di GPT-5.6, quando entrambi i sistemi hanno ricevuto le stesse informazioni sui mercati.

Il risultato pone una questione pratica per lo sviluppo dell’IA: quanto dipende la prestazione in un compito specialistico dalle conoscenze generali di un modello e quanto può invece derivare da informazioni pertinenti e da un addestramento mirato? L’esperimento più recente di Valory suggerisce che un modello più piccolo e adattabile possa competere in un compito di previsione ben circoscritto, mostrando al contempo che un modello di base più potente spiega gran parte del miglioramento.

Che cosa misura il confronto sulle previsioni di Valory

L’annuncio presenta i risultati ottenuti su 6.824 mercati di previsione analizzabili. I sistemi hanno utilizzato prompt e informazioni comuni, con temperatura pari a zero; Valory ha inoltre applicato un filtro per data basato sulla data limite delle conoscenze dichiarata per il modello di confronto GPT-5.6, il 16 febbraio 2026. Il confronto valuta il modo in cui i modelli ragionano sulle informazioni fornite, anziché chiedere a ciascun sistema di raccogliere autonomamente i propri dati.

Questo perimetro è importante. Si tratta di risultati riportati dall’azienda su mercati selezionati, non di una dimostrazione indipendente di equivalenza generale tra i modelli. Il confronto finale è inoltre distinto sia da un precedente esperimento su 10.916 campioni, sia dallo studio di Valory già pubblicato su un modello da 14 miliardi di parametri.

L’accuratezza bilanciata attribuisce lo stesso peso alle prestazioni sulle due classi di esito, contribuendo a evitare che un esito più comune domini il risultato. Valory riporta anche il punteggio Brier, che valuta le previsioni probabilistiche e penalizza gli errori commessi con eccessiva sicurezza. I punteggi Brier più bassi sono migliori: un sistema di previsione dovrebbe essere premiato per l’incertezza ben calibrata, non soltanto per aver individuato l’esito finale.

La tabella riproduce il sottoinsieme del confronto finale riportato da Valory. La baseline storica di GPT-4.1 va interpretata come quello specifico valore di riferimento, non come un nuovo punteggio universale per GPT-4.1.

Un modello di base più potente spiega la maggior parte del miglioramento

In questo confronto, il nuovo modello migliora rispetto a Olas-Predict-R1-14B di circa il 22% nell’errore Brier e di 8,4 punti percentuali nell’accuratezza bilanciata. Tuttavia, il punto di partenza di Qwen3.8-27B non addestrato raggiunge già un’accuratezza bilanciata del 66,4% e un punteggio Brier di 0,2235, spiegando gran parte del progresso.

L’addestramento specifico del dominio apporta un ulteriore miglioramento: l’errore Brier diminuisce di circa il 5%, mentre l’accuratezza bilanciata aumenta di 0,9 punti percentuali. L’errore di calibrazione atteso, che riassume la corrispondenza tra il livello di sicurezza dichiarato e gli esiti osservati, scende da 0,1630 a 0,1429: un miglioramento di circa il 12,3%.

È più utile interpretare questo risultato così, anziché attribuire l’intero progresso tra le generazioni alla messa a punto. Un modello di base più potente e l’addestramento specialistico contribuiscono separatamente. Quest’ultimo sembra migliorare il modo in cui il modello esprime le probabilità, una capacità importante quando un sistema a valle deve decidere se le informazioni sono abbastanza solide da giustificare un’azione.

Lo strumento di previsione fornisce le informazioni; il modello stima le probabilità

Valory descrive un processo di addestramento che utilizza esempi di previsione verificati e l’apprendimento per rinforzo per migliorare le stime probabilistiche. Uno strumento separato raccoglie informazioni e prove sui mercati, quindi le fornisce al modello.

Questa separazione è fondamentale per l’architettura. Il modello linguistico è uno dei componenti di un sistema di previsione: il recupero delle informazioni determina quali dati sono disponibili, mentre il modello li interpreta e produce una probabilità. Anche un ragionamento solido basato su informazioni deboli o obsolete può portare a una previsione scadente.

Questo approccio offre anche la possibilità di migliorare i componenti separatamente. Gli sviluppatori possono perfezionare il recupero delle informazioni, modificare il modo in cui vengono presentate o aggiornare il sistema di previsione senza dover necessariamente ricostruire l’intero agente. I punteggi riportati valutano una specifica combinazione di informazioni e comportamento del modello, quindi non vanno trasferiti automaticamente a una pipeline di recupero diversa.

Come Olas trasforma l’attività degli agenti in dati di addestramento

Valory è uno dei principali contributori di Olas, il cui ecosistema Predict collega agenti che creano mercati, fanno trading, forniscono previsioni e determinano gli esiti finali. I trader possono acquistare servizi di previsione da agenti specializzati tramite il Mech Marketplace. Una volta definiti gli esiti degli eventi, è possibile confrontare le previsioni con i risultati, creando registrazioni utili per la valutazione e per l’addestramento futuro.

Questo ciclo di feedback fornisce al progetto una fonte di evidenze specifiche per ciascun compito. Invece di giudicare una previsione soltanto in base a quanto la sua spiegazione sembri convincente, il sistema può, col tempo, confrontare la stima di probabilità con l’esito di un evento. La risoluzione del mercato continua a definire il risultato di riferimento, quindi la formulazione delle domande e la qualità della risoluzione restano determinanti.

Nel precedente lavoro pubblicato di Valory sono stati utilizzati oltre 200.000 record di previsioni degli agenti per specializzare Olas-Predict-R1-14B. Una valutazione separata condotta in seguito su altri mercati ha riportato un’accuratezza del 75,8% su 2.628 mercati. Si tratta di un’accuratezza ordinaria, ottenuta in una valutazione diversa, e non è direttamente confrontabile con l’accuratezza bilanciata del 67,3% indicata nel nuovo annuncio.

Cosa cambia nella distribuzione con i pesi aperti

Un modello previsionale con pesi aperti consente agli sviluppatori di ospitarlo e adattarlo, anziché dipendere interamente da un servizio proprietario remoto. Per un’organizzazione che sviluppa un flusso di lavoro per le previsioni, ciò può offrire un maggiore controllo sugli aggiornamenti del modello, sull’infrastruttura di erogazione e sulla gestione delle evidenze fornite.

Un modello con 27 miliardi di parametri richiede comunque hardware adeguato; memoria, latenza e throughput dipendono dalla precisione, dalla lunghezza del contesto e dal numero di richieste simultanee. L’annuncio non fornisce dati misurati sui costi di distribuzione né benchmark sull’erogazione del nuovo modello, quindi il solo numero di parametri non dimostra un particolare vantaggio sui costi operativi.

La qualità delle previsioni è inoltre distinta dai risultati delle attività di trading. I rendimenti dipendono dai prezzi di mercato, dai costi di transazione, dall’esecuzione e dalla strategia, oltre che dalle previsioni: una distinzione che emerge anche dai limiti descritti nella precedente scheda del modello di Valory.

L’importanza di Olas-Predict-Qwen3.8-27B è dunque circoscritta, ma significativa: Valory riferisce che un modello specializzato si avvicina al modello di riferimento all’avanguardia nelle previsioni basate sulle evidenze fornite e registra miglioramenti misurabili grazie all’addestramento specifico per il dominio. La prossima opportunità consiste nel trasformare il flusso continuo di previsioni con esito definito in miglioramenti che si confermino anche su eventi successivi e in applicazioni reali.