Valory presenterer Olas Predict-modell med åpne vekter og bedre resultater i prognoser i virkelige situasjoner

Valory har presentert Olas-Predict-Qwen3.8-27B, en prognosemodell med åpne vekter som ifølge selskapet ligger innenfor 1,2 prosentpoeng av selskapets GPT-5.6-sammenligningsmodell i en test av prediksjonsmarkeder i praksis. Spesialmodellen med 27 milliarder parametere oppnådde en balansert nøyaktighet på 67,3 % i Valorys interne evaluering, mot 68,5 % for GPT-5.6, da begge systemene fikk tilgang til de samme markedsopplysningene.

Resultatet reiser et praktisk spørsmål innen KI-utvikling: Hvor mye av en spesialisert oppgaves ytelse skyldes modellens brede kunnskap, og hvor mye kan komme fra relevant dokumentasjon og målrettet trening? Valorys nyeste eksperiment tyder på at en mindre modell som kan tilpasses, kan være konkurransedyktig på en snevert definert prognoseoppgave. Det viser også at en sterkere grunnmodell står for mye av forbedringen.

Hva Valorys sammenligning av prognosemodeller måler

Kunngjøringen rapporterer resultater fra 6 824 prediksjonsmarkeder som kan undersøkes. Systemene brukte de samme ledetekstene og opplysningene, med temperatur satt til null, og Valory brukte et datofilter knyttet til den oppgitte kunnskapsgrensen for GPT-5.6-sammenligningsmodellen, 16. februar 2026. Sammenligningen vurderer hvordan modellene resonnerer ut fra opplysninger de får, i stedet for å be hvert system samle inn informasjon på egen hånd.

Dette er viktig med tanke på hva sammenligningen omfatter. Resultatene er rapportert av selskapet og gjelder utvalgte markeder; de er ikke en uavhengig demonstrasjon av generell likeverdighet mellom modellene. Den endelige sammenligningen er også atskilt fra et tidligere eksperiment med 10 916 utvalg og fra Valorys tidligere publiserte studie av en modell med 14 milliarder parametere.

Balansert nøyaktighet gir like stor vekt til ytelsen i de to utfallsklassene, noe som bidrar til å hindre at et vanlig utfall dominerer resultatet. Valory rapporterer også Brier-score, som vurderer sannsynlighetsprognoser og straffer selvsikre feil. Lavere Brier-score er bedre; en prognosemodell bør belønnes for godt kalibrert usikkerhet, ikke bare for å velge den endelige vinneren.

Tabellen gjengir delutvalget fra Valorys rapporterte endelige sammenligning. Den historiske GPT-4.1-grunnlinjen bør forstås som akkurat denne grunnlinjen, ikke som en ny universell poengsum for GPT-4.1.

En sterkere grunnmodell står for det meste av forbedringen

I denne sammenligningen forbedrer den nye modellen Brier-feilen med omtrent 22 % og den balanserte nøyaktigheten med 8,4 prosentpoeng sammenlignet med Olas-Predict-R1-14B. Men utgangspunktet, Qwen3.8-27B uten trening, oppnår allerede en balansert nøyaktighet på 66,4 % og en Brier-score på 0,2235, og står dermed for mye av framgangen.

Domenetrening gir en ytterligere forbedring: Brier-feilen synker med omtrent 5 %, mens den balanserte nøyaktigheten øker med 0,9 prosentpoeng. Forventet kalibreringsfeil, som oppsummerer samsvaret mellom oppgitt sikkerhet og observerte utfall, synker fra 0,1630 til 0,1429 – en forbedring på omtrent 12,3 %.

Dette er et mer nyttig funn enn å tilskrive hele forbedringen fra én generasjon til den neste finjustering. En sterkere grunnmodell og spesialisert trening bidrar hver for seg. Sistnevnte ser ut til å forbedre måten modellen uttrykker sannsynligheter på, en viktig evne når et system lenger ned i kjeden må avgjøre om grunnlaget er sterkt nok til å handle.

Prognoseverktøyet leverer grunnlagsmateriale; modellen anslår sannsynligheter

Valory beskriver en treningsprosess der gjennomgåtte prognoseeksempler og forsterkningslæring brukes til å forbedre sannsynlighetsanslagene. Et separat verktøy samler inn markedsinformasjon og dokumentasjon, og leverer deretter dette materialet til modellen.

Dette skillet står sentralt i arkitekturen. Språkmodellen er én komponent i et prognosesystem: Innhenting av dokumentasjon avgjør hvilken informasjon som er tilgjengelig, mens modellen tolker den og beregner en sannsynlighet. Selv gode resonnementer basert på svakt eller utdatert grunnlagsmateriale kan føre til en dårlig prognose.

Denne tilnærmingen gir også muligheter til å forbedre komponentene hver for seg. Utviklere kan forbedre innhentingen, endre hvordan dokumentasjonen presenteres eller oppdatere prognosemodellen uten nødvendigvis å bygge hele agenten på nytt. De rapporterte poengsummene gjelder en bestemt kombinasjon av grunnlagsmateriale og modellatferd, og bør derfor ikke uten videre overføres til en annen prosess for innhenting av informasjon.

Slik gjør Olas agentaktivitet om til treningsdata

Valory er en sentral bidragsyter til Olas, hvis prognoseøkosystem kobler sammen agenter som oppretter markeder, handler, leverer prognoser og fastsetter utfall. Handlere kan kjøpe prognosetjenester fra spesialistagenter gjennom Mech Marketplace. Når hendelser får et endelig utfall, kan prognosene sammenlignes med resultatene, slik at det opprettes data for evaluering og framtidig trening.

Denne tilbakemeldingssløyfen gir prosjektet en kilde til oppgavespesifikk dokumentasjon. I stedet for å vurdere en prognose utelukkende ut fra hvor overbevisende forklaringen virker, kan systemet etter hvert sammenligne sannsynlighetsanslaget med utfallet av en hendelse. Markedsutfallet definerer fortsatt målet, så hvordan spørsmålene formuleres og hvor pålitelig avgjørelsen er, har fortsatt betydning.

Valorys tidligere publiserte arbeid brukte mer enn 200 000 prediksjonsregistreringer fra agenter til å spesialisere Olas-Predict-R1-14B. En separat evaluering av senere markeder rapporterte en treffsikkerhet på 75,8 % på tvers av 2 628 markeder. Dette tallet er vanlig treffsikkerhet fra en annen evaluering og kan ikke sammenlignes direkte med den nye kunngjøringens balanserte treffsikkerhet på 67,3 %.

Hva åpne modellvekter betyr for utrulling

En prognosemodell med åpne vekter gir utviklere mulighet til å drifte og tilpasse modellen selv, i stedet for å være helt avhengige av en ekstern, proprietær tjeneste. For en organisasjon som bygger en arbeidsflyt for prognoser, kan dette gi større kontroll over modelloppdateringer, infrastrukturen for modellkjøring og håndteringen av dokumentasjonen som legges inn.

En modell med 27 milliarder parametere krever fortsatt egnet maskinvare. Minnebruk, forsinkelse og gjennomstrømning avhenger av presisjon, kontekstlengde og samtidighet. Kunngjøringen oppgir ingen målte kostnader for utrulling eller ytelsesmålinger for modellkjøring av den nye modellen, så antallet parametere alene dokumenterer ingen bestemt fordel når det gjelder driftskostnader.

Prognosekvalitet er heller ikke det samme som handelsresultater. Avkastningen avhenger av markedspriser, transaksjonskostnader, gjennomføring og strategi, i tillegg til prediksjonene – et skille som gjenspeiles i begrensningene i Valorys tidligere modellkort.

Betydningen av Olas-Predict-Qwen3.8-27B er derfor avgrenset, men reell: Valory rapporterer om en spesialmodell som nærmer seg sammenligningsmodellen i toppklassen når det gjelder prognoser basert på innsendt dokumentasjon, med målbare forbedringer fra domenetilpasset trening. Den neste muligheten er å omsette den stadig voksende strømmen av prediksjoner med fastslåtte utfall til forbedringer som holder mål på tvers av senere hendelser og i reell drift.