Valory lancerer Olas Predict-modellen med åbne vægte og bedre resultater inden for prognoser i den virkelige verden

Valory har lanceret Olas-Predict-Qwen3.8-27B, en prognosemodel med åbne vægte, som ifølge virksomheden ligger inden for 1,2 procentpoint af virksomhedens sammenligningsmodel GPT-5.6 i en test af virkelige forudsigelsesmarkeder. Den specialiserede model med 27 milliarder parametre opnåede en balanceret nøjagtighed på 67,3 % i Valorys interne evaluering mod 68,5 % for GPT-5.6, da begge systemer fik de samme markedsoplysninger.

Resultatet peger på et praktisk spørgsmål inden for AI-udvikling: Hvor stor en del af en models præstation på en specialiseret opgave skyldes dens brede viden, og hvor meget kan skyldes relevant evidens og målrettet træning? Valorys seneste eksperiment tyder på, at en mindre, tilpasningsdygtig model kan være konkurrencedygtig på en snævert afgrænset prognoseopgave, samtidig med at det viser, at en stærkere grundmodel står for en stor del af forbedringen.

Hvad Valorys sammenligning af prognosemodeller måler

Meddelelsen rapporterer resultater på tværs af 6.824 forudsigelsesmarkeder, der kunne undersøges. Systemerne brugte de samme prompts og den samme evidens ved temperatur nul, og Valory anvendte et datofilter knyttet til GPT-5.6-sammenligningsmodellens oplyste vidensskæringsdato den 16. februar 2026. Sammenligningen måler, hvordan modellerne ræsonnerer ud fra den givne evidens, i stedet for at bede hvert system om selv at indsamle oplysninger.

Det er vigtigt at være opmærksom på denne afgrænsning. Der er tale om resultater, som virksomheden har rapporteret for udvalgte markeder, ikke en uafhængig dokumentation for, at modellerne generelt er ligeværdige. Den endelige sammenligning er også adskilt fra et tidligere eksperiment med 10.916 stikprøver og fra Valorys tidligere offentliggjorte undersøgelse af en model med 14 milliarder parametre.

Balanceret nøjagtighed vægter præstationen på de to udfaldsklasser lige højt og hjælper dermed med at forhindre, at et hyppigt udfald dominerer resultatet. Valory rapporterer også Brier-score, som måler sandsynlighedsprognoser og straffer fejl, der fremsættes med stor sikkerhed. Lavere Brier-scorer er bedre; en prognosemodel bør belønnes for velkalibreret usikkerhed, ikke kun for at udpege den endelige vinder.

Tabellen gengiver Valorys rapporterede delmængde fra den endelige sammenligning. Den historiske GPT-4.1-basislinje skal forstås som netop denne specifikke basislinje, ikke som en ny universel score for GPT-4.1.

En stærkere grundmodel står for størstedelen af forbedringen

I denne sammenligning forbedrer den nye model Brier-fejlen med cirka 22 % og den balancerede nøjagtighed med 8,4 procentpoint i forhold til Olas-Predict-R1-14B. Men udgangspunktet uden træning, Qwen3.8-27B, opnår allerede en balanceret nøjagtighed på 66,4 % og en Brier-score på 0,2235 og står dermed for en stor del af fremgangen.

Domænetræning giver yderligere forbedringer: Brier-fejlen falder med cirka 5 %, mens den balancerede nøjagtighed stiger med 0,9 procentpoint. Den forventede kalibreringsfejl, som sammenfatter overensstemmelsen mellem den angivne sikkerhed og de observerede udfald, falder fra 0,1630 til 0,1429 – en forbedring på cirka 12,3 %.

Det er et mere nyttigt resultat end at tilskrive hele generationsforbedringen finjustering. En stærkere grundmodel og specialiseret træning bidrager hver for sig. Den sidstnævnte ser ud til at forbedre den måde, modellen angiver sandsynligheder på – en vigtig egenskab, når et efterfølgende system skal afgøre, om evidensen er stærk nok til at handle på.

Prognoseværktøjet leverer evidens; modellen beregner sandsynligheder

Valory beskriver en træningsproces, hvor gennemgåede prognoseeksempler og forstærkningslæring bruges til at forbedre sandsynlighedsestimaterne. Et separat værktøj indsamler markedsinformation og evidens og giver derefter materialet videre til modellen.

Denne adskillelse er central for arkitekturen. Sprogmodellen er én komponent i et prognosesystem: Indhentningen af evidens afgør, hvilke oplysninger der er tilgængelige, mens modellen fortolker dem og beregner en sandsynlighed. Selv stærke ræsonnementer baseret på svag eller forældet evidens kan føre til en dårlig prognose.

Tilgangen giver også mulighed for at forbedre komponenterne hver for sig. Udviklere kan finjustere indhentningen af oplysninger, ændre måden, evidensen præsenteres på, eller opdatere prognosemodellen uden nødvendigvis at skulle genopbygge hele agenten. De rapporterede scorer evaluerer en bestemt kombination af evidens og modeladfærd og bør derfor ikke automatisk overføres til en anden indhentningsproces.

Sådan omsætter Olas agentaktivitet til træningsdata

Valory er en central bidragyder til Olas, hvis Predict-økosystem forbinder agenter, der opretter markeder, handler, leverer prognoser og fastlægger udfald. Handlende kan købe prognosetjenester fra specialiserede agenter via Mech Marketplace. Når begivenhederne får et udfald, kan prognoserne sammenholdes med resultaterne, så der oprettes dataposter til evaluering og fremtidig træning.

Denne feedbacksløjfe giver projektet en kilde til opgavespecifik evidens. I stedet for udelukkende at vurdere en prognose ud fra, om forklaringen lyder overbevisende, kan systemet på sigt sammenligne sit sandsynlighedsestimat med udfaldet af en afgjort hændelse. Markedsafgørelsen fastlægger stadig målet, så spørgsmålenes formulering og kvaliteten af afgørelserne har fortsat betydning.

Valorys tidligere offentliggjorte arbejde brugte mere end 200.000 agentbaserede prognoseposter til at specialisere Olas-Predict-R1-14B. En separat evaluering på senere markeder rapporterede en nøjagtighed på 75,8 % på tværs af 2.628 markeder. Dette tal er almindelig nøjagtighed fra en anden evaluering og kan ikke sammenlignes direkte med den nye meddelelses balancerede nøjagtighed på 67,3 %.

Hvad åbne modelvægte ændrer ved udrulningen

En prognosemodel med åbne vægte giver udviklere mulighed for selv at hoste og tilpasse modellen i stedet for udelukkende at være afhængige af en ekstern, proprietær tjeneste. For en organisation, der bygger et prognosesystem, kan det give større kontrol over modelopdateringer, driftsinfrastruktur og håndteringen af de leverede data.

En model med 27 milliarder parametre kræver stadig passende hardware, og hukommelsesforbrug, latenstid og gennemløb afhænger af præcision, kontekstlængde og samtidighed. Meddelelsen indeholder ingen målte omkostninger ved udrulning eller benchmarks for drift af den nye model, så antallet af parametre alene dokumenterer ikke nogen bestemt fordel med hensyn til driftsomkostninger.

Prognosekvalitet er heller ikke det samme som handelsresultater. Afkast afhænger af markedspriser, transaktionsomkostninger, ordreafvikling og strategi såvel som af prognoserne – en forskel, der afspejles i begrænsningerne i Valorys tidligere modelkort.

Olas-Predict-Qwen3.8-27B har derfor en afgrænset, men betydningsfuld rolle: Valory rapporterer, at en specialiseret model nærmer sig sin sammenligningsmodel i frontklassen inden for prognoser baseret på leveret evidens, med målbare gevinster fra domænetræning. Den næste mulighed er at omsætte den fortsatte strøm af afgjorte prognoser til forbedringer, der holder på tværs af senere hændelser og i reelle udrulninger.