Valory presenterar Olas Predict-modell med öppna vikter och bättre resultat i prognoser för verkliga händelser

Valory har presenterat Olas-Predict-Qwen3.8-27B, en prognosmodell med öppna vikter som enligt företaget kommer inom 1,2 procentenheter från jämförelsemodellen GPT-5.6 i ett test av verkliga prognosmarknader. Den specialiserade modellen med 27 miljarder parametrar uppnådde 67,3 % balanserad träffsäkerhet i Valorys interna utvärdering, jämfört med 68,5 % för GPT-5.6, när båda systemen fick samma marknadsunderlag.

Resultatet väcker en praktisk fråga inom AI-utveckling: hur stor del av en modells förmåga att utföra en specialiserad uppgift kommer från dess breda kunskap, och hur mycket kan komma från relevant underlag och riktad träning? Valorys senaste experiment tyder på att en mindre, anpassningsbar modell kan mäta sig med andra på en snävt definierad prognosuppgift, samtidigt som det visar att en starkare grundmodell står för en stor del av förbättringen.

Vad Valorys jämförelse av prognosförmåga mäter

Tillkännagivandet redovisar resultat för 6 824 prognosmarknader som gick att undersöka. Systemen använde samma promptar och underlag vid temperatur noll, och Valory tillämpade ett datumfilter kopplat till den angivna kunskapsgränsen för jämförelsemodellen GPT-5.6, den 16 februari 2026. Jämförelsen utvärderar hur modellerna resonerar utifrån tillhandahållet underlag, i stället för att be varje system samla in egen information.

Den avgränsningen är viktig. Det handlar om resultat som företaget rapporterat för utvalda marknader, inte om en oberoende demonstration av att modellerna är likvärdiga i allmänhet. Den slutliga jämförelsen är också fristående från ett tidigare experiment med 10 916 exempel och från Valorys tidigare publicerade studie av en modell med 14 miljarder parametrar.

Balanserad träffsäkerhet ger samma vikt åt resultaten för de två utfallsklasserna, vilket bidrar till att förhindra att ett vanligt utfall dominerar resultatet. Valory redovisar också Brier-poäng, som utvärderar sannolikhetsprognoser och ger utslag för självsäkra felbedömningar. Lägre Brier-poäng är bättre; en prognosmodell bör belönas för välkalibrerad osäkerhet, inte bara för att välja den slutliga vinnaren.

Tabellen återger Valorys rapporterade slutliga jämförelseurval. Den historiska baslinjen för GPT-4.1 bör betraktas som just den specifika baslinjen, inte som ett nytt, generellt resultat för GPT-4.1.

En starkare grundmodell står för den största delen av förbättringen

I den här jämförelsen förbättras den nya modellen jämfört med Olas-Predict-R1-14B med cirka 22 % avseende Brier-felet och 8,4 procentenheter i balanserad träffsäkerhet. Men utgångsläget med Qwen3.8-27B utan träning uppnår redan 66,4 % balanserad träffsäkerhet och en Brier-poäng på 0,2235, vilket står för en stor del av framsteget.

Domänträningen ger ytterligare en förbättring: Brier-felet minskar med cirka 5 %, medan den balanserade träffsäkerheten ökar med 0,9 procentenheter. Förväntat kalibreringsfel, som sammanfattar överensstämmelsen mellan angiven säkerhet och observerade utfall, sjunker från 0,1630 till 0,1429 – en förbättring på cirka 12,3 %.

Det här är ett mer användbart resultat än att tillskriva hela generationsförbättringen finjustering. En starkare grundmodell och specialiserad träning bidrar var för sig. Den senare verkar förbättra hur modellen anger sannolikheter, en viktig förmåga när ett efterföljande system måste avgöra om underlaget är tillräckligt starkt för att agera.

Prognosverktyget tillhandahåller underlag; modellen beräknar sannolikheter

Valory beskriver en träningsprocess där granskade prognosexempel och förstärkningsinlärning används för att förbättra sannolikhetsbedömningarna. Ett separat verktyg samlar in marknadsinformation och underlag och skickar sedan materialet vidare till modellen.

Den här uppdelningen är central för arkitekturen. Språkmodellen är en komponent i ett prognossystem: hämtningen av underlag avgör vilken information som finns tillgänglig, medan modellen tolkar den och beräknar en sannolikhet. Även starkt resonemang utifrån svagt eller inaktuellt underlag kan leda till en dålig prognos.

Metoden skapar också möjligheter att förbättra komponenterna var för sig. Utvecklare kan förfina informationshämtningen, ändra hur underlaget presenteras eller uppdatera prognosmodellen utan att nödvändigtvis bygga om hela agenten. De rapporterade resultaten gäller en viss kombination av underlag och modellbeteende och bör därför inte automatiskt överföras till en annan lösning för informationshämtning.

Så omvandlar Olas agentaktivitet till träningsdata

Valory är en av de främsta bidragsgivarna till Olas, vars prognosekosystem kopplar samman agenter som skapar marknader, handlar, tillhandahåller prognoser och fastställer utfall. Handlare kan köpa prognostjänster från specialiserade agenter via Mech Marketplace. När händelserna får ett slutligt utfall kan prognoserna jämföras med resultaten, vilket skapar underlag för utvärdering och framtida träning.

Den återkopplingsslingan ger projektet en källa till uppgiftsspecifika belägg. I stället för att bedöma en prognos enbart utifrån hur övertygande förklaringen låter kan systemet så småningom jämföra sannolikhetsbedömningen med ett avgjort utfall. Marknadsutfallet definierar fortfarande målet, så frågeformuleringen och kvaliteten på avgörandet är fortsatt viktiga.

Valorys tidigare publicerade arbete använde fler än 200 000 agentprognoser för att specialisera Olas-Predict-R1-14B. En separat utvärdering av senare marknader rapporterade 75,8 procents träffsäkerhet för 2 628 marknader. Den siffran är vanlig träffsäkerhet från en annan utvärdering och kan inte jämföras direkt med den nya offentliggörelsens balanserade träffsäkerhet på 67,3 procent.

Vad öppna vikter innebär för driftsättning

En prognosmodell med öppna vikter ger utvecklare möjlighet att drifta och anpassa modellen i stället för att helt förlita sig på en fjärrbaserad, proprietär tjänst. För en organisation som bygger ett arbetsflöde för prognoser kan det ge större kontroll över modelluppdateringar, driftsinfrastruktur och hanteringen av tillhandahållna belägg.

En modell med 27 miljarder parametrar kräver fortfarande lämplig maskinvara. Minnesbehov, svarstid och genomströmning beror på precision, kontextlängd och samtidighet. Offentliggörelsen innehåller inga uppmätta driftsättningskostnader eller prestandamätningar för modellens drift, så antalet parametrar i sig visar inte att den har någon särskild fördel när det gäller driftskostnader.

Prognoskvalitet är inte heller detsamma som handelsprestanda. Avkastningen beror på marknadspriser, transaktionskostnader, orderutförande och strategi, liksom på prognoserna – en skillnad som återspeglas i begränsningarna i Valorys tidigare modellkort.

Olas-Predict-Qwen3.8-27B har därför en avgränsad men betydelsefull roll: Valory rapporterar att en specialiserad modell närmar sig sin jämförelsemodell i toppskiktet när det gäller prognoser baserade på tillhandahållna belägg, med mätbara förbättringar från domänträning. Nästa möjlighet är att omvandla den fortsatta strömmen av avgjorda prognoser till förbättringar som står sig vid senare händelser och i verkliga driftsmiljöer.