Valory onthult Olas Predict-model met open gewichten en betere prestaties bij voorspellingen in de echte wereld

Valory heeft Olas-Predict-Qwen3.8-27B onthuld, een voorspellingsmodel met open gewichten dat volgens het bedrijf bij een test met voorspellingsmarkten uit de echte wereld tot op 1,2 procentpunt in de buurt komt van GPT-5.6. De specialist met 27 miljard parameters behaalde in Valory’s interne evaluatie een gebalanceerde nauwkeurigheid van 67,3%, tegenover 68,5% voor GPT-5.6, toen beide systemen hetzelfde marktbewijs kregen.

De uitkomst roept een praktische vraag op over AI-ontwikkeling: hoeveel van de prestaties bij een gespecialiseerde taak zijn te danken aan de brede kennis van een model, en hoeveel kunnen voortkomen uit relevant bewijs en gerichte training? Valory’s nieuwste experiment suggereert dat een kleiner, aanpasbaar model kan concurreren bij een nauw afgebakende voorspellingstaak. Tegelijkertijd laat het zien dat een sterker basismodel een groot deel van de verbetering verklaart.

Wat Valory’s vergelijking van voorspellingen meet

De aankondiging rapporteert resultaten voor 6.824 voorspellingsmarkten waar onderzoek naar kan worden gedaan. De systemen gebruikten dezelfde prompts en hetzelfde bewijs, bij temperatuur nul. Valory paste bovendien een datumfilter toe dat was afgestemd op de opgegeven kennisgrens van GPT-5.6, 16 februari 2026. In de vergelijking wordt beoordeeld hoe modellen redeneren op basis van aangeleverd bewijs, in plaats van elk systeem zelf informatie te laten verzamelen.

Die afbakening is belangrijk. Het gaat om resultaten die het bedrijf rapporteert voor een selectie van markten, niet om een onafhankelijke demonstratie dat de modellen in het algemeen gelijkwaardig zijn. De uiteindelijke vergelijking staat ook los van een eerder experiment met 10.916 voorbeelden en van Valory’s eerder gepubliceerde onderzoek naar een model met 14 miljard parameters.

Bij gebalanceerde nauwkeurigheid tellen de prestaties op beide uitkomstklassen even zwaar mee. Zo wordt voorkomen dat een veelvoorkomende uitkomst het resultaat domineert. Valory rapporteert ook de Brier-score, die voorspellingen in de vorm van kansen beoordeelt en overmoedige fouten bestraft. Lagere Brier-scores zijn beter: een voorspeller hoort te worden beloond voor goed gekalibreerde onzekerheid, niet alleen voor het kiezen van de uiteindelijke winnaar.

De tabel geeft de door Valory gerapporteerde subset van de uiteindelijke vergelijking weer. De historische GPT-4.1-basislijn moet worden opgevat als die specifieke basislijn, niet als een nieuwe universele score voor GPT-4.1.

Een sterker basismodel levert het grootste deel van de verbetering

In deze vergelijking verbetert het nieuwe model ten opzichte van Olas-Predict-R1-14B met ongeveer 22% op de Brier-fout en met 8,4 procentpunt op gebalanceerde nauwkeurigheid. Maar het ongetrainde Qwen3.8-27B behaalt al een gebalanceerde nauwkeurigheid van 66,4% en een Brier-score van 0,2235, en verklaart daarmee een groot deel van de vooruitgang.

Domeintraining levert extra verbetering op: de Brier-fout daalt met ongeveer 5%, terwijl de gebalanceerde nauwkeurigheid met 0,9 procentpunt stijgt. De verwachte kalibratiefout, die de overeenstemming tussen de opgegeven zekerheid en de waargenomen uitkomsten samenvat, daalt van 0,1630 naar 0,1429 — een verbetering van ongeveer 12,3%.

Dit is een nuttiger bevinding dan de volledige vooruitgang tussen modelgeneraties toe te schrijven aan finetuning. Een sterker basismodel en gespecialiseerde training dragen elk afzonderlijk bij. Die laatste lijkt te verbeteren hoe het model kansen weergeeft, een belangrijke capaciteit wanneer een vervolgsysteem moet bepalen of het bewijs sterk genoeg is om actie te ondernemen.

De voorspellingstool levert bewijs aan; het model schat de kans in

Valory beschrijft een trainingsproces dat beoordeelde voorspellingsvoorbeelden en reinforcement learning gebruikt om kansinschattingen te verbeteren. Een afzonderlijke tool verzamelt marktinformatie en bewijs en geeft dat vervolgens aan het model door.

Deze scheiding vormt een essentieel onderdeel van de architectuur. Het taalmodel is één component van een voorspellingssysteem: het ophalen van bewijs bepaalt welke informatie beschikbaar is, waarna het model die interpreteert en een kans berekent. Zelfs sterk redeneren op basis van zwak of verouderd bewijs kan tot een slechte voorspelling leiden.

Deze aanpak biedt ook mogelijkheden om de onderdelen onafhankelijk van elkaar te verbeteren. Ontwikkelaars kunnen het ophalen van informatie verfijnen, de presentatie van bewijs aanpassen of de voorspeller bijwerken zonder noodzakelijkerwijs de hele agent opnieuw te bouwen. De gerapporteerde scores beoordelen een specifieke combinatie van bewijs en modelgedrag. Daarom kunnen ze niet zonder meer worden toegepast op een andere informatieophalingsketen.

Hoe Olas agentactiviteiten omzet in trainingsgegevens

Valory is een belangrijke bijdrager aan Olas. Het voorspellingsecosysteem van Olas verbindt agents die markten opzetten, handelen, voorspellingen leveren en uitkomsten vaststellen. Handelaren kunnen via de Mech Marketplace voorspellingsdiensten inkopen bij gespecialiseerde agents. Zodra gebeurtenissen zijn afgerond, kunnen voorspellingen met de uitkomsten worden vergeleken. Zo ontstaan gegevens voor evaluatie en toekomstige training.

Die feedbacklus levert het project taakspecifiek bewijs op. In plaats van een voorspelling uitsluitend te beoordelen op de vraag of de uitleg overtuigend klinkt, kan het systeem de waarschijnlijkheidsschatting uiteindelijk vergelijken met een gebeurtenis waarvan de uitkomst bekend is. De vaststelling van de marktuitkomst bepaalt nog steeds de doelvariabele, waardoor de formulering van de vraag en de kwaliteit van de uitkomstbepaling van belang blijven.

Valory gebruikte in zijn eerder gepubliceerde werk meer dan 200.000 voorspellingen van agents om Olas-Predict-R1-14B te specialiseren. Een afzonderlijke evaluatie op latere markten rapporteerde een nauwkeurigheid van 75,8% over 2.628 markten. Dat cijfer is de gewone nauwkeurigheid van een andere evaluatie en is niet rechtstreeks vergelijkbaar met de gebalanceerde nauwkeurigheid van 67,3% in de nieuwe aankondiging.

Wat open gewichten betekenen voor implementatie

Met een voorspellingsmodel met open gewichten kunnen ontwikkelaars het model zelf hosten en aanpassen, in plaats van volledig afhankelijk te zijn van een externe, propriëtaire dienst. Voor een organisatie die een voorspellingsworkflow bouwt, kan dat meer controle opleveren over modelupdates, de infrastructuur voor het aanbieden van het model en de verwerking van aangeleverd bewijs.

Een model met 27 miljard parameters vereist nog steeds geschikte hardware; het geheugenverbruik, de latentie en de verwerkingscapaciteit zijn afhankelijk van de precisie, de contextlengte en het aantal gelijktijdige verzoeken. De aankondiging bevat geen gemeten implementatiekosten of benchmarks voor het aanbieden van het nieuwe model. Het aantal parameters op zichzelf toont dus geen specifiek voordeel op het gebied van operationele kosten aan.

Voorspellingskwaliteit is bovendien iets anders dan handelsresultaten. Rendementen hangen niet alleen af van voorspellingen, maar ook van marktprijzen, transactiekosten, uitvoering en strategie — een onderscheid dat ook naar voren komt in de beperkingen van Valory’s eerdere modelkaart.

De betekenis van Olas-Predict-Qwen3.8-27B is dan ook beperkt, maar wel degelijk relevant: Valory meldt dat een gespecialiseerd model bij voorspellingen op basis van aangeleverd bewijs dicht in de buurt komt van zijn vergelijkingsmodel aan de absolute top, met meetbare verbeteringen dankzij domeinspecifieke training. De volgende kans ligt in het omzetten van de voortdurende stroom voorspellingen waarvan de uitkomst bekend is in verbeteringen die ook bij latere gebeurtenissen en in daadwerkelijke implementaties standhouden.