Valory dévoile le modèle de prédiction Olas à poids ouverts, qui améliore les prévisions en conditions réelles

Valory a dévoilé Olas-Predict-Qwen3.8-27B, un modèle de prévision à poids ouverts qui, selon l’entreprise, obtient un résultat inférieur de 1,2 point de pourcentage à celui de son modèle de comparaison GPT-5.6 lors d’un test portant sur des marchés de prédiction réels. Ce modèle spécialisé de 27 milliards de paramètres a atteint une exactitude équilibrée de 67,3 % lors de l’évaluation interne de Valory, contre 68,5 % pour GPT-5.6, lorsque les deux systèmes disposaient des mêmes informations sur les marchés.

Ce résultat soulève une question pratique pour le développement de l’IA : quelle part des performances sur une tâche spécialisée provient des connaissances générales d’un modèle, et quelle part peut être obtenue grâce à des informations pertinentes et à un entraînement ciblé ? La dernière expérience de Valory laisse penser qu’un modèle plus petit et adaptable peut rivaliser sur une tâche de prévision étroitement définie. Elle montre également qu’un modèle de base plus puissant explique une grande partie de l’amélioration.

Ce que mesure la comparaison des prévisions de Valory

L’annonce présente les résultats obtenus sur 6 824 marchés de prédiction pouvant faire l’objet de recherches. Les systèmes ont utilisé les mêmes requêtes et les mêmes informations, avec une température réglée sur zéro. Valory a également appliqué un filtre de date correspondant à la date de coupure des connaissances indiquée pour le modèle de comparaison GPT-5.6, soit le 16 février 2026. La comparaison évalue la façon dont les modèles raisonnent à partir des informations fournies, plutôt que de leur demander de recueillir eux-mêmes des renseignements.

La portée de ces résultats est importante. Il s’agit de résultats communiqués par l’entreprise sur une sélection de marchés, et non d’une démonstration indépendante de l’équivalence générale des modèles. Cette comparaison finale est également distincte d’une expérience antérieure menée sur 10 916 échantillons et de l’étude de 14 milliards de paramètres publiée précédemment par Valory.

L’exactitude équilibrée accorde le même poids aux performances sur les deux catégories de résultats, ce qui évite qu’un résultat fréquent ne domine le score. Valory communique également le score de Brier, qui évalue les prévisions probabilistes et pénalise les erreurs commises avec une grande confiance. Plus le score de Brier est faible, mieux c’est : un prévisionniste devrait être récompensé pour une incertitude bien calibrée, et non simplement pour avoir choisi le résultat qui finit par se produire.

Le tableau reprend le sous-ensemble de la comparaison finale communiqué par Valory. La référence historique GPT-4.1 doit être interprétée comme une référence propre à cette comparaison, et non comme un nouveau score universel pour GPT-4.1.

Un modèle de base plus puissant explique l’essentiel des progrès

Dans cette comparaison, le nouveau modèle améliore d’environ 22 % l’erreur de Brier et de 8,4 points de pourcentage l’exactitude équilibrée par rapport à Olas-Predict-R1-14B. Toutefois, le modèle de départ Qwen3.8-27B, non entraîné, atteint déjà une exactitude équilibrée de 66,4 % et un score de Brier de 0,2235, ce qui explique une grande partie des progrès.

L’entraînement spécialisé apporte une amélioration supplémentaire : l’erreur de Brier diminue d’environ 5 %, tandis que l’exactitude équilibrée augmente de 0,9 point de pourcentage. L’erreur de calibration attendue, qui résume l’adéquation entre le degré de confiance annoncé et les résultats observés, passe de 0,1630 à 0,1429, soit une amélioration d’environ 12,3 %.

Il est plus utile de tirer cette conclusion que d’attribuer l’ensemble des progrès entre les générations à l’affinage du modèle. Un modèle de base plus puissant et un entraînement spécialisé contribuent séparément aux résultats. Ce dernier semble améliorer la manière dont le modèle exprime les probabilités, une capacité importante lorsqu’un système en aval doit déterminer si les éléments disponibles sont suffisamment probants pour agir.

L’outil de prévision fournit les informations ; le modèle estime les probabilités

Valory décrit un processus d’entraînement qui s’appuie sur des exemples de prévisions évalués et sur l’apprentissage par renforcement pour améliorer les estimations de probabilité. Un outil distinct recueille des renseignements et des éléments probants sur les marchés, puis les transmet au modèle.

Cette séparation est au cœur de l’architecture. Le modèle de langage n’est qu’un composant d’un système de prévision : la récupération des informations détermine celles qui sont disponibles, tandis que le modèle les interprète et produit une probabilité. Même un raisonnement solide ne garantit pas une bonne prévision s’il repose sur des informations peu fiables ou obsolètes.

Cette approche permet également d’améliorer chaque composant indépendamment. Les développeurs peuvent affiner la récupération des informations, modifier leur présentation ou mettre à jour le prévisionniste sans nécessairement reconstruire l’agent dans son ensemble. Les scores communiqués évaluent une combinaison précise d’informations et de comportements du modèle ; ils ne doivent donc pas être transposés automatiquement à un autre processus de récupération des informations.

Comment Olas transforme l’activité des agents en données d’entraînement

Valory est un contributeur majeur d’Olas, dont l’écosystème Predict relie des agents qui créent des marchés, effectuent des transactions, fournissent des prévisions et finalisent les résultats. Les traders peuvent acheter des services de prévision auprès d’agents spécialisés par l’intermédiaire de Mech Marketplace. Une fois les événements résolus, les prévisions peuvent être comparées aux résultats, ce qui permet de constituer des données pour l’évaluation et les entraînements futurs.

Cette boucle de rétroaction fournit au projet des éléments probants propres à chaque tâche. Au lieu d’évaluer une prévision uniquement selon le caractère convaincant de son explication, le système peut, à terme, comparer son estimation de probabilité à l’issue d’un événement résolu. La résolution du marché définit toujours la cible : la formulation de la question et la qualité de la résolution restent donc déterminantes.

Les travaux antérieurs publiés par Valory se sont appuyés sur plus de 200 000 enregistrements de prédictions d’agents pour spécialiser Olas-Predict-R1-14B. Une évaluation distincte, menée ultérieurement sur des marchés, a fait état d’une précision de 75,8 % sur 2 628 marchés. Ce chiffre correspond à la précision ordinaire obtenue lors d’une autre évaluation ; il n’est pas directement comparable à la précision équilibrée de 67,3 % annoncée récemment.

Ce que les poids ouverts changent pour le déploiement

Un modèle de prévision à poids ouverts permet aux développeurs de l’héberger et de l’adapter, plutôt que de dépendre entièrement d’un service propriétaire distant. Pour une organisation qui met au point un processus de prévision, cela peut offrir un meilleur contrôle sur les mises à jour du modèle, l’infrastructure de mise à disposition et le traitement des éléments probants fournis.

Un modèle de 27 milliards de paramètres nécessite tout de même un matériel adapté ; la mémoire requise, la latence et le débit dépendent de la précision numérique, de la longueur du contexte et du degré de concurrence. L’annonce ne fournit ni coûts de déploiement mesurés ni résultats de tests de mise à disposition pour le nouveau modèle. Son seul nombre de paramètres ne suffit donc pas à établir un avantage particulier en matière de coûts d’exploitation.

La qualité des prévisions ne se confond pas non plus avec les performances de négociation. Les rendements dépendent des prix du marché, des frais de transaction, de l’exécution et de la stratégie, autant que des prédictions — une distinction qui ressort des limites relevées dans la fiche de modèle antérieure de Valory.

L’importance d’Olas-Predict-Qwen3.8-27B est donc ciblée, mais réelle : Valory indique que ce modèle spécialisé se rapproche de son modèle de référence de pointe pour les prévisions fondées sur les éléments probants fournis, et que l’entraînement dans le domaine apporte des gains mesurables. La prochaine étape consistera à transformer le flux continu de prédictions résolues en améliorations qui se confirment lors d’événements ultérieurs et dans des déploiements réels.