Valory、実世界の予測精度を高めたオープンウェイトのOlas Predictモデルを発表

Valoryは、オープンウェイトの予測モデル「Olas-Predict-Qwen3.8-27B」を発表した。同社によると、実世界の予測市場を対象としたテストで、比較対象のGPT-5.6との差は1.2パーセントポイントにとどまった。パラメーター数270億の特化型モデルは、両システムに同じ市場情報を与えたValoryの社内評価で、バランス精度67.3%を達成した。GPT-5.6は68.5%だった。

この結果は、AI開発における実践的な問いを浮き彫りにする。特化タスクの性能は、モデルが持つ幅広い知識によってどの程度決まり、関連性の高い情報や目的を絞った学習によってどの程度引き出せるのだろうか。Valoryの最新の実験は、用途を限定した予測タスクでは、小型で適応性の高いモデルも競争力を発揮できることを示す一方、性能向上の多くは、より強力な基盤モデルによるものだとも示唆している。

Valoryの予測性能比較で測定しているもの

発表によると、調査可能な予測市場6,824件を対象に結果を集計した。各システムには共通のプロンプトと証拠を与え、温度設定はゼロとした。またValoryは、比較対象のGPT-5.6が知識のカットオフ日として示した2026年2月16日に合わせて、日付によるフィルターを適用した。この比較では、各システムに独自で情報を収集させるのではなく、与えられた証拠をモデルがどのように推論するかを評価している。

この評価範囲は重要だ。ここで示されているのは、選定された市場に関する企業発表の結果であり、両モデルが全般的に同等であることを独立に実証したものではない。また、今回の最終比較は、以前に実施されたサンプル数10,916件の実験とも、Valoryが過去に発表したパラメーター数140億のモデルに関する研究とも別のものだ。

バランス精度は、2つの結果クラスに対する性能を同じ重みで評価するため、頻度の高い結果がスコアを大きく左右するのを防ぎやすい。Valoryは、確率予測を評価し、自信過剰な誤りにペナルティーを課すブライアスコアも報告している。ブライアスコアは低いほど良い。予測モデルは、最終的にどちらが勝つかを当てるだけでなく、不確実性を適切に反映した場合にも評価されるべきだ。

この表は、Valoryが報告した最終比較の対象サブセットを再掲したものだ。過去のGPT-4.1ベースラインは、GPT-4.1に対する新たな普遍的スコアではなく、あくまでその特定のベースラインとして捉える必要がある。

性能向上の大部分をもたらす、より強力な基盤モデル

今回の比較では、新モデルはOlas-Predict-R1-14Bに比べ、ブライア誤差が約22%改善し、バランス精度が8.4パーセントポイント上昇した。ただし、学習前のQwen3.8-27Bもすでにバランス精度66.4%、ブライアスコア0.2235を達成しており、性能向上の大部分はこの時点で実現していた。

ドメイン学習によって、さらに性能が向上する。ブライア誤差は約5%低下し、バランス精度は0.9パーセントポイント上昇した。モデルが示す確信度と実際の結果の一致度を要約する期待キャリブレーション誤差は、0.1630から0.1429へ低下し、約12.3%改善した。

世代間の性能向上すべてをファインチューニングの効果とみなすより、これは有用な知見だ。より強力な基盤モデルと特化型学習は、それぞれ別個に貢献している。後者は、モデルが確率をどのように示すかを改善しているようだ。これは、下流のシステムが証拠の強さを判断して行動する必要がある場合に重要な能力となる。

予測ツールが証拠を集め、モデルが確率を推定する

Valoryによると、学習プロセスでは、レビュー済みの予測事例と強化学習を用いて確率推定を改善する。これとは別に、専用ツールが市場の動向や証拠を収集し、その情報をモデルに提供する。

この分離は、アーキテクチャの中核をなす。言語モデルは予測システムを構成する一要素だ。利用可能な情報は証拠の検索によって決まり、モデルはその情報を解釈して確率を算出する。質の低い、あるいは古い証拠に基づいて優れた推論を行っても、予測の精度が低くなることはある。

このアプローチでは、各構成要素を個別に改善できる余地も生まれる。開発者は、エージェント全体を再構築しなくても、検索機能を改良したり、証拠の提示方法を変更したり、予測モデルを更新したりできる。報告されたスコアは、特定の証拠とモデルの挙動を組み合わせて評価したものだ。そのため、異なる検索パイプラインにそのまま当てはめるべきではない。

Olasがエージェントの活動を学習データに変える仕組み

ValoryはOlasの主要な貢献者だ。Olasの予測エコシステムでは、市場の作成、取引、予測の提供、結果の確定を担うエージェントが連携する。トレーダーは、Mech Marketplaceを通じて専門エージェントの予測サービスを購入できる。イベントの結果が確定すると、予測と実際の結果を照合でき、評価や今後の学習に使う記録が作成される。

このフィードバックループによって、プロジェクトはタスクに特化したエビデンスを得られます。予測の説明が説得力のあるものに聞こえるかどうかだけで評価するのではなく、システムは将来的に、確率の推定値を結果が確定した事象と照らし合わせることができます。ただし、目標を定めるのは依然として市場の結果確定プロセスであるため、質問の表現や結果確定の質は引き続き重要です。

Valoryが以前に発表した研究では、20万件を超えるエージェントの予測記録を用いて、Olas-Predict-R1-14Bを専門分野向けに特化させました。これとは別の、後に行われた市場評価では、2,628市場全体で正解率75.8%が報告されています。この数値は別の評価で得られた通常の正解率であり、今回発表されたバランス正解率67.3%と直接比較することはできません。

オープンウェイトがデプロイにもたらす変化

オープンウェイトの予測モデルを使えば、開発者はリモートのプロプライエタリなサービスに全面的に依存せず、モデルを自らホストして調整できます。予測ワークフローを構築する組織にとっては、モデルの更新、サービング基盤、提供されたエビデンスの取り扱いをより細かく管理できるようになります。

270億パラメータのモデルを動かすには、依然として適切なハードウェアが必要です。メモリ、レイテンシ、スループットは、数値精度、コンテキスト長、同時実行数によって異なります。今回の発表では、新モデルのデプロイコストやサービング性能のベンチマークは公表されていないため、パラメータ数だけでは特定の運用コスト上の優位性があるとは言えません。

予測の質と取引のパフォーマンスも異なります。リターンは予測だけでなく、市場価格、取引コスト、執行、戦略にも左右されます。この違いは、Valoryの以前のモデルカードで示された制約にも表れています。

したがって、Olas-Predict-Qwen3.8-27Bの意義は限定的ながらも重要です。Valoryによると、この専門モデルは、提供されたエビデンスに基づく予測で最先端の比較対象モデルに迫る性能を示し、ドメイン特化型の学習による向上も測定可能な形で確認されています。次の課題は、結果が確定した予測の流れを継続的な改善につなげ、その改善が後続の事象や実運用でも維持されるようにすることです。