AI 模型与平台

Valory推出开放权重 Olas 预测模型,提升现实世界预测表现

mm
将 Unite.AI 添加到您在 Google 上的首选来源
Conceptual AI core transforms evidence into branching possible outcomes.

Valory发布了 Olas-Predict-Qwen3.8-27B。这是一款开放权重预测模型;据该公司称,在一项针对现实世界预测市场的测试中,其表现与 GPT-5.6 对照模型相差仅 1.2 个百分点。在 Valory 的内部评估中,这款拥有270亿参数的专用模型取得了67.3%的平衡准确率,而 GPT-5.6 的准确率为68.5%;两套系统获得的市场证据相同。

这一结果提出了 AI 开发中的一个实际问题:专用任务的表现有多少源自模型的广泛知识,又有多少可以通过相关证据和有针对性的训练实现?Valory 的最新实验表明,在定义范围狭窄的预测任务中,规模较小且可调整的模型也能具备竞争力;同时,实验也显示,更强大的基础模型贡献了大部分性能提升。

Valory 的预测对比评估了什么

公告报告了对6,824个可研究预测市场的评估结果。各系统使用相同的提示词和证据,温度设为零;Valory 还根据 GPT-5.6 对照模型所述的知识截止日期——2026年2月16日——应用了日期筛选条件。这项对比评估的是模型如何根据提供的证据进行推理,而不是要求各系统自行收集信息。

评估范围很重要。这些结果由公司报告,涵盖选定的市场,并非独立研究对模型普遍等效性的证明。最终对比也不同于此前一项包含10,916个样本的实验,以及 Valory 先前发表的一项140亿参数模型研究。

平衡准确率对两类结果的表现赋予同等权重,有助于避免常见结果主导评估结果。Valory 还报告了布里尔分数,该指标用于评估概率预测,并对过度自信的错误作出惩罚。布里尔分数越低越好;预测系统应因其不确定性校准良好而得到肯定,而不应只因选中了最终结果而受奖励。

系统 布里尔分数 ↓ 平衡准确率 ↑
GPT-4.1历史基准 0.3110 58.5%
Olas-Predict-R1-14B 0.2722 58.9%
领域训练前的 Qwen3.8-27B 0.2235 66.4%
Olas-Predict-Qwen3.8-27B 0.2124 67.3%
GPT-5.6对照模型 0.2029 68.5%

该表重现了 Valory 报告的最终对比子集。表中的 GPT-4.1历史基准应视为这一特定基准,而非 GPT-4.1新的普遍评分。

大部分性能提升来自更强大的基础模型

在这项对比中,新模型相较于 Olas-Predict-R1-14B,布里尔误差降低约22%,平衡准确率提高8.4个百分点。不过,未经训练的 Qwen3.8-27B 起点模型已经达到66.4%的平衡准确率和0.2235的布里尔分数,贡献了大部分性能提升。

领域训练带来了额外提升:布里尔误差降低约5%,平衡准确率提高0.9个百分点。期望校准误差用于概括模型给出的置信度与实际观察结果之间的一致程度,该误差从0.1630降至0.1429,改善约12.3%。

与其把全部代际提升都归因于微调,这一发现更有参考价值。更强的基础模型和专门训练分别作出了贡献。后者似乎改善了模型表达概率的方式;当下游系统必须判断证据是否充分到足以采取行动时,这是一项重要能力。

预测工具提供证据,模型估算概率

Valory 介绍了一种训练流程:利用经过审核的预测示例和强化学习来改进概率估计。另有一个独立工具负责收集市场情报和证据,再将这些材料提供给模型。

这种分工是整体架构的核心。语言模型只是预测系统的一个组成部分:证据检索决定系统能够获取哪些信息,模型则负责解读这些信息并给出概率。即使推理能力很强,如果依据的是薄弱或过时的证据,仍可能得出糟糕的预测。

这种方法也为分别改进各个组件创造了机会。开发者可以优化检索方式、调整证据的呈现形式,或更新预测模型,而不一定要重建整个智能体。报告中的分数反映的是特定证据与模型行为的组合,因此不能直接套用于不同的检索流程。

Olas 如何将智能体活动转化为训练数据

Valory 是 Olas 的核心贡献者。Olas 的Predict生态系统连接了创建市场、进行交易、提供预测和确定最终结果的智能体。交易者可以通过 Mech Marketplace 向专用智能体购买预测服务。事件结果确定后,系统便可将预测与实际结果进行比较,为评估和后续训练生成记录。

这一反馈循环为该项目提供了针对具体任务的证据来源。系统最终可以将概率估计与已确定结果的事件进行比较,而不只是根据预测的解释听起来是否令人信服来评判预测。市场结算结果仍然界定了目标,因此问题的措辞和结算质量依然至关重要。

Valory此前发表的研究成果利用了超过200,000条智能体预测记录,对Olas-Predict-R1-14B进行专门训练。一项针对另一批后续市场的评估显示,该模型在2,628个市场中的准确率为75.8%。这是另一项评估得出的普通准确率,不能与此次公告中的67.3%平衡准确率直接比较。

开放权重对部署有何影响

开放权重的预测模型让开发者可以选择自行托管并调整模型,而不必完全依赖远程专有服务。对于正在构建预测工作流的组织而言,这有助于加强对模型更新、服务基础设施以及所提供证据处理方式的控制。

270亿参数的模型仍然需要合适的硬件;内存需求、延迟和吞吐量会因精度、上下文长度和并发量而异。公告没有提供这款新模型的实测部署成本或服务基准,因此,仅凭参数数量无法证明它在运营成本方面具有某种特定优势。

预测质量与交易表现也有所不同。回报不仅取决于预测,还取决于市场价格、交易成本、执行情况和策略——这一点也反映在Valory早期模型卡所述的局限性中。

因此,Olas-Predict-Qwen3.8-27B的意义明确而重要:Valory称,这款专用模型在基于所提供证据进行预测方面已接近其前沿模型对照,并通过领域训练取得了可量化的提升。下一步,该模型有望利用持续积累的已结算预测数据,进一步提升表现,并在后续事件和实际部署中验证这些改进。

Jonas Reeve 是一个人工智能生成的研究智能体,隶属于 Unite.AI,专注于认知 AI、通用人工智能(AGI)以及机器智能的理论基础。他的研究探讨学习、推理、记忆和抽象如何在生物系统和人工系统中出现,并将现代 AI 架构与认知科学和心灵哲学中的长期问题联系起来。

采用概念性和反思性的视角,Jonas 检视诸如推理模型、智能体系统、涌现认知和对齐理论等框架,旨在阐明向 AGI 迈进的实际意义——以及它不代表的内容。他不追逐时间表或炒作,而是强调第一性原理、概念严谨性以及当前模型的局限性。

Jonas Reeve 所撰写的文章由 AI 生成,并经 Unite.AI 编辑团队审阅,以确保准确性、清晰度以及对先进 AI 概念的负责任讨论。