Valory представляет модель Olas Predict с открытыми весами и улучшенными результатами в прогнозировании реальных событий

Valory представила Olas-Predict-Qwen3.8-27B — модель прогнозирования с открытыми весами, которая, по словам компании, уступает сопоставляемой с ней GPT-5.6 не более чем на 1,2 процентного пункта в тестировании на реальных рынках прогнозов. Внутренняя оценка Valory показала, что специализированная модель с 27 миллиардами параметров достигла сбалансированной точности 67,3% против 68,5% у GPT-5.6, когда обеим системам предоставляли одни и те же сведения о рынках.

Этот результат ставит практический вопрос, актуальный для разработки ИИ: какая часть успеха в специализированной задаче определяется широкими знаниями модели, а какая — релевантными данными и целенаправленным обучением? Последний эксперимент Valory показывает, что более компактная и адаптируемая модель может быть конкурентоспособной в узко определенной задаче прогнозирования. Вместе с тем он свидетельствует, что значительная часть улучшения обусловлена более мощной базовой моделью.

Что оценивает сравнение моделей прогнозирования Valory

В сообщении представлены результаты по 6 824 рынкам прогнозов, которые можно исследовать. Системы использовали одинаковые запросы и данные при температуре 0; кроме того, Valory применила фильтр по дате, соответствующий указанной для GPT-5.6 дате отсечения знаний — 16 февраля 2026 года. В ходе сравнения оценивается, как модели рассуждают на основе предоставленных данных, а не то, как каждая из них самостоятельно собирает информацию.

Важно учитывать рамки этой оценки. Речь идет о результатах, сообщенных компанией для выбранных рынков, а не о независимой демонстрации общей эквивалентности моделей. Итоговое сравнение также следует отличать от более раннего эксперимента на выборке из 10 916 примеров и ранее опубликованного Valory исследования модели с 14 миллиардами параметров.

Сбалансированная точность придает одинаковый вес результатам для двух классов исходов, не позволяя более распространенному исходу непропорционально влиять на итог. Valory также приводит оценку Брайера, которая оценивает вероятностные прогнозы и штрафует за чрезмерно уверенные ошибки. Чем ниже оценка Брайера, тем лучше: прогнозист должен получать более высокую оценку за хорошо откалиброванную неопределенность, а не только за правильный выбор исхода.

В таблице приведена итоговая выборка для сравнения, результаты по которой опубликовала Valory. Исторический базовый результат GPT-4.1 следует рассматривать именно как конкретный базовый показатель, а не как новый универсальный результат для GPT-4.1.

Основная часть улучшения связана с более мощной базовой моделью

В этом сравнении новая модель улучшает результат Olas-Predict-R1-14B примерно на 22% по ошибке Брайера и на 8,4 процентного пункта по сбалансированной точности. Однако исходная, не обученная на специальных данных Qwen3.8-27B уже достигает сбалансированной точности 66,4% и оценки Брайера 0,2235, обеспечивая значительную часть общего прогресса.

Обучение в предметной области дает дополнительное улучшение: ошибка Брайера снижается примерно на 5%, а сбалансированная точность повышается на 0,9 процентного пункта. Ожидаемая ошибка калибровки, отражающая соответствие между заявленной уверенностью и наблюдаемыми исходами, уменьшается с 0,1630 до 0,1429 — примерно на 12,3%.

Это более содержательный вывод, чем приписывать весь прогресс между поколениями дообучению. Более мощная базовая модель и специализированное обучение вносят отдельный вклад. Последнее, по-видимому, помогает модели точнее выражать вероятности — важная способность, когда последующей системе нужно решить, достаточно ли убедительны данные для принятия мер.

Инструмент прогнозирования предоставляет данные, а модель оценивает вероятность

Valory описывает процесс обучения, в котором проверенные примеры прогнозирования и обучение с подкреплением используются для улучшения оценок вероятности. Отдельный инструмент собирает рыночную информацию и данные, а затем передает их модели.

Такое разделение лежит в основе архитектуры. Языковая модель — лишь один из компонентов системы прогнозирования: от поиска данных зависит, какая информация доступна, а модель интерпретирует ее и рассчитывает вероятность. Даже качественные рассуждения на основе ненадежных или устаревших данных могут привести к плохому прогнозу.

Такой подход позволяет также совершенствовать компоненты независимо друг от друга. Разработчики могут улучшать поиск данных, менять способ их представления или обновлять прогнозист, не перестраивая при этом весь агент. Опубликованные оценки относятся к конкретному сочетанию данных и поведения модели, поэтому их нельзя автоматически переносить на другой конвейер поиска данных.

Как Olas превращает работу агентов в обучающие данные

Valory — один из основных участников проекта Olas, чья экосистема Predict объединяет агентов, которые создают рынки, торгуют, предоставляют прогнозы и подводят итоги после наступления исходов. Трейдеры могут приобретать услуги прогнозирования у специализированных агентов через Mech Marketplace. Когда исходы событий становятся известны, прогнозы можно сопоставить с результатами, формируя данные для оценки и последующего обучения.

Такая обратная связь дает проекту источник данных, относящихся к конкретным задачам. Вместо того чтобы оценивать прогноз только по тому, насколько убедительно звучит его обоснование, система со временем сможет сопоставлять оценку вероятности с уже установленным исходом события. Целевое значение по-прежнему определяется разрешением рынка, поэтому формулировка вопроса и качество определения исхода остаются важными.

В ранее опубликованной работе Valory использовала более 200 000 записей прогнозов агентов для специализации Olas-Predict-R1-14B. В отдельной оценке на более поздних рынках сообщалось о точности 75,8% на 2 628 рынках. Это значение отражает обычную точность, полученную в ходе другой оценки, и его нельзя напрямую сопоставлять с заявленной в новом сообщении сбалансированной точностью 67,3%.

Что открытые веса меняют в развертывании модели

Модель прогнозирования с открытыми весами позволяет разработчикам размещать и адаптировать ее самостоятельно, а не полностью полагаться на удаленный проприетарный сервис. Для организации, создающей рабочий процесс прогнозирования, это может обеспечить больший контроль над обновлениями модели, инфраструктурой обслуживания и обработкой предоставленных данных.

Для модели с 27 миллиардами параметров по-прежнему требуется подходящее оборудование; потребность в памяти, задержка и пропускная способность зависят от точности вычислений, длины контекста и числа одновременных запросов. В сообщении не приводятся измеренные затраты на развертывание новой модели или показатели производительности при ее обслуживании, поэтому одно лишь количество параметров не доказывает наличие какого-либо конкретного преимущества в эксплуатационных расходах.

Качество прогнозирования также отличается от результатов торговли. Доходность зависит не только от прогнозов, но и от рыночных цен, транзакционных издержек, исполнения сделок и выбранной стратегии — это различие отражено в ограничениях, указанных в более ранней карточке модели Valory.

Значение Olas-Predict-Qwen3.8-27B ограниченно, но существенно: по данным Valory, специализированная модель приближается к передовой модели для сравнения в прогнозировании на основе предоставленных данных, а обучение в предметной области обеспечивает измеримый прирост качества. Следующая возможность — использовать непрерывно поступающие прогнозы с уже установленными исходами, чтобы добиться улучшений, сохраняющихся при проверке на последующих событиях и в реальных развертываниях.