Valory представляє модель прогнозування Olas із відкритими вагами, що демонструє кращі результати в прогнозуванні реальних подій

Valory представила Olas-Predict-Qwen3.8-27B — модель прогнозування з відкритими вагами, яка, за словами компанії, поступається її моделі GPT-5.6 для порівняння лише на 1,2 відсоткового пункта в тестуванні реальних ринків прогнозування. Спеціалізована модель із 27 мільярдами параметрів досягла 67,3% збалансованої точності під час внутрішнього оцінювання Valory проти 68,5% у GPT-5.6, коли обидві системи отримували однакові дані про ринки.

Результати порушують практично важливе питання в розробленні ШІ: яка частина ефективності моделі у вузькоспеціалізованому завданні зумовлена її широкими знаннями, а якої можна досягти завдяки релевантним даним і цілеспрямованому навчанню? Останній експеримент Valory свідчить, що менша адаптивна модель може бути конкурентоспроможною у вузько визначеному завданні прогнозування, а також показує, що значна частина покращення припадає на потужнішу базову модель.

Що оцінює порівняння моделей прогнозування Valory

В оголошенні наведено результати для 6 824 ринків прогнозування, які можна досліджувати. Системи використовували спільні запити й докази за нульової температури, а Valory застосувала фільтр за датою, пов’язаний із зазначеною датою припинення оновлення знань моделі GPT-5.6 для порівняння — 16 лютого 2026 року. Порівняння оцінює, як моделі аналізують надані докази, а не перевіряє, чи здатна кожна система самостійно збирати інформацію.

Ці межі важливі. Йдеться про результати, оприлюднені компанією для вибраних ринків, а не про незалежне підтвердження загальної рівнозначності моделей. Підсумкове порівняння також відрізняється від попереднього експерименту на 10 916 зразках і раніше опублікованого дослідження Valory моделі з 14 мільярдами параметрів.

Збалансована точність однаково враховує результати для обох класів наслідків, допомагаючи не допустити, щоб поширеніший наслідок непропорційно впливав на підсумок. Valory також наводить оцінку Брієра, яка оцінює ймовірнісні прогнози та штрафує за надмірно впевнені помилки. Нижча оцінка Брієра означає кращий результат; прогнозист має отримувати вищу оцінку за добре відкалібровану невизначеність, а не лише за правильний вибір підсумкового результату.

У таблиці відтворено фінальну підмножину даних для порівняння, про яку повідомила Valory. Історичний базовий показник GPT-4.1 слід розглядати саме як цей конкретний базовий показник, а не як нову універсальну оцінку GPT-4.1.

Потужніша базова модель забезпечує більшу частину покращення

У цьому порівнянні нова модель покращує результат Olas-Predict-R1-14B приблизно на 22% за помилкою Брієра та на 8,4 відсоткового пункта за збалансованою точністю. Однак початкова модель Qwen3.8-27B без додаткового навчання вже досягає 66,4% збалансованої точності й оцінки Брієра 0,2235, забезпечуючи значну частину прогресу.

Навчання на предметній області дає додаткове покращення: помилка Брієра зменшується приблизно на 5%, а збалансована точність зростає на 0,9 відсоткового пункта. Очікувана помилка калібрування, яка узагальнює відповідність між заявленою впевненістю та спостережуваними результатами, знижується з 0,1630 до 0,1429 — це покращення приблизно на 12,3%.

Цей висновок корисніший, ніж пояснювати весь приріст між поколіннями доопрацюванням моделі. Потужніша базова модель і спеціалізоване навчання дають окремий внесок. Останнє, схоже, покращує те, як модель виражає ймовірності, — це важлива здатність, коли наступна система має вирішити, чи достатньо вагомі докази для дії.

Інструмент прогнозування надає докази, а модель оцінює ймовірність

Valory описує процес навчання, у якому перевірені приклади прогнозування та навчання з підкріпленням використовують для покращення оцінок імовірності. Окремий інструмент збирає ринкову інформацію та докази, а потім передає їх моделі.

Такий поділ є ключовим для архітектури. Мовна модель — лише один компонент системи прогнозування: пошук доказів визначає, яка інформація доступна, а модель інтерпретує її та формує оцінку ймовірності. Навіть якісне міркування на основі слабких або застарілих доказів може призвести до поганого прогнозу.

Такий підхід також дає змогу вдосконалювати компоненти незалежно один від одного. Розробники можуть покращити пошук, змінити спосіб подання доказів або оновити модель прогнозування, не перебудовуючи обов’язково весь агент. Наведені оцінки стосуються конкретного поєднання доказів і поведінки моделі, тому їх не слід автоматично переносити на інший конвеєр пошуку.

Як Olas перетворює діяльність агентів на навчальні дані

Valory — один із ключових розробників Olas, екосистема якого екосистема Predict об’єднує агентів, що створюють ринки, торгують, надають прогнози та визначають остаточні результати. Трейдери можуть купувати послуги прогнозування у спеціалізованих агентів через Mech Marketplace. Коли події завершуються, прогнози можна порівняти з результатами, створюючи записи для оцінювання та майбутнього навчання.

Цей цикл зворотного зв’язку дає проєкту джерело свідчень, специфічних для конкретних завдань. Замість того щоб оцінювати прогноз лише за тим, наскільки переконливо звучить його пояснення, система згодом зможе зіставляти оцінку ймовірності з результатом події, щодо якої вже ухвалено остаточне рішення. Цільовий результат і далі визначається ринковим розв’язанням, тому формулювання запитання та якість визначення результату залишаються важливими.

У своїй попередній опублікованій роботі Valory використала понад 200 000 записів прогнозів агентів, щоб спеціалізувати Olas-Predict-R1-14B. В окремому оцінюванні на пізніших ринках повідомлялося про точність 75,8% на 2 628 ринках. Це звичайна точність, отримана в межах іншого оцінювання; її не можна безпосередньо порівнювати зі збалансованою точністю 67,3%, зазначеною в новому анонсі.

Що відкриті ваги змінюють у розгортанні

Модель прогнозування з відкритими вагами дає розробникам змогу самостійно розміщувати й адаптувати модель, а не повністю залежати від віддаленого пропрієтарного сервісу. Для організації, яка створює процес прогнозування, це може забезпечити більший контроль над оновленнями моделі, інфраструктурою для її обслуговування та роботою з наданими свідченнями.

Модель із 27 мільярдами параметрів усе одно потребує відповідного обладнання, а вимоги до пам’яті, затримки й пропускної здатності залежать від точності обчислень, довжини контексту та кількості одночасних запитів. В анонсі не наведено даних про виміряні витрати на розгортання чи результати тестування продуктивності обслуговування нової моделі, тож сама кількість її параметрів не свідчить про конкретну перевагу в експлуатаційних витратах.

Якість прогнозування також відрізняється від результативності торгівлі. Дохідність залежить не лише від прогнозів, а й від ринкових цін, транзакційних витрат, виконання угод і стратегії — цю відмінність відображено в обмеженнях, описаних у попередній картці моделі Valory.

Значення Olas-Predict-Qwen3.8-27B полягає в конкретному, але важливому результаті: за даними Valory, спеціалізована модель наближається до моделі-компаратора найвищого рівня в прогнозуванні на основі наданих свідчень, а навчання в предметній галузі дає вимірювані покращення. Наступна можливість для неї — перетворити безперервний потік прогнозів із уже визначеними результатами на покращення, які підтверджуватимуться під час подальших подій і реального розгортання.