Jev і новий шар прийняття рішень для AI‑агентів

Чому моделі System One можуть розділяти швидке судження та повільне розмірковування

Багато AI‑агентів використовують мовну модель майже для всіх своїх рішень. Мовна модель обирає інструмент, оцінює результати, визначає, чи потрібно продовжувати, і нарешті генерує відповіді. Гнучко; проте цей процес може бути дорогим, коли рішення «так/ні» повторюються у великому масштабі. Unite.AI раніше обговорювала, як агентні робочі процеси збільшують кількість викликів моделей, контекст і повторні спроби. Кожне додаткове рішення може збільшити час і витрати перед тим, як надати користувачам корисну інформацію.

Jev пропонує розбити завдання інакше. Використовуйте модель, створену для обмежених суджень, у якій визначено набір відповідей. Використовуйте генеративну модель для відкритого розмірковування та мови. Jev вважає, що головна ідея тут не в тому, що всім агентам потрібно придбати один новий продукт. Ключовий концепт полягає в тому, що агенту не потрібен один і той же тип інтелекту на кожному етапі.

Що насправді робить Jev

TypeSafe запустила Jev у вересні 2026 року, перша з їх нових моделей System One. Jev не генерує прозу. Замість цього ви надсилаєте йому стан (наприклад, повідомлення підтримки та дані користувача). Ви також надсилаєте одне або кілька питань, які мають попередньо визначені типи відповідей. Потім Jev відповідає типізованими відповідями та ймовірностями.

Згідно з офіційною документацією компанії, існує три примітиви для прийняття суджень:

• Choice дозволяє вибирати серед попередньо визначених варіантів.
• Score дозволяє оцінювати щось за упорядкованою рубрикою.
• Noul оцінює ймовірність того, що твердження є правдивим.

Ви можете задати кілька незалежних питань щодо одного стану в одному запиті.

Наприклад, уявімо, що ви вирішуєте питання обслуговування клієнтів. Система може захотіти визначити, яка команда повинна обробити цей випадок. Вона також може визначити, наскільки швидко треба відповісти, і чи клієнт запросив відшкодування.

Чат‑модель потенційно може виконати всі три завдання. Однак їй доведеться повернути результати вашому застосунку у вигляді структурованої відповіді. Навпаки, Jev надає лише обмежені рішення. Ваш застосунок тоді вирішуватиме, яку дію вжити далі, спираючись на ці рішення.

Архітектурний зсув важливіший за модель

Більшість цих дискусій порівнює великі моделі з малими. Jev пропонує альтернативну межу. Деякі кроки включають генерацію мови. Інші — вузькі судження, які може споживати програмне забезпечення.

Це створює шар прийняття рішень в агенті. Модель здійснюватиме оцінку. Програмне забезпечення застосовуватиме політику. Якщо оцінена ймовірність перевищує випробуваний поріг і дія є низькоризиковою та зворотною, робочий процес може продовжитися. Якщо в результатах є невизначеність або дія може мати серйозні наслідки, система може запросити людський контроль. Модель розумування може допомогти дослідити невизначеність, але не замінює необхідного людського схвалення.

Рисунок 1. Обмежений шлях прийняття рішень зберігає пороги, дозволи та ескалацію у коді.

Існують схожості з маршрутизацією моделей, але є критична різниця. RouteLLM робить вибір, яку з двох мовних моделей обрати. Вона обирає між більш потужною та менш потужною моделлю, щоб збалансувати якість і ціну. Модель System One створює обмежені судження, які код може використовувати безпосередньо. Ці судження можуть підтримувати маршрутизацію моделей, а також інші рішення в агенті.

Чому цикли агентів природно підходять

Характер циклів агентів робить їх особливо придатними для здійснення численних суджень на дуже дрібних рівнях. Ці судження допомагають досягти кінцевого результату. Іншими словами, агенти мають робити багато «малих» суджень після того, як користувач надсилає своє запитання чи запит. Ці судження відбуваються до того, як повертається відповідь або результат.

Прикладом може бути визначення, які інструменти використовувати, ранжування отриманих записів та оцінка ризику. Система також визначає, чи достатньо доказів і чи слід продовжувати процес. Швидше за все, це буде відбуватися багаторазово. Крім того, затримки між кожним циклом можуть накопичуватись з часом.

Ця роль для циклів агентів проілюстрована інтеграція Jev у LangChain, де Jev може виконувати як маршрутизацію моделей, так і перевірки викликів інструментів. Хоча Jev інтегрується навколо меж генеративної моделі, сама генеративна модель продовжує планувати та створювати контент. Це представляє значно більш реалістичний випадок використання Jev. Вона доповнює універсальну мовну модель, а не замінює її.

Крім того, паралелізація питань також змінює спосіб, яким команди мислять про розбиття завдань. Зокрема, команди можуть розбити одну неоднозначну інструкцію на кілька окремих питань оцінки. Це потенційно може призвести до значно коротшої послідовності викликів моделі. Це може створити робочий процес, який набагато легше оцінювати. Це також дозволяє розробникам використовувати явну бізнес‑логіку для поєднання отриманих суджень.

Універсальні мовні моделі можуть генерувати структурований вихід і в деяких випадках можуть бути кращим вибором. Наприклад, визначення та пояснення можуть потребувати одночасного надання. Тому Jev повинен продемонструвати більше, ніж просто відповідність схемі, щоб вважатися ефективним.

Ефективність Jev залежить від досягнення скорочення загальної затримки системи. Вона також залежить від створення корисних оцінок ймовірності та демонстрування стабільності продуктивності при різних вхідних даних. Якщо Jev не зможе надати ці переваги, вибір іншої моделі лише додасть додаткових витрат на розробку та експлуатацію.

Чи означає типізований правильність?

Мова, що використовується при формуванні тверджень про Jev, також повинна бути ретельно сформульована. Оскільки простір вихідних даних визначається заздалегідь, модель не повинна повертати вигадане поле чи нерозбірливий абзац. Це усуває одну форму збою; це не усуває семантичні помилки. Ніщо не заважає системі повернути неправильний підрозділ, присвоїти неправильний рівень ризику або заявити надмірну впевненість. Вона може робити все це, залишаючись повністю типобезпечною.

власна документація System One робить важливе розрізнення. Калібрування вимірюється за групами прогнозів; воно не гарантує правильність окремого прогнозу. У продакшн‑середовищі це має наслідки. Командам потрібно перевіряти, чи передбачені ймовірності відповідають спостережуваним результатам на їх власних даних.

Докази продуктивності ще ранні

TypeSafe повідомляє про час реакції від 70 до 500 мілісекунд. Він також посилається на значну економію витрат і підвищення швидкості у внутрішніх оцінках робочих процесів. Крім того, TypeSafe вказує, що ці загальні вигоди, ймовірно, знаходяться ближче до верхньої межі реальних вигод. TypeSafe публічно доступне тестування робочих процесів використовує еталонні ймовірності, надані іншими передовими моделями, а не еталонними мітками. Результати підходять для формування гіпотез. Результати не можуть замінити незалежне тестування на реальному навантаженні.

Практичний тест перед впровадженням

Коли ви створюєте свій перший AI‑запускний робочий процес прийняття рішень, не обирайте найкритичніші рішення (наприклад, медичні схвалення або блокування облікових записів). Натомість виберіть щось дуже поширене, оборотне та легке для перегляду іншими членами команди. Це включає, але, без сумніву, не обмежується маршрутизацією тикетів, категоризацією документів, вибором моделей та контролем якості з низьким ризиком.

Чотири питання допоможуть вам оцінити, чи це спрацює:

• Чи має вихід скінченну кількість можливих відповідей?
• Чи можете ви чітко сформулювати критерії оцінки?
• Чи є вимірювані результати? Відстежуйте прогноз, його ймовірність, дію та подальші результати. Регулярно перевіряйте калібрування, порівнюючи передбачені ймовірності зі спостережуваними результатами.
• Чи маєте ви альтернативний план на випадок збою автоматизованого процесу прийняття рішень? Визначте конкретний момент, коли слід використати модель міркування, запросити додаткову інформацію або залучити людину.

Ваш аналіз має охоплювати весь робочий процес, включаючи процес прийняття рішень. Використовуйте метрики, такі як точність рішень, рівень відмов або ескалації, загальний час обробки від початку до кінця, вартість за успішно завершене завдання та вплив помилок. Проводьте тести в несприятливих умовах: різноманітність використання слів, пропуск релевантних даних, рідкісні категорії та ворожі ввідні дані. Оптимізований класифікатор, який створює додаткові витрати у подальшому, не є оптимізацією.

Довгостроковий урок тут

Якщо Jev досягне успіху, зазнає суттєвих змін або буде швидко замінений, одна річ залишається незмінною. Архітектурне питання залишається. Чи необхідно, щоб кожне машинне рішення представлялося у вигляді згенерованої мови?

У багатьох випадках відповідь – «ні». У виробничому середовищі система, що використовує генеративні моделі, може генерувати інтерпретації, плани та пояснення. Використовуючи обмежені моделі прийняття рішень, та сама система може маршрутизувати, оцінювати та контролювати. Код може продовжувати визначати прийнятні порогові значення та дозволи. Люди мають залишатися відповідальними за рішення, що впливають на життя інших.

Хоча це менш драматичний підхід, ніж мати одну автономну модель, яка надійно виконує всі завдання, він відображає те, як створюються надійні системи. Наступний прогрес у продуктивності агентів може залежати від вибору тих ділянок системи, де обдумування займає більше часу. Інші ділянки потребують швидких рішень, а деякі взагалі не вимагають дії.