Crux Labs залучила понад 6 млн доларів, щоб перетворити досвід компаній на кращих агентів ШІ

Агент ШІ може виконати завдання й водночас ухвалити рішення, яке досвідчений працівник відхилив би. Часто найскладніше — зрозуміти неписані правила: коли поставити додаткове запитання, коли передати справу на розгляд іншому фахівцеві та що означає успішний результат для конкретного бізнесу.

Crux Labs створює платформу, яка перетворює експертні судження на безперервний процес оцінювання та вдосконалення корпоративних агентів. Стартап із Нью-Йорка вийшов із режиму конфіденційної розробки, залучивши понад 6 млн доларів у раунді фінансування, попит на який перевищив пропозицію. Раунд спільно очолили Benchstrength і Misneach, також у ньому взяли участь Analog Ventures і Pareto Holdings.

Компанія планує спрямувати кошти на розширення дослідницької та інженерної команд і прискорення впровадження рішень у корпоративному секторі. В основі її стратегії — переконання, що бізнесу потрібні системи оцінювання, налаштовані відповідно до досвіду власних фахівців, і цикл зворотного зв’язку, який пов’язує поведінку агентів у робочому середовищі з їхніми подальшими змінами.

Чому трасування дій агентів — лише відправна точка

Засоби спостереження за роботою агентів допомагають командам перевірити, що саме зробила система: послідовність повідомлень, виклики інструментів та інші кроки взаємодії. Такий запис стає в пригоді, коли щось іде не так. Однак, щоб визначити, чи була взаємодія достатньо якісною, потрібні критерії, які враховують завдання та особливості бізнесу.

У Crux вважають, що ручна перевірка не встигає за масштабними впровадженнями. У повідомленні компанії йдеться, що команди аналізують лише 1% трасувань дій агентів, тож значна частина решти трафіку залишається поза безпосереднім наглядом. Це число відображає опис проблеми самою компанією, а не результат опублікованого галузевого дослідження.

Вибіркова перевірка може бути особливо обмежувальною, коли важливі збої трапляються рідко. Агент може прийнятно працювати у звичних ситуаціях, але не впоратися з винятковим випадком, який досвідчені працівники розпізнають одразу. Складність полягає в тому, щоб перетворити це розуміння на критерії оцінювання, які можна послідовно застосовувати до значно більшої кількості взаємодій.

На думку Crux, можливість полягає у співпраці між фахівцями, які знають галузь, та інженерами, що створюють агентів. Експерти з відповідної сфери можуть пояснити, який вигляд має успішна взаємодія, але це розуміння потрібно зробити невіддільною, повторюваною частиною процесу вимірювання та вдосконалення системи.

Збирання експертних оцінок і налаштування систем оцінювання

Crux описує робочий процес, який починається в інструментах і процедурах, якими компанія вже користується. Агенти фіксують експертні оцінки та використовують їх для налаштування спеціалізованих систем оцінювання. Потім ці системи забезпечують моніторинг робочого середовища й надсилання сповіщень, а отримані результати використовують для подальшого вдосконалення агентів.

Етап налаштування має важливе значення. Універсальна система оцінювання може заохочувати до плавної й переконливої відповіді, яка не відповідає конкретній вимозі бізнесу. Система, заснована на експертних оцінках, має розрізняти відповідь, яка лише звучить правильно, і ту, що відповідає очікуванням організації.

«Агенти неймовірно добре досягають цілей, але не мають доступу до багаторічного досвіду й евристик, які ми, люди, накопичили у своїй свідомості», — сказала співзасновниця та генеральна директорка Crux Джулі Хейфетс. «Crux допомагає кожній компанії систематизувати ці знання та використовувати їх, щоб швидко вдосконалювати агентів».

Очікується, що процес оцінювання постійно змінюватиметься відповідно до того, чого експерти навчаються на основі реальних взаємодій. Коли з’являються нові типи збоїв, організація отримує змогу врахувати ці знання під час оцінювання майбутньої поведінки, а не залишати їх розпорошеними між зверненнями до служби підтримки та оцінками окремих фахівців.

Моніторинг усього потоку робочого трафіку

У Crux стверджують, що їхні спеціалізовані системи оцінювання оптимізовано для моніторингу в реальному часі й надсилання сповіщень щодо 100% робочого трафіку. Це твердження стосується охоплення: оцінювання застосовується до всього потоку трафіку. Воно не означає, що системи виявляють усі можливі збої або завжди точно збігаються з оцінками фахівців.

Ця відмінність важлива, адже автоматизоване оцінювання створює власні труднощі з вимірюванням. Система, яка перевіряє кожну взаємодію, усе одно може пропустити важливу поведінку, якщо її критерії неповні. Тому налаштування цих критеріїв із залученням галузевих фахівців є основою пропозиції Crux, а не необов’язковим етапом перед початком моніторингу.

Компанія також стверджує, що результати оцінювання дають змогу впроваджувати вдосконалення у робоче середовище. У повідомленні не уточнюється, які саме складники цього процесу змінюють підказки, політики, моделі чи інші компоненти, і як отримують схвалення клієнтів. Описана пропозиція — це комплексна послуга з оцінювання та вдосконалення, а не конкретний метод навчання моделей.

Команда засновників із досвідом роботи з корпоративним ШІ

Хейфетс і співзасновник та технічний директор Крішна Кулкарні познайомилися в Princeton University. Хейфетс має десятирічний досвід упровадження ШІ у складних галузях: зокрема, очолювала напрям у Північній Америці в Tractable AI та була генеральною директоркою Block Renovation.

За даними компанії, Кулкарні раніше керував інженерним напрямом бренду в Meta, розробляв продукти на основі ШІ в Checkr і допоміг Healthify вирости від нуля до 20 мільйонів пацієнтів. Crux формує команду дослідників та інженерів, зосереджену на оцінюванні й удосконаленні агентів.

«Інженерні команди знають, як створювати агентів ШІ, а фахівці з предметної галузі розуміють, у чому полягає успіх, але підприємствам бракує ланки, що поєднала б їх», — сказав Кулкарні. «Crux втілює галузеву експертизу в безперервне вдосконалення агентів, щоб інженери могли створювати агентів, справді узгоджених із потребами бізнесу».

Компанія повідомляє про перші результати роботи з підприємствами зі списку Fortune 500 та бізнесами, що швидко зростають, у сферах охорони здоров’я, кібербезпеки, фінансових послуг та інших складних галузях. В оголошенні вона не назвала цих клієнтів і не розкрила даних про виручку, кількість упроваджень чи виміряні покращення.

Бізнес-обґрунтування оцінювання з урахуванням специфіки компанії

Crux позиціонує себе як аналог спеціалізованої команди з оцінювання та вдосконалення агентів усередині підприємства. Комерційне обґрунтування полягає в тому, що фахівці з продукту та інженерії мають витрачати менше часу на побудову процесів перевірки й діагностування повторюваних збоїв, а експерти — отримати дієвий спосіб впливати на системи, що працюють від імені їхнього бізнесу.

Потреба в галузевій експертизі помітна і на платформі iMerit для навчання й оцінювання ШІ за участю експертів, де впорядкування відгуків фахівців є частиною процесу вдосконалення моделей.

Для інвесторів можливість пов’язана з тим, що відбувається після запуску агентів у виробниче середовище. Створення агента породжує нову потребу безперервно вимірювати його поведінку, виявляти слабкі місця та вдосконалювати його, не втрачаючи з поля зору стандарти організації.

Фінансування Crux допоможе перевірити, чи можна надійно забезпечити цей процес для клієнтів, які по-різному визначають успіх. Пропозиція компанії проста: оцінки найкращих фахівців компанії мають стати частиною процесу оцінювання її агентів, а результати такого оцінювання мають сприяти кращій поведінці агентів у виробничому середовищі. Докладніша інформація доступна на сайті Crux Labs.