Crux Labs привлекает более 6 млн долларов, чтобы превратить экспертные знания компаний в более эффективных ИИ-агентов

ИИ-агент может выполнить задачу и при этом принять решение, которое опытный сотрудник отверг бы. Часто сложнее всего понять негласные правила: когда задать дополнительный вопрос, когда передать вопрос на следующий уровень и что считать хорошим результатом в конкретной компании.

Crux Labs разрабатывает платформу, которая превращает экспертные знания в непрерывный процесс оценки и совершенствования корпоративных агентов. Стартап из Нью-Йорка вышел из закрытого режима, привлекая более 6 млн долларов в ходе раунда финансирования, спрос на который превысил предложение. Раунд возглавили Benchstrength и Misneach; в нем также участвовали Analog Ventures и Pareto Holdings.

Компания планирует направить средства на расширение исследовательской и инженерной команд и ускорение внедрения решений в корпоративном секторе. В основе ее стратегии — убеждение, что компаниям нужны системы оценки, настроенные с учетом опыта их собственных специалистов, и механизм обратной связи, связывающий поведение агентов в рабочей среде с изменениями самих агентов.

Почему записи о работе агентов — лишь отправная точка

Средства наблюдения за работой агента помогают командам изучать действия системы: последовательность сообщений, вызовов инструментов и других шагов в ходе взаимодействия. Эти записи ценны, когда что-то идет не так. Однако, чтобы определить, было ли взаимодействие достаточно успешным, нужны критерии, учитывающие задачу и особенности бизнеса.

По мнению Crux, ручная проверка не успевает за масштабным внедрением. В сообщении компании говорится, что команды анализируют лишь 1% записей о работе агентов, поэтому значительная часть остального трафика остается без непосредственной проверки. Эта цифра отражает описание проблемы самой компанией, а не результат опубликованного отраслевого исследования.

Выборочная проверка особенно ограничивает возможности, если важные сбои случаются редко. В типичных ситуациях агент может работать приемлемо, но не справляться с исключением, которое опытные сотрудники распознают сразу. Сложность состоит в том, чтобы превратить это умение распознавать проблему в критерии оценки, которые можно последовательно применять к гораздо большему числу взаимодействий.

Crux видит возможность в налаживании связи между специалистами, знающими предметную область, и инженерами, создающими агента. Эксперты могут объяснить, как выглядит успешное взаимодействие, но это понимание необходимо превратить в повторяемую часть процесса оценки и совершенствования системы.

Сбор экспертных оценок и настройка системы оценки

По описанию Crux, рабочий процесс начинается в инструментах и с использованием процессов, которые компания уже применяет. Агенты собирают экспертные оценки и используют их для настройки специальных критериев оценки. Затем эти критерии применяются для мониторинга в рабочей среде и отправки оповещений, а полученные результаты используются для дальнейшего совершенствования агентов.

Этап настройки имеет большое значение. При оценке по общим критериям можно высоко оценить беглый ответ, который не учитывает специфические требования бизнеса. Критерии, основанные на экспертных оценках, призваны отличать ответ, который звучит убедительно, от ответа, соответствующего ожиданиям организации.

«Агенты невероятно хорошо справляются с достижением целей, но у них нет доступа к годами накапливавшимся у нас, людей, эвристическим знаниям», — сказала соосновательница и генеральный директор Crux Джули Хейфетс. «Crux помогает каждой компании систематизировать эти знания и использовать их для быстрого совершенствования агентов».

Предполагается, что процесс оценки будет меняться с учетом знаний, которые эксперты получают в ходе реальных взаимодействий. Когда выявляются новые типы сбоев, организация может учитывать эти знания при оценке будущего поведения агентов, а не оставлять их разрозненными в обращениях в службу поддержки и заметках отдельных проверяющих.

Мониторинг всего потока трафика в рабочей среде

По словам Crux, ее специальные критерии оценки оптимизированы для мониторинга в реальном времени и отправки оповещений по 100% трафика в рабочей среде. Это утверждение касается охвата: оценка применяется ко всему потоку трафика. Оно не означает, что критерии выявляют все возможные сбои или всегда полностью совпадают с оценками экспертов.

Это различие важно, поскольку автоматизированная оценка сама по себе создает проблему измерения. Даже система, проверяющая каждое взаимодействие, может упустить важные особенности поведения, если ее критерии неполны. Поэтому настройка критериев с учетом экспертных знаний в предметной области — ключевая часть предложения Crux, а не необязательный этап перед началом мониторинга.

Компания также утверждает, что результаты оценки помогают внедрять улучшения в рабочую среду. В сообщении не уточняется, какие элементы этого процесса затрагивают промпты, политики, модели или другие компоненты и как получают одобрение клиентов. Заявленное предложение — это услуга по оценке и совершенствованию на всех этапах, а не конкретная методика обучения моделей.

Команда основателей с опытом работы в корпоративном секторе и сфере ИИ

Kheyfets познакомился с сооснователем и техническим директором Krishna Kulkarni в Princeton University. У Kheyfets десятилетний опыт внедрения ИИ в сложных отраслях, в том числе руководство бизнесом Tractable AI в Северной Америке и работа на посту генерального директора Block Renovation.

По данным компании, Кулкарни ранее руководил инженерным направлением бренда в Meta, разрабатывал продукты на основе ИИ в Checkr и помог масштабировать Healthify: число пациентов выросло с нуля до 20 миллионов. Crux создает команду исследователей и инженеров, которая будет заниматься оценкой и совершенствованием ИИ-агентов.

«Инженерные команды умеют создавать ИИ-агентов, а профильные эксперты понимают, что считать успехом, но предприятиям не хватает связующего звена между ними, — сказал Кулкарни. — Crux превращает отраслевую экспертизу в основу непрерывного совершенствования агентов, чтобы инженеры могли создавать агентов, действительно отвечающих потребностям бизнеса».

Компания сообщает о первых успехах в работе с предприятиями из списка Fortune 500 и быстрорастущими компаниями в сфере здравоохранения, кибербезопасности, финансовых услуг и других сложных отраслях. В своем объявлении она не назвала этих клиентов и не раскрыла выручку, количество внедрений или измеренные улучшения.

Экономическое обоснование оценки с учетом специфики компании

Crux позиционирует себя как эквивалент специализированной команды по оценке и совершенствованию ИИ-агентов внутри предприятия. Коммерческая идея состоит в том, что сотрудники продуктовых и инженерных команд должны тратить меньше времени на организацию процессов проверки и выявление повторяющихся сбоев, а эксперты — получить практический способ влиять на системы, представляющие их бизнес.

Потребность в отраслевой экспертизе заметна и в платформе iMerit для обучения и оценки ИИ с участием экспертов, где сбор и систематизация отзывов специалистов входят в рабочий процесс совершенствования моделей.

Для инвесторов возможность связана с тем, что происходит после запуска агентов в рабочей среде. Создание агента порождает новую потребность: непрерывно оценивать его поведение, выявлять недостатки и совершенствовать его, не упуская из виду стандарты организации.

Финансирование Crux поможет проверить, можно ли надежно применять этот процесс у клиентов с разными представлениями об успехе. Идея проста: суждения наиболее компетентных сотрудников компании должны учитываться при оценке ее агентов, а результаты этих оценок должны помогать агентам лучше работать в реальных условиях. Дополнительная информация доступна на сайте Crux Labs.