Ребекка Цянь, сооснователь и технический директор Patronus AI – Интервью

Ребекка Цянь является сооснователем и техническим директором Patronus AI, имея почти десятилетний опыт создания систем машинного обучения на стыке NLP, воплощенного ИИ и инфраструктуры. В Facebook (META ) AI она работала над исследованиями и развертыванием, обучая FairBERTa, большую языковую модель, разработанную с учетом справедливости, создавая демографическую модель для переписывания контента Википедии и руководя семантическим парсингом для роботизированных помощников. Она также построила человеко-машины для воплощенных агентов и создала инструментальное обеспечение инфраструктуры, такое как непрерывная добыча контрастных наборов, которое было принято во всех командах инфраструктуры Facebook и представлено на ICSE. Она внесла свой вклад в открытое программное обеспечение, включая FacebookResearch/fairo и ноутбуки семантического парсинга Droidlet. Как основатель, она теперь фокусируется на масштабируемом надзоре, обучении с подкреплением и развертывании безопасных, осведомленных о среде ИИ-агентов.

Patronus AI – это компания из Сан-Франциско, предоставляющая исследовательскую платформу для оценки, мониторинга и оптимизации крупных языковых моделей (LLM) и ИИ-агентов, чтобы помочь разработчикам создавать надежные генеративные ИИ-продукты с уверенностью. Платформа предлагает автоматические инструменты оценки, бенчмаркинг, аналитику, пользовательские наборы данных и агентно-специфические среды, которые выявляют проблемы с производительностью, такие как галлюцинации, риски безопасности или логические сбои, позволяя командам непрерывно улучшать и устранять неисправности ИИ-систем в реальных случаях использования. Patronus обслуживает корпоративных клиентов и технологических партнеров, наделяя их возможностью оценить поведение модели, обнаружить ошибки в масштабе и повысить достоверность и производительность в приложениях ИИ.

У вас есть глубокий опыт создания систем машинного обучения в Facebook AI, включая работу над FairBERTa и человеко-машины. Как этот опыт повлиял на ваше видение реального развертывания и безопасности ИИ?

Работа в Meta AI заставила меня сосредоточиться на том, что необходимо для создания надежных моделей на практике – особенно вокруг ответственного NLP. Я работала над языковыми моделями, ориентированными на справедливость, и видела на собственном опыте, насколько трудно оценить и интерпретировать выходные данные модели. Это сформировало мое представление о безопасности. Если вы не можете измерить и понять поведение модели, то трудно развертывать ИИ с уверенностью в реальном мире.

Что мотивировало вас перейти от инженерии исследований к предпринимательству, соосновав Patronus AI, и какая проблема казалась наиболее срочной для решения в то время?

Оценка стала препятствием в ИИ в то время. Я покинула Meta AI в апреле, чтобы начать Patronus с Анандом, потому что я видела на собственном опыте, насколько трудно оценить и интерпретировать выходные данные ИИ. И когда генеративный ИИ начал внедряться в корпоративные рабочие процессы, стало очевидно, что это больше не является только лабораторной проблемой. 

Мы постоянно слышали одно и то же от корпоративных клиентов. Они хотели принять LLM, но не могли надежно протестировать их, отслеживать их или понять режимы сбоя, такие как галлюцинации, особенно в регулируемых отраслях, где существует очень мало терпимости к ошибкам. 

Таким образом, срочной проблемой на начальном этапе было создание способа автоматизировать и масштабировать оценку модели – оценку моделей в реальных сценариях, генерацию противоречивых тестовых случаев и бенчмаркинг – чтобы команды могли развертывать с уверенностью, а не полагаться на догадки.

Patronus AI недавно представил генеративные симуляторы в качестве адаптивных сред для ИИ-агентов. Какие ограничения существующих подходов к оценке или обучению привели вас к этому направлению?

Мы постоянно видели растущее несоответствие между тем, как оцениваются ИИ-агенты, и тем, как они должны работать в реальном мире. Традиционные бенчмарки измеряют изолированные возможности в определенный момент времени, но реальная работа динамична. Задачи прерываются, требования меняются во время выполнения, и решения накапливаются за долгий период. Агенты могут выглядеть сильными на статических тестах и все равно плохо работать после развертывания. По мере улучшения агентов они также насыщают фиксированные бенчмарки, что приводит к плато обучения. Генеративные симуляторы появились как способ заменить статические тесты на живые среды, которые адаптируются по мере обучения агента.

Как вы видите генеративные симуляторы, меняющие способ обучения и оценки ИИ-агентов по сравнению со статическими бенчмарками или фиксированными наборами данных?

Сдвиг заключается в том, что бенчмарки перестают быть тестами и начинают быть средами. Вместо представления фиксированного набора вопросов симулятор генерирует задание, окружающие условия и логику оценки на лету. По мере поведения и улучшения агента среда адаптируется. Это сводит на нет традиционную границу между обучением и оценкой. Вы больше не спрашиваете, проходит ли агент бенчмарк, а можете ли он работать надежно с течением времени в динамической системе.

С технической точки зрения, какие основные архитектурные идеи стоят за генеративными симуляторами, особенно вокруг генерации задач, динамики среды и структуры вознаграждения?

На высоком уровне генеративные симуляторы сочетают обучение с подкреплением с адаптивной генерацией среды. Симулятор может создавать новые задачи, обновлять правила мира динамически и оценивать действия агента в реальном времени. Ключевым компонентом является то, что мы называем корректировщиком учебной программы, который анализирует поведение агента и модифицирует сложность и структуру сценариев, чтобы поддерживать продуктивное обучение. Структуры вознаграждения предназначены для того, чтобы быть проверяемыми и специфичными для области, поэтому агенты руководствуются правильным поведением, а не поверхностными обходными путями.

Когда пространство оценки и инструментария ИИ становится более загруженным, что наиболее четко отличает подход Patronus?

Наш фокус – на экологической валидности. Мы проектируем среды, которые отражают реальные рабочие процессы человека, включая прерывания, переключение контекста, использование инструментов и многоступенчатое рассуждение. Вместо оптимизации агентов для того, чтобы они выглядели хорошо на предопределенных тестах, мы фокусируемся на выявлении видов сбоя, которые имеют значение в производстве. Симулятор оценивает поведение с течением времени, а не только выходные данные в изоляции.

Какие типы задач или режимов сбоя наиболее выигрывают от симуляторной оценки по сравнению с традиционным тестированием?

Задачи с длинным горизонтом и несколькими шагами выигрывают больше всего. Даже небольшие показатели ошибок на каждом шаге могут накапливаться в значительные показатели ошибок на сложных задачах, которые статические бенчмарки не могут захватить. Симуляторная оценка позволяет выявить сбои, связанные с поддержанием курса с течением времени, обработкой прерываний, координацией использования инструментов и адаптацией при изменении условий во время задачи.

Как обучение на основе среды меняет ваше представление о безопасности ИИ, и вводят ли генеративные симуляторы новые риски, такие как взлом вознаграждения или возникающие режимы сбоя?

Обучение на основе среды на самом деле делает многие проблемы безопасности более легко обнаруживаемыми. Взлом вознаграждения процветает в статических средах, где агенты могут использовать фиксированные лазейки. В генеративных симуляторах среда сама является движущейся целью, что делает эти обходные пути более трудными для поддержания. Тем не менее, тщательный дизайн все еще необходим вокруг вознаграждений и надзора. Преимущество сред заключается в том, что они предоставляют гораздо больше контроля и видимости над поведением агента, чем статические бенчмарки могли бы.

Оглядываясь вперед на пять лет, где вы видите Patronus AI с точки зрения технической амбиции и отраслевого воздействия?

Мы считаем, что среды становятся фундаментальной инфраструктурой для ИИ. По мере того, как агенты переходят от ответов на вопросы к выполнению реальной работы, среды, в которых они учатся, будут формировать, насколько способными и надежными они станут. Наша долгосрочная амбиция – превратить реальные рабочие процессы в структурированные среды, из которых агенты могут учиться непрерывно. Традиционное разделение между оценкой и обучением сворачивается, и мы считаем, что этот сдвиг определит следующую волну систем ИИ.

Спасибо за отличное интервью, читателям, которые хотят узнать больше, следует посетить Patronus AI.