Ребекка Цянь, співзасновник і технічний директор Patronus AI – Серія інтерв’ю

Ребекка Цянь – співзасновник і технічний директор Patronus AI, з майже десятирічним досвідом будівництва систем машинного навчання на перетині NLP, втіленого AI та інфраструктури. У Facebook AI вона працювала над дослідженнями та розгортанням, тренуванням FairBERTa, великої мови моделі, розробленої з цілями справедливості, розробкою демографічної моделі для переписування вмісту Вікіпедії та керівництвом семантичного розбору для роботизованих помічників. Вона також створила людські цикли для втіленого агента та створила інструменти інфраструктури, такі як безперервна контрастна розробка, які були прийняті інфраструктурними командами Facebook і представлені на ICSE. Вона внесла свій внесок у відкриті проекти, включаючи FacebookResearch/fairo та ноутбуки семантичного розбору Droidlet. Як засновник, вона зараз зосереджена на масштабованому нагляді, навчанні з підкріпленням та розгортанні безпечних, осведомлених про середовище AI-агентів.

Patronus AI – це компанія з Сан-Франциско, яка надає дослідницьку платформу для оцінки, моніторингу та оптимізації великих мовних моделей (LLM) та AI-агентів, щоб допомогти розробникам доставляти надійні генеративні AI-продукти з впевненістю. Платформа пропонує автоматичні інструменти оцінки, бенчмаркінг, аналітику, настраївані набори даних та агент-специфічні середовища, які визначають проблеми з продуктивністю, такі як галюцинації, ризики безпеки або логічні збої, що дозволяє командам безперервно покращувати та виправляти AI-системи в реальних випадках використання. Patronus обслуговує корпоративних клієнтів та технологічних партнерів, наділяючи їх можливістю оцінювати поведінку моделі, виявляти помилки у великих масштабах та підвищувати довіру та продуктивність у виробничих AI-застосунках.

У вас є глибокий досвід будівництва систем машинного навчання у Facebook AI, включаючи роботу над FairBERTa та людськими циклами. Як цей досвід сформував вашу точку зору на реальне розгортання AI та безпеку?

Праця в Meta AI змусила мене зосередитися на тому, що потрібно для того, щоб зробити моделі надійними на практиці – особливо навколо відповідальної NLP. Я працювала над мовним моделюванням, орієнтованим на справедливість, і бачила на власні очі, наскільки важко оцінювати та інтерпретувати вивід моделі. Це сформувало моє розуміння безпеки. Якщо ви не можете виміряти та зрозуміти поведінку моделі, важко розгортати AI з впевненістю у реальному світі.

Що мотивувало вас перейти від інженерії досліджень до підприємництва, співзасновуючи Patronus AI, і яку проблему вважали найбільш терміновою для вирішення на той час?

Оцінка стала блокатором у AI на той час. Я покинула Meta AI у квітні, щоб заснувати Patronus з Анандом, оскільки бачила на власні очі, наскільки важко оцінювати та інтерпретувати вивід AI. І коли генеративний AI почав входити до корпоративних робочих процесів, стало очевидним, що це вже не проблема тільки лабораторії. 

Ми постійно чули те саме від корпорацій. Вони хотіли采用 LLM, але не могли надійно протестувати їх, моніторити їх або зрозуміти моделі збою, такі як галюцинації, особливо в регульованих галузях, де дуже мало терпимості до помилок. 

Тому терміновою проблемою на початку було створення способу автоматизувати та масштабувати оцінку моделі – оцінювання моделей у реальних сценаріях, генерація протилежних тестових випадків та бенчмаркінг – так, щоб команди могли розгортати з впевненістю, а не здогадами

Patronus недавно представив генеративні симулятори як адаптивні середовища для AI-агентів. Які обмеження існуючих підходів до оцінки чи навчання привели вас до цього напрямку?

Ми постійно бачили зростаючу невідповідність між тим, як оцінюються AI-агенти, та тим, як вони очікується виконувати у реальному світі. Традиційні бенчмарки вимірюють ізольовані можливості в певний момент часу, але реальна робота динамічна. Завдання перериваються, вимоги змінюються під час виконання, і рішення накопичуються протягом тривалого періоду. Агенти можуть виглядати сильними на статичних тестах і все ж таки погано виконувати свою роботу після розгортання. Коли агенти покращуються, вони також насичують фіксовані бенчмарки, що призводить до плато навчання. Генеративні симулятори виникли як спосіб замінити статичні тести живими середовищами, які адаптуються під час навчання агента.

Як ви бачите генеративні симулятори, що змінюють спосіб навчання та оцінки AI-агентів порівняно зі статичними бенчмарками чи фіксованими наборами даних?

Зміна полягає в тому, що бенчмарки перестають бути тестами і стають середовищами. Замість того, щоб представляти фіксований набір питань, симулятор генерує завдання, оточуючі умови та логіку оцінювання на льоту. Коли агент поводиться та покращується, середовище адаптується. Це зникає традиційний кордон між навчанням та оцінкою. Ви вже не питаєте, чи пройшов агент бенчмарк, а чи може він працювати надійно протягом часу в динамічній системі.

З технічної точки зору, які є основні архітектурні ідеї за генеративними симуляторами, особливо щодо генерації завдань, динаміки середовища та структур винагороди?

На високому рівні генеративні симулятори поєднують навчання з підкріпленням з адаптивною генерацією середовища. Симулятор може створювати нові завдання, оновлювати правила світу динамічно та оцінювати дії агента в реальному часі. Ключовим компонентом є те, що ми називаємо коригувальником навчальної програми, який аналізує поведінку агента та змінює складність та структуру сценаріїв, щоб підтримувати продуктивне навчання. Структури винагороди розроблені так, щоб бути верифікованими та специфічними для області, так що агенти спрямовані до правильної поведінки, а не поверхневих скорочень.

Як найчіткіше відрізняється підхід Patronus від інших у сфері оцінки та інструментування AI-агентів?

Наш фокус – на екологічній валідності. Ми проектуємо середовища, які відображають реальні робочі процеси людини, включаючи переривання, зміну контексту, використання інструментів та багатоступеневе міркування. Замість оптимізації агентів для того, щоб вони виглядали добре на попередньо визначених тестах, ми зосереджені на виявленні тих видів збоїв, які мають значення у виробництві. Симулятор оцінює поведінку протягом часу, а не тільки вивід у ізоляції.

Які типи завдань чи моделей збою найбільше виграють від симуляторної оцінки порівняно з традиційним тестуванням?

Завдання з довгим горизонтом, багатоступеневі завдання найбільше виграють. Навіть малі показники помилок на кожному кроці можуть накопичуватися у великі показники помилок на складних завданнях, яких традиційні бенчмарки не можуть захопити. Симуляторна оцінка робить можливим виявлення збоїв, пов’язаних з триманням на правильному шляху протягом часу, обробкою переривань, координацією використання інструментів та адаптацією при зміні умов під час завдання.

Як навчання на основі середовища змінює ваше розуміння безпеки AI, і чи генеративні симулятори вводять нові ризики, такі як хакінг винагороди чи емерджентні моделі збою?

Навчання на основі середовища фактично робить багато питань безпеки легше виявити. Хакінг винагороди tend to процвітати у статичних середовищах, де агенти можуть експлуатувати фіксовані лазівки. У генеративних симуляторах середовище само є рухливою мішенню, що робить ці скорочення важчими для підтримки. Тим не менше, ретельний дизайн все ж таки потрібен навколо винагород та нагляду. Перевага середовищ полягає в тому, що вони дають вам набагато більше контролю та видимості агентської поведінки, ніж статичні бенчмарки могли б коли-небудь.

Оглядаючи вперед на п’ять років, де ви бачите Patronus AI щодо технічної амбіції та впливу на галузь?

Ми вважаємо, що середовища стають фундаментальною інфраструктурою для AI. Коли агенти переходять від відповідей на питання до виконання реальної роботи, середовища, в яких вони навчаються, сформують, наскільки здатними та надійними вони стануть. Наша довгострокова амбіція – перетворити реальні робочі процеси у структуровані середовища, з яких агенти можуть безперервно навчатися. Традиційний розрив між оцінкою та навчанням зникає, і ми вважаємо, що ця зміна визначить наступну хвилю AI-систем.

Дякуємо за велике інтерв’ю, читачам, які бажають дізнатися більше, слід відвідати Patronus AI.