Бабак Ходжат, главный руководитель по ИИ в Cognizant: повторный разговор

Babak Hodjat, главный руководитель по ИИ в Cognizant, возглавляет AI Research Labs компании, где его работа охватывает агентный ИИ, эволюционные вычисления, распределённый интеллект и разработку ИИ‑систем, предназначенных для масштабного корпоративного развертывания. Долгие годы будучи исследователем ИИ, изобретателем и предпринимателем, Ходжат ранее со‑создал Sentient Technologies, где помог построить одну из крупнейших в мире распределённых ИИ‑систем, а также ранее со‑создал Dejima, разрабатывая ориентированные на агенты технологии обработки естественного языка, которые стали основой Siri от Apple.

Когда мы previously spoke with Babak Hodjat, наша дискуссия охватывала его карьеру в ИИ, эволюционные подходы к сложному принятию решений, работу Cognizant по применению ИИ к проблемам климата и землепользования, а также растущую демократизацию ИИ в корпоративном масштабе. В этом последующем разговоре внимание переключается на быстро развивающееся агентное предприятие. Опираясь на темы из его недавней книги, The Agentic Enterprise, Ходжат исследует, почему архитектура может иметь большее значение, чем возможности модели, как организации могут координировать всё более сложные сети ИИ‑агентов, где централизованное доверие и управление вписываются в децентрализованные экосистемы агентов, и что ещё необходимо изменить, чтобы автономные системы могли надёжно управлять длительными целями с минимальным вмешательством человека.

Ваша карьера охватывает одни из самых ранних работ над интеллектуальными агентами, от технологии обработки естественного языка Dejima, которая вдохновила Siri, до создания масштабных распределённых ИИ‑систем в Sentient, а теперь в роли главного руководителя по ИИ в Cognizant. Как изменилось ваше определение «AI‑агента» за время этого пути и чему современные разработчики могут научиться у более ранних поколений агентных систем?

Определение осталось прежним, но возможности современных агентов означают, что многие базовые функции агента, которые нам приходилось программировать в 90‑х годах, теперь доступны «из коробки» благодаря LLM. Поэтому агенты, основанные на LLM, стали стандартом, и когда люди говорят об агентах, они предполагают наличие LLM, управляющего их интерфейсом и рассуждениями.

В своей недавней книге, The Agentic Enterprise, вы утверждаете, что корпоративные ИИ‑системы часто достигают успеха или терпят неудачу из‑за своей архитектуры, а не из‑за чистой мощности базовой модели. Что компании делают неправильно, полагая, что переход на более мощную модель решит их проблемы с агентным ИИ?

Точно так же, как подвески (то есть части агента, не являющиеся LLM), могут сделать кодирующего агента успешным или провалить его, архитектура многопользовательской системы критична для её успеха. Это потому, что архитектура отражает контекст, в котором должны работать агенты — своего рода каркас, удерживающий агентное предприятие вместе. Без него агенты остаются оторванными от реальностей корпоративных операций, данных, рабочих процессов и процедур. Это отчасти аналогично организационной структуре бизнеса, включающей должностные описания, определения процессов и протоколы коммуникации для сотрудников.

Вы подчёркиваете, что окружающая система, включая контроль доступа, подотчётность, оркестрацию, наблюдаемость и надзор, может иметь большее значение, чем сама модель. Что же действительно необходимо для готовой к производству агентной архитектуры, чего не хватает большинству развертываний в виде доказательства концепции?

Доказательства концепции (PoC) часто лишены привязки к реальности, поэтому в начале нам необходимо, чтобы агенты работали в среде, где у них есть доступ к внутренним данным и приложениям компании. Нужно задать важные вопросы, такие как какие данные и приложения мы готовы разрешить агентам использовать, и какие решения мы готовы позволить им принимать, чтобы система оставалась безопасной и надёжной, при этом достигая ожидаемых улучшений качества и производительности. В условиях PoC трудно определить ответы на эти вопросы. Более того, ограничения и надзор могут быть значимыми только тогда, когда агентная система функционирует совместно с другими человеческими или агентными процессами внутри компании. Поэтому изоляция (sandboxing) является важным шагом в процессе эффективного перехода от PoC к развертыванию.

Cognizant описала появление «Agent Operating System» для координации сетей ИИ‑агентов. Какие функции должна выполнять такая прослойка, и ожидаете ли вы, что оркестрация агентов в конечном итоге станет столь же фундаментальной для корпоративных вычислений, как сегодня операционные системы и облачные платформы?

Координация агентов важна: если сделать её слишком жёсткой, ваша система станет деградировать и будет хрупкой. Если же координация будет слишком открытой, полностью делегированной агенту, вы рискуете сделать задачу агента слишком сложной или рискованной. Хороший механизм координации позволяет агентам спонтанно формировать команды в ответ на различные ситуации, обеспечивая надёжную и гибкую организационную дисциплину. Я сторонник распределённой координации. Это аналогично предоставлению человеческой организации некоторого уровня полномочий в её сфере ответственности. Когда появляется контекст, члены организации общаются и координируются через организационную структуру, чтобы определить ответственных за решение ситуации, а ответ собирается, координируется и консолидируется между узлами организации. Хорошая новость в том, что к агентным системам можно применить строгие контрольные меры и средства защиты, чтобы такая гибкость не приводила к рискованному поведению.

Я считаю, что так же, как MCP быстро стал де‑факто стандартом доступа к агентным приложениям, протоколы координации также появятся и станут стандартизированы на агентных платформах, позволяя спонтанные многопользовательские процессы пересекать границы агентных систем. Операционные системы и облачные платформы, вероятно, здесь не лучшая аналогия; скорее, потребуется широкое согласие по стандартам определения многопользовательских агентов и протоколов их координации, чтобы обеспечить более широкое проникновение и развитие агентности в корпоративном секторе.

По мере того как предприятия переходят от отдельных копилотов к сетям, содержащим десятки и даже сотни специализированных агентов, как организациям решать, какие обязанности возложить на отдельных агентов, а какие оставить централизованными?

Подобно интернет‑файрволу и механизмам безопасности, установление доверия через живой аудит в соответствии с политиками и применение ограничений к агентным системам должно быть централизованной функцией внутри компании, определяемой и поддерживаемой единой единицей организации. Все остальные агентные системы могут быть развернуты или реализованы децентрализованно, но они должны регистрироваться в системе доверия, чтобы им было разрешено работать.

Cognizant развернула внутреннюю многопользовательскую систему, соединяющую примерно 200 агентов в организации из около 350 000 сотрудников. Что показала работа в таком масштабе о агентном ИИ, чего было бы трудно обнаружить в небольших пилотных проектах?

Нам пришлось проектировать систему с учётом масштабируемости, расширяемости, экономичности и приемлемого времени отклика. В проектах такого масштаба часто приходится изобретать вещи, которые просто не нужны в небольших, ограниченных агентных системах с небольшим числом пользователей. Например, необходимо сделать межагентную координацию персонализированной и эффективной, чтобы избежать лишних шагов и расходов. Кроме того, система должна уметь подключать как собственные приложения, так и сторонние системы и агентов, поэтому совместимость важна и может сэкономить время и деньги.

Когда автономные агенты могут вызывать API, получать доступ к корпоративным системам, взаимодействовать с другими агентами и выполнять действия со скоростью машины, традиционное управление ИИ становится гораздо сложнее. Где человеческий надзор должен оставаться обязательным, а где организации могут безопасно позволять агентам работать независимо?

Я считаю, что окончательным определяющим фактором того, где нужен и обязателен человеческий надзор, является доверие. По мере того как эти системы становятся более надёжными, мы будем предоставлять им большую автономию, и если только закон не потребует иначе (например, из‑за отсутствия правосубъектности у ИИ), мы будем готовы полагаться на агентов. Поэтому измерение доверия и риска важно, так как это помогает провести грань между автономией и человеческим надзором — гранью, которая может смещаться по мере повышения надёжности систем и снижения риска их автономной работы.

Большая часть вашего раннего исследования была сосредоточена на эволюционных вычислениях и системах, которые улучшаются через отбор и адаптацию. Как эволюционные подходы могут дополнить крупные языковые модели и обучение с подкреплением, когда мы пытаемся построить агентов, способных постоянно совершенствоваться, а не просто выполнять предопределённые рабочие процессы?

Сегодняшний мейнстрим в ИИ доминирует подходами градиентного спуска, которые представляют собой форму поиска в виде восхождения по склону и не являются особо креативными. Эволюционные вычисления очень эффективны при поиске в сложных пространствах и могут дополнить основные подходы. Например, в нашей лаборатории недавно произошёл прорыв в этом направлении: мы смогли показать, что эволюционные стратегии превосходят обучение с подкреплением для большинства дообучения крупномасштабных языковых моделей, обеспечивая модели одинакового или лучшего качества при значительно меньших затратах. Эволюционные подходы также могут помочь в обучении во время тестирования (Test‑Time Training), которое направлено на то, чтобы позволить языковым моделям учиться после развертывания.

Исследования Cognizant изучали среды, в которых взаимодействующие агенты развивают сотрудничество, конкуренцию, совместные знания и даже обманные стратегии. По мере усложнения многопользовательских систем, может ли возникновение непредвиденного поведения стать одной из крупнейших проблем в поддержании предсказуемости корпоративного ИИ и его согласованности с целями организации?

Это уже так, о чём свидетельствует широко разрекламированный недавний инцидент OpenAI/Hugging Face. Мы можем думать, что агенты, ограниченные своими подсказками и контекстами, и использующие LLM, которые не обучаются в режиме реального времени, будут более‑или‑менее последовательны в своём поведении. Однако факт состоит в том, что среда агента и его мотивации могут изменяться, часто в результате действий самого агента в этой среде, что приводит к непредвиденному поведению. Это ещё более вероятно, когда взаимодействует несколько агентов, поэтому критически важно наблюдать за автономными агентами в безопасных песочницах, чтобы определить объём и масштаб их возникающих тенденций и учесть это в наших проектах агентов и мерах защиты. Наша общедоступная система, TerraLingua, где вы можете вводить агентов, артефакты и даже выдавать себя за агентов, наблюдая их индивидуальное и коллективное поведение, — шаг в этом направлении.

Глядя за пределы текущей волны агентного ИИ, какой технологический прорыв или архитектурное изменение, по вашему мнению, ещё отсутствует, прежде чем мы сможем создавать системы ИИ, способные надёжно управлять длительными сложными задачами с минимальным вмешательством человека?

Многие ограничения современных агентов проистекают из ограничений текущего уровня развития ИИ. LLM практически фиксированы после обучения и не могут «переписывать» свои убеждения, сталкиваясь с новой информацией. LLM являются одновременно и всем, и всеми, поэтому их необходимо подготавливать контекстом и подсказками, и они весьма чувствительны к этой подготовке. У LLM ограниченные окна контекста, и их приходится заново подавать всю информацию для каждого отдельного слова, которое они генерируют, или действия, которое они совершают. На уровне мультиагентных систем, я считаю, что нам нужны широко принятые распределённые протоколы координации, защитные ограждения доверия и политики, а также системы арбитража транзакций, чтобы агентное будущее реализовало свой полный потенциал.

Спасибо за отличное интервью, читатели, желающие узнать больше, могут посетить Cognizant или наше предыдущее интервью.