Роуэн Стюарт, старший директор по продукту, ИИ-безопасность и платформа в Transcend – Серия интервью

Роуэн Стюарт, старший директор по продукту, ИИ-безопасность и платформа в Transcend, возглавляет инициативы по продукту, направленные на помощь организациям в обнаружении, управлении и безопасном использовании данных в системах искусственного интеллекта. Она имеет более десяти лет опыта в области разработки продуктов ИИ и машинного обучения, программного обеспечения для предприятий, обработки естественного языка, стратегии данных и лидерства в разработке продуктов от нуля до одного. До присоединения к Transcend Стюарт провела почти шесть лет в BCG X, где помогала крупным предприятиям разрабатывать стратегии ИИ, пересматривать внутренние процессы и создавать продукты, предназначенные для достижения измеримых бизнес-результатов. Ранее в своей карьере она руководила разработкой API для обработки естественного языка для интеллекта влияния, включая анализ настроений, знания графов, оценку личности, обнаружение ботов и возможности бренд-безопасности.

Transcend – это единственная автономная платформа принятия решений по данным, которая отвечает на вопрос “Можно ли использовать эти данные?” для масштабирования роста клиентов. Компании из списка Fortune 500 и лидеры новых категорий используют Transcend для кодирования полных разрешений на использование данных直接 в корпоративные системы, которые обрабатывают данные клиентов, обеспечивая реальное время истины для согласия, предпочтений и бизнес-правил. В результате получается лучшее качество данных, этическое использование, защищающее бренд, и готовность к аудиту в масштабе. С помощью Transcend компании могут разблокировать доходы от ИИ, персонализации и других инициатив по данным первого уровня с уверенностью. Основанная в 2017 году Беном Бруком (генеральный директор) и Майком Фарреллом (технический директор), Transcend имеет штаб-квартиру в районе залива Сан-Франциско.

Вы провели почти шесть лет в BCG X, помогая некоторым из крупнейших организаций мира развертывать решения ИИ и машинного обучения, прежде чем перейти к безопасности и управлению ИИ в Transcend. Какие были повторяющиеся провалы или слепые пятна в управлении, которые вы наблюдали, что убедило вас, что управление ИИ должно быть построено в системы с самого начала, а не добавлено позже?

В BCG я работал с компаниями на каждом этапе зрелости ИИ, и одна закономерность осталась со мной: управление всегда появлялось поздно. Команды быстро работают над выпуском модели или продукта, и разговор о разрешениях на данные, согласии или надзоре действительно становится актуальным прямо перед производством и кажется “ловушкой”. Все, что построено на этом этапе, сводится к патчу на систему, которая никогда не была разработана с учетом управления.

Это часть того, почему я был так взволнован, присоединившись к Transcend. Советовать компаниям, что они должны делать, может дойти только до определенного момента. Я хотел помочь построить инфраструктуру, которая делает управление простым выбором.

Многие организации спешат развертывать агенты ИИ по поддержке клиентов, операциям и работе с знаниями. Как управление автономными агентами ИИ отличается от управления традиционными программными системами или даже более ранними поколениями моделей ИИ?

Большинство архитектур безопасности предприятий предполагает, что на другом конце каждого действия есть человек, и этот человек может быть идентифицирован, доверен и, когда что-то идет не так, привлечен к ответственности. Но агенты не являются людьми. Они действуют самостоятельно, делегируют задачи другим агентам и объединяют решения в способы, которые редко соответствуют одному ответственной personne.

Предоставление агенту тех же статических, постоянных разрешений, которые вы дали бы сотруднику, создает несоответствие, поскольку агенты лишены здравого смысла. Управление должно оценивать конкретное действие, которое агент собирается выполнить, в этот момент, с этими конкретными данными. Большинство компаний все еще используют книгу идентификации и управления доступом, которую они построили для людей, и многие из них обнаружат разрыв, когда развертывание агентов обгонит управление, построенное для его обработки.

Вы работали над несколькими волнами инноваций ИИ, от продуктов NLP и платформ интеллекта влияния до инициатив по трансформации ИИ для предприятий. Как эволюционировал разговор об безопасности ИИ за последнее десятилетие, и что все еще больше всего беспокоит вас?

Сравнение сегодняшнего (и завтрашнего!) ИИ с предыдущими поколениями fascinates, потому что это невероятно быстро развивающаяся область. Наиболее важные эволюции за последний год или два, очевидно, были подъемом агентов и важностью управления долгосрочной памятью (OpenClaw, anyone?). Эти агенты могут делать так много больше с таким высоким качеством, что делает их еще более ценными и, конечно, еще более рискованными.

Когда системы ИИ все чаще принимают решения, используя данные клиентов и предприятий, какие являются наиболее значительными заблуждениями компаний о согласии, разрешениях и управлении данными в средах, управляемых ИИ?

Наиболее распространенное заблуждение заключается в том, что согласие рассматривается как что-то, что вы захватываете один раз и сохраняете. Клиент соглашается с набором условий при регистрации, и компании предполагают, что это соглашение действует бесконечно, независимо от того, как данные перемещаются позже или какие новые системы они в конечном итоге кормят. Согласие должно путешествовать с данными. Если кто-то обновляет свои предпочтения или новое регулирование изменяет, что разрешено, это изменение должно появиться повсюду, где живут данные, а не только в системе, где согласие было первоначально собрано.

Второе заблуждение заключается в том, что разрешения рассматриваются как технический细节, который IT или юридический отдел обрабатывает тихо на заднем плане. Как только системы ИИ начинают принимать решения на основе этих данных, разрешение становится вопросом продукта и бизнеса, и любые пробелы в нем напрямую наследуются любой инициативой ИИ, которая сидит на вершине.

Многие предприятия все еще полагаются на статические политики и периодические обзоры соответствия. Почему эти подходы испытывают трудности в эпоху, когда системы ИИ могут непрерывно учиться, адаптироваться и взаимодействовать с другими агентами?

Статическая политика захватывает, как выглядит система, и что считается приемлемым, в момент, когда кто-то ее написал. ИИ не сидит достаточно долго, чтобы этот снимок оставался точным. Модель, для которой была написана политика, может не быть моделью, которую вы запускаете через шесть месяцев, и квартальный или ежегодный обзор соответствия не может идти в ногу с системой, которая принимает решения и адаптируется все время.

Управление чем-то, что движется так быстро, требует политики, которая движется с той же скоростью. Это означает обеспечение управления в точке, где данные фактически используются, в реальном времени, а не проверка после факта против документа, который был уже устаревшим в день его публикации.

Что выглядит как эффективное управление, когда организации начинают развертывать сети агентов ИИ, которые сотрудничают друг с другом и получают доступ к нескольким внутренним системам?

Это то место, где пределы традиционного контроля доступа становятся очевидными. Агент может быть авторизован для чтения записи, вызова инструмента и передачи результатов другому агенту, и каждый из этих шагов может выглядеть разумным сам по себе. Составное действие (то, что фактически произошло, когда вы объединили эти шаги вместе) часто является чем-то, что ни один человек явно не одобрил. Традиционный IAM может подтвердить, имел ли агент разрешение на доступ к системе, хотя у него мало что сказать о том, были ли данные, которые он коснулся, собраны под согласием, которое покрывает это конкретное использование, или было ли цепочечное действие чем-то, что человек фактически подписал.

Transcend фокусируется на внедрении разрешений на использование данных непосредственно в корпоративные рабочие процессы. Насколько важно инфраструктура управления в реальном времени, когда организации переходят от экспериментов с ИИ к развертыванию в производстве?

Во время тестирования команда может часто обойтись ручными обзорами и периодическими аудитами, потому что ставки низки. В производстве, особенно с агентским ИИ, это ломается, потому что масштаб просто огромен. Система сегодня из контрольных списков и встреч – это проигрыш-проигрыш. Команды по соответствию и безопасности по сути получают розыгрыш с никаким непрерывным обеспечением, в то время как команда продукта теперь обязана провести громоздкие ручные обзоры, которые предоставляют мало реальной ценности конечному пользователю. Это то время, когда инфраструктура реального времени становится единственным подходом, который работает. Обеспечение разрешений в момент, когда данные перемещаются или решение принимается, вместо того, чтобы реконструировать, что произошло после того, как что-то уже пошло не так, – это то, что делает управление осмысленным для соответствия и ценным для пользователей

В вашем мнении, какие наиболее значительные риски, связанные с агентским ИИ, в течение следующих трех-пяти лет, и какие из этих рисков в настоящее время недооцениваются бизнес-лидерами?

Я думаю, что модель наследования агентами разрешений пользователя рискованнее, чем мы осознаем. Люди имеют суждение, но ИИ будет следовать вашим инструкциям прямо со скалы.

Как команды продукта должны сбалансировать давление на быструю поставку функций ИИ с необходимостью установления управления, прозрачности и ответственности?

Я думаю, что одна конкретная вещь – это исправление того, что я называю “налогом на беспорядок”.

Мы все очень быстро перекалибровали наши ответы, чтобы дисквалифицировать действительность и ценность вывода ИИ. Это почему всем советуют удалить тире (даже если они подходят), почему сайт, который использует стандартную цветовую палитру Claude, кажется дешевым (даже если он выглядит хорошо) и почему информация, представленная ИИ, рассматривается как подозрительная (даже если она верна). Это действительно влияет на воспринимаемую ценность вашего продукта.

Исправление налога на беспорядок на самом деле заключается в лучшем управлении и прозрачности. Например, мы недавно выпустили функцию под названием Использование ИИ поставщиком, которая извлекает публично доступную информацию об ИИ-функциях и управлении поставщиками топ-компаний, чтобы помочь командам по внедрению ИИ, безопасности и закупкам работать быстрее. Мы обнаружили, что использование многоагентской оркестровки, а также сбор и представление доказательств с исходными ссылками и цитатами для их выводов, привело к огромному улучшению качества наших результатов. Эта практика сбора доказательств и контроля качества агентов – это выигрыш для всех, потому что фактические результаты для пользователя лучше, и соответствие более прочное.

Оглядываясь вперед, верите ли вы, что управление ИИ в конечном итоге станет конкурентным преимуществом, а не просто требованием соответствия, и что будет отличать организации, которые все сделают правильно, от тех, кто отстанет?

Я верю, и это возвращается к той же закономерности, которую я наблюдал в BCG. Компании, которые рассматривали управление как что-то, что нужно добавить, когда продукт уже был на рынке, всегда были пойманы в последнюю минуту перед масштабированием и склонны застрять в “Чистилище пилота”. Компании, которые строят управление в систему с самого начала, могут двигаться с определенным видом уверенности, которого нет у другой группы, потому что они не постоянно задумываются о том, что они обнаружат, когда наконец внимательно посмотрят, как их ИИ фактически использует данные.

Этот разрыв только будет расширяться, когда развертывание агентов ускорится. Организации, которые спешат развертывать агентов без пересмотра того, как эти агенты разрешены, – это те, кто с наибольшей вероятностью столкнется с проблемами, и к тому времени, когда они это сделают, компании, которые получили инфраструктуру правильно, уже будут работать на скорости, с которой отсталые не смогут легко сравниться. Управление перестает быть статьей соответствия, когда оно становится тем, что позволяет вам развертывать ИИ быстрее и с большей уверенностью, чем все, кто все еще делает это вручную.

Спасибо за отличное интервью, читателям, которые хотят узнать больше, следует посетить Transcend.