Роб Фельдман, главный юрисконсульт компании EnterpriseDB – Интервью

Роб Фельдман, главный юрисконсульт, отвечает за мировые юридические и комплаенс-функции в компании EnterpriseDB. Опытный руководитель и юрист, он создает высокоэффективные юридические команды для поддержки растущих технологических компаний в динамичных бизнес- и регуляторных средах. Недавно он возглавлял команду из 45 человек в компании Citrix Systems, Inc. в качестве генерального юрисконсульта, включая сделку по выкупу компании за более чем 16 миллиардов долларов в 2022 году. До этого он более десяти лет работал в частной практике в качестве юриста, специализирующегося на защите технологических компаний, интеллектуальной собственности и внутренних расследованиях. Роб также является членом ЮНГП Легального совета, где он предоставляет стратегические рекомендации по глобальным регуляторным средам, чтобы помочь бизнесу добиться трансформационного, долгосрочного воздействия.

EnterpriseDB – это компания, которая предоставляет решения для баз данных на основе открытого ПО PostgreSQL, giúpая организациям запускать критически важные рабочие процессы с большей производительностью, безопасностью и надежностью. Основанная в 2004 году, EnterpriseDB предлагает облачные и локальные платформы, глобальную поддержку и инструменты совместимости с Oracle (ORCL ), все больше фокусируясь на платформах, готовых к искусственному интеллекту и гибридным данным, через свои предложения Postgres AI.

Учитывая ваш обширный опыт в корпоративном юридическом лидерстве и фокус компании EnterpriseDB на решениях для баз данных класса предприятия и платформах суверенного искусственного интеллекта и данных, как вы видите эволюцию ответственности для компаний, которые операционализируют агентное искусственное интеллект внутри критически важной инфраструктуры данных?

Мир искусственного интеллекта и данных все еще зависит от тех же основных принципов, которые должны были управлять предприятиями задолго до появления агентных систем: подотчетность, сдержанность и ясность ответственности.

Ранее эти принципы применялись к людям и в основном неактивным системам, панелям, отчетам и автоматизированным инструментам, которые не инициировали действий самостоятельно. Агентное искусственное интеллект вводит системы, которые ведут себя более как участники, чем инструменты. Они могут действовать самостоятельно, адаптироваться со временем и все больше взаимодействовать с людьми и другими агентами.

Если организация не имеет сильных дисциплин управления и контроля, она будет испытывать трудности в этой среде. Агентное искусственное интеллект не создает новые проблемы ответственности, а скорее выявляет существующие. Для предприятий с прочными основами этот сдвиг на самом деле укрепляет практики, которые они уже следуют, то, что мы называем “цифровым поводком”. Для других это четкий сигнал о том, что необходимо установить практические ограничения, прежде чем операционализировать агентное искусственное интеллект в крупном масштабе.

Только около 13% компаний достигли этой точки масштаба агентного искусственного интеллекта успешно. Они делают в два раза больше агентных действий, чем все остальные, и получают в пять раз больше ROI. Но чем больше автономности имеет система искусственного интеллекта, тем раньше организации должны столкнуться с подотчетностью. Когда агент искусственного интеллекта маршрутизирует заявку, перемещает деньги или неправильно обрабатывает конфиденциальные данные, ответственность лежит на том предприятии, которое определило среду, установило разрешения и решило, сколько свободы эта система имеет.

Это почему компании должны привнести ясный надзор за своими агентными случаями искусственного интеллекта, и почему организации стимулируются к тому, чтобы сосредоточиться на своих ограничениях и программах управления. Аналогия владения собакой и цифровым поводком полезна. Собаки имеют определенный уровень автономности, действуют самостоятельно, хотя иногда непредсказуемо, но они не являются юридическими лицами. Это сочетание, автономность без личности, похоже на то, где сегодня находятся агентные системы искусственного интеллекта, и владельцы должны понимать, что без надзора и управления они будут нести ответственность за плохие результаты.

Как предприятиям следует различать вспомогательное искусственное интеллект и агентное искусственное интеллект с юридической и операционной точки зрения до развертывания?

На простом уровне различие заключается в полномочиях. Вспомогательное искусственное интеллект поддерживает принятие решений людьми, в то время как агентное искусственное интеллект инициирует действия и выполняет решения. Оба могут влиять на рабочие процессы и формировать поведение, например, в обслуживании клиентов или операционной приоритизации, но только агентные системы действуют на это влияние самостоятельно.

Если система может запускать рабочие процессы, утверждать результаты, изменять состояния системы или принимать действия без реального одобрения человека, ее следует рассматривать как агентную. Это определение должно быть сделано до развертывания, потому что как только полномочия предоставлены агенту, юридическая и операционная ответственность смещается вместе с ним. Организации должны быть осведомлены об этом различии, чтобы они не обнаружили слишком поздно, что они непреднамеренно делегировали полномочия по принятию решений и, вместе с этим, подотчетность.

Можно ли реалистично применить установленные юридические доктрины, такие как халатная делегация и respondeat superior, к автономным системам искусственного интеллекта, и где эти рамки начинают разрушаться?

Они применяются более直接, чем многие полагают. Эти доктрины существуют для решения ситуаций, когда полномочия делегируются и происходит вред, что является одной из потенциальных проблем, которые вводит агентное искусственное интеллект.

Проблема не в юридической доктрине, а в том, понимают ли организации ответственность, которую они принимают на себя при развертывании автономного искусственного интеллекта, и необходимость управлять этими системами соответствующим образом.

Когда организации не определяют объем, разрешения и надзор, они создают юридическую ответственность. Проблема редко заключается в том, что закон не может справиться с агентным искусственным интеллектом, а скорее в том, что предприятия не четко определили, что их системы были уполномочены делать или как они должны быть управляемы.

Какие практические шаги должны предпринять ЦIO и юридические команды сегодня, чтобы определить и смягчить ответственность, когда рабочие процессы искусственного интеллекта продолжают учиться и адаптироваться в производственных средах?

Первым шагом является рассмотрение суверенного контроля над искусственным интеллектом и данными как критически важного. Организации не могут эффективно управлять ответственностью, если их системы искусственного интеллекта и данные фрагментированы по средам, которые они не могут полностью наблюдать или управлять. 13% компаний, которые успешно работают с агентным искусственным интеллектом в крупном масштабе, начинают с этого фундамента.

На практике это означает ограничение доступа к данным, четкое определение действий, которые агенты могут выполнять автономно, и размещение человеческого надзора вокруг решений, имеющих большое влияние. Это также требует ведения журналов и отслеживания, чтобы поведение можно было просмотреть, когда и если это необходимо. Организации, которые принимают эти меры рано, сократят как юридическую ответственность, так и операционное трение в будущем.

Как вы рекомендуете компаниям управлять агентным искусственным интеллектом через политику, технические средства или договорные гарантии, чтобы снизить риск непреднамеренного вреда?

Начальной точкой является суверенитет. Компании нуждаются в средах, где их системы искусственного интеллекта, данные и контекст выполнения являются наблюдаемыми и обеспечиваемыми в крупном масштабе. Управление не может полагаться только на политику. Политика задает ожидания, но технические средства определяют, что системы могут фактически делать, будь то данные в покое или в движении, и как модели разрешены работать.

Некоторые агенты должны находиться в ограниченных средах без доступа к производству. Другие могут работать с ограниченными разрешениями и порогами одобрения. Полностью автономные агенты должны быть редкими и тщательно контролируемыми. Договоры могут помочь прояснить ответственность, но они не заменяют необходимость внутреннего контроля и подотчетности.

Изменяет ли сдвиг в сторону контролируемых предприятиями или суверенных сред искусственного интеллекта, кто в конечном итоге несет риск, когда агент искусственного интеллекта вызывает финансовый или операционный ущерб?

Это не меняет, кто несет риск. Это делает подотчетность яснее и во многих отношениях снижает риск. Когда предприятия контролируют данные, инфраструктуру и контекст выполнения, они удаляют переменные, введенные, когда данные и инструменты находятся в руках третьих сторон.

Контроль над данными и инструментами искусственного интеллекта – это сила. Суверенитет дает организациям видимость и полномочия, необходимые для управления риском ответственно. Без этого контроля предприятия расширяют свой профиль риска.

Какую роль прозрачность и аудитность играют в снижении юридической ответственности при запуске автономных приложений искусственного интеллекта?

Они являются основными. Аудитность делает автономные системы обоснованными.

Когда происходят инциденты, регулирующие органы и суды задают практические вопросы: что знала система, что она была уполномочена делать, и почему она действовала? Предприятия, которые могут продемонстрировать надзор и аудитность, находятся в гораздо более сильной позиции по сравнению с их коллегами, которые приходят с пустыми руками.

Как компании должны подготовиться к различным государственным юридическим обязательствам, связанным с ответственностью за искусственный интеллект, поскольку федеральные рекомендации по искусственному интеллекту продолжают эволюционировать?

Организации не могут ждать, пока регулирующие органы предоставят подробные правила, специфичные для искусственного интеллекта. Существующий государственный и федеральный закон дает нам 95% ясности, необходимой для ответственного использования искусственного интеллекта и избежания значительных событий ответственности.

Эта ясность включает проектирование систем для соответствия самым требовательным стандартам ответственности за продукцию, которые будут включать такие вещи, как ответственное развитие возможностей искусственного интеллекта, предварительное тестирование, прозрачность и раскрытие рисков, пост-релизное аудит, человеческий надзор и обучение пользователей возможностей искусственного интеллекта. Эти основные и знакомые шаги имеют значение больше, чем попытка предсказать конкретные результаты регулирования.

Какие самые важные вопросы технологические покупатели должны задать поставщикам об автономности, надзоре и ответственности, прежде чем принять агентные системы искусственного интеллекта?

С агентным искусственным интеллектом подотчетность в конечном итоге лежит на стороне, которая уполномочивает автономность. Итак, четыре основных вопроса, которые вы должны задать, являются:

1. Кто контролирует систему в производстве?
2. Как тестируются и обеспечиваются разрешения?
3. Как ограничивается обучение?
4. Какие доказательства аудита доступны, если что-то пойдет не так?

Если поставщик не может предоставить ясные ответы, предприятиям следует действовать с осторожностью. Вернувшись к аналогии с собакой: заводчики имеют значение, но если что-то пойдет не так, ответственность может лежать на владельце.

Спасибо за отличное интервью, читатели, которые хотят узнать больше, должны посетить EnterpriseDB.