Интервью
Rob Feldman, Chief Legal Officer в EnterpriseDB – Интервью
Rob Feldman, Chief Legal Officer, отвечает за мировые юридические и комплаенс-функции в EnterpriseDB. Опытный исполнитель и юрист, он строит высокоэффективные юридические команды для поддержки растущих технологических компаний в динамичных бизнес- и нормативных средах. Последнее время он возглавлял 45-человеческую юридическую команду в Citrix Systems, Inc. в качестве Генерального юрисконсульта, включая транзакцию по выкупу компании за более чем 16 миллиардов долларов в 2022 году. До Citrix он более десяти лет работал в частной практике в качестве юриста по делам технологических компаний, занимаясь защитой от мошенничества с ценными бумагами, спорами по интеллектуальной собственности и государственными и внутренними расследованиями. Rob также входит в состав Юридического совета глобального компакта ООН, предоставляя стратегические рекомендации по глобальным нормативным средам, чтобы помочь бизнесу добиться трансформационного, долгосрочного воздействия.
EnterpriseDB – это компания по разработке программного обеспечения, которая предоставляет решения для баз данных уровня предприятия на основе открытого исходного кода PostgreSQL, giúpая организациям запускать критически важные рабочие нагрузки с большей производительностью, безопасностью и надежностью. Основанная в 2004 году, EnterpriseDB предлагает облачные и локальные платформы, глобальную поддержку и инструменты совместимости с Oracle, все чаще фокусируясь на платформах искусственного интеллекта и гибридных данных через свои предложения Postgres AI.
Учитывая ваш обширный опыт в корпоративном юридическом руководстве и фокус EnterpriseDB на решениях Postgres и суверенных платформах искусственного интеллекта и данных, как вы видите эволюцию ответственности для компаний, которые операционализируют агентные системы искусственного интеллекта внутри критически важной инфраструктуры данных
Мир искусственного интеллекта и данных все еще зависит от тех же основных принципов, которые должны были регулировать предприятия задолго до появления агентных систем: подотчетность, сдержанность и ясность ответственности.
В прошлом эти принципы применялись к людям и в основном неактивным системам, панелям управления, отчетам и автоматизированным инструментам, которые не инициировали действий самостоятельно. Агентные системы искусственного интеллекта вводят системы, которые ведут себя более как участники, чем инструменты. Они могут действовать самостоятельно, адаптироваться со временем и все чаще взаимодействовать с людьми и другими агентами.
Если организация не имеет сильных дисциплин управления и контроля, она будет испытывать трудности в этой среде. Агентные системы искусственного интеллекта не создают новые проблемы ответственности, а скорее выявляют существующие. Для предприятий с прочными основами этот сдвиг на самом деле укрепляет практики, которые они уже следуют, что мы описываем как “цифровой поводок”. Для других это rõкий сигнал о том, что необходимо установить практические ограничения, прежде чем операционализировать агентные системы искусственного интеллекта в крупном масштабе.
Только около 13% предприятий достигли этой точки агентного масштаба успешно. Они выполняют в 2 раза больше агентных действий, чем все остальные, и получают в 5 раз больше ROI. Но чем больше автономности имеет система искусственного интеллекта, тем раньше организации должны столкнуться с подотчетностью. Когда агент искусственного интеллекта маршрутизирует заявку, переводит деньги или неправильно обрабатывает чувствительные данные, ответственность лежит на предприятии, которое определило среду, установило разрешения и решило, сколько свободы эта система имела.
Это почему компании должны привнести ясный надзор в свои агентные системы искусственного интеллекта, и почему организации стимулируются к тому, чтобы сосредоточить внимание на своих ограничениях и программах управления. Аналогия владения собакой и цифровым поводком полезна. Собаки имеют определенный уровень автономности, действуют самостоятельно, хотя иногда непредсказуемо, но они не являются юридическими лицами. Это сочетание, автономность без личности, похоже на то, где сегодня находятся агентные системы искусственного интеллекта, и владельцы должны понимать, что без надзора и управления они будут нести ответственность за плохие результаты.
Как предприятиям следует различать вспомогательный искусственный интеллект и агентный искусственный интеллект с юридической и операционной точки зрения до развертывания?
На простом уровне различие сводится к полномочиям. Вспомогательный искусственный интеллект поддерживает принятие решений людьми, в то время как агентный искусственный интеллект инициирует действия и выполняет решения. Оба могут влиять на рабочие процессы и формировать поведение, например, в обслуживании клиентов или операционной приоритизации, но только агентные системы действуют на это влияние самостоятельно.
Если система может запускать рабочие процессы, утверждать результаты, изменять состояние системы или принимать действия без реального одобрения человека, ее следует рассматривать как агентную. Это определение должно произойти до развертывания, потому что как только полномочия предоставляются агенту, юридическая и операционная ответственность смещается с ним. Организации должны быть осведомлены о этом различии, чтобы они не обнаружили слишком поздно, что они непреднамеренно делегировали власть принятия решений и, вместе с этим, подотчетность.
Можно ли реалистично применить установленные юридические доктрины, такие как халатная делегация и respondeat superior, к автономным системам искусственного интеллекта, и где эти рамки начинают разрушаться?
Они применяются более直接, чем многие полагают. Эти доктрины существуют для решения ситуаций, когда полномочия делегируются и происходит вред, что является одной из потенциальных проблем, которые вводят агентные системы искусственного интеллекта.
Проблема заключается не в юридической доктрине, а в том, понимают ли организации ответственность, которую они принимают на себя при развертывании автономных систем искусственного интеллекта, и необходимость управления этими системами соответствующим образом.
Когда организации не определяют объем, разрешения и надзор, они создают юридическую ответственность. Проблема редко заключается в том, что закон не может справиться с агентными системами искусственного интеллекта, а скорее в том, что предприятия не четко определили, что их системы были уполномочены делать или как они должны быть управляемы.
Какие практические шаги должны предпринять CIO и юридические команды сегодня, чтобы определить и смягчить ответственность, когда рабочие процессы искусственного интеллекта продолжают учиться и адаптироваться в производственных средах?
Первым шагом является рассмотрение суверенного контроля над искусственным интеллектом и данными как критически важного. Организации не могут существенно управлять ответственностью, если их системы искусственного интеллекта и данные фрагментированы по средам, которые они не могут полностью наблюдать или управлять. 13% предприятий, успешно достигших агентного масштаба, начинают с этого основания.
На практике это означает ограничение доступа к данным, ясное определение действий, которые агенты могут выполнять автономно, и установление человеческого надзора вокруг решений, имеющих высокое влияние. Это также требует ведения журналов и отслеживаемости, чтобы поведение могло быть рассмотрено, когда и если это необходимо. Организации, которые принимают эти меры на ранней стадии, уменьшат как юридическую, так и операционную нестабильность в будущем.
Как вы рекомендуете предприятиям управлять агентными системами искусственного интеллекта через политику, технические средства или договорные гарантии, чтобы снизить риск непреднамеренного вреда?
Начальной точкой является суверенитет. Предприятиям нужны среды, в которых их системы искусственного интеллекта, данные и контекст выполнения являются наблюдаемыми и принудительными в крупном масштабе. Управление не может полагаться только на политику. Политика задает ожидания, но технические средства определяют, что системы могут фактически делать, находится ли данные в покое или в движении, и как модели разрешены работать.
Некоторые агенты принадлежат в ограниченных средах без доступа к производству. Другие могут работать с ограниченными разрешениями и порогами одобрения. Полностью автономные агенты должны быть редкими и тщательно контролируемыми. Договоры могут помочь прояснить ответственность, но они не заменяют необходимость внутреннего контроля и подотчетности.
Изменяет ли сдвиг в сторону контролируемых предприятиями сред искусственного интеллекта того, кто в конечном итоге несет риск, когда агент искусственного интеллекта вызывает финансовый или операционный ущерб?
Он не меняет того, кто несет риск. Он делает подотчетность яснее и во многих отношениях снижает риск. Когда предприятия контролируют данные, инфраструктуру и контекст выполнения, они удаляют переменные, введенные, когда данные и инструменты находятся в руках третьих сторон.
Контроль над данными и инструментами искусственного интеллекта – это сила. Суверенитет дает организациям видимость и полномочия, необходимые для управления риском ответственно. Без этого контроля предприятия расширяют свой рисковый профиль.
Какую роль играют прозрачность и аудитность в снижении юридической ответственности при запуске автономных приложений искусственного интеллекта?
Они являются основополагающими. Аудитность превращает автономные системы в обоснованные системы.
Когда происходят инциденты, регулирующие органы и суды задают практические вопросы: что знала система, что она была уполномочена делать и почему она действовала? Предприятия, которые могут продемонстрировать надзор и аудитность, находятся в намного более сильной позиции по сравнению с их аналогами, которые приходят с пустыми руками.
Как компании должны готовиться к различным государственным юридическим обязательствам, связанным с ответственностью за искусственный интеллект, поскольку федеральные рекомендации по искусственному интеллекту продолжают развиваться?
Организации не могут ждать, пока регулирующие органы предоставят подробные правила, специфичные для искусственного интеллекта. Существующий государственный и федеральный закон дает нам 95% ясности, необходимой для использования искусственного интеллекта ответственно и избежания значительных событий ответственности.
Эта ясность включает проектирование систем для соответствия самым требовательным стандартам ответственности за продукцию, которые будут включать такие вещи, как ответственное развитие возможностей искусственного интеллекта, предварительное тестирование, прозрачность и раскрытие рисков, пост-релизное аудитирование, человеческий надзор и обучение пользователей возможностей искусственного интеллекта. Эти основные и знакомые шаги имеют значение больше, чем попытка предсказать конкретные нормативные результаты.
Какие наиболее важные вопросы, которые покупатели технологий должны задавать поставщикам об автономии, надзоре и ответственности, прежде чем принять агентные системы искусственного интеллекта?
С агентными системами искусственного интеллекта подотчетность в конечном итоге лежит на стороне, которая уполномочивает автономность. Итак, четыре основных вопроса, которые вы должны отвечать, это:
- Кто контролирует систему в производстве?
- Как тестируются и обеспечиваются разрешения?
- Как ограничивается обучение?
- Какие доказательства аудита доступны, если что-то пойдет не так?
Если поставщик не может предоставить ясные ответы, предприятиям следует действовать с осторожностью. Вернувшись к аналогии с собакой: заводчики имеют значение, но если что-то пойдет не так, ответственность может лежать на владельце.
Спасибо за отличное интервью, читатели, которые хотят узнать больше, должны посетить EnterpriseDB.
