Роб Фелдман, Головний Юридичний Офіцер у EnterpriseDB – Серія Інтерв’ю

Роб Фелдман, Головний Юридичний Офіцер, відповідає за юридичні та комплаєнс-функції EnterpriseDB у всьому світі. Як досвідчений виконавець та юрист, він створює високоефективні юридичні команди для підтримки зростаючих технологічних компаній у динамічних бізнес- та регуляторних середовищах. Останнім часом він очолював юридичну команду з 45 осіб у Citrix Systems, Inc. як Генеральний радник, включаючи угоду про викуп компанії вартістю понад 16 мільярдів доларів у 2022 році. До цього він понад десяти років працював у приватній практиці як юрист технологічних компаній, зосереджуючись на захисті від дій з порушеннями цінних паперів, спорах щодо інтелектуальної власності та урядових і внутрішніх розслідуваннях. Роб також перебуває у Раді з юридичних питань Глобального договору ООН, надавши стратегічні поради щодо глобальних регуляторних середовищ, щоб допомогти підприємствам досягти трансформативного, довгострокового впливу.

EnterpriseDB – це компанія з розробки програмного забезпечення, яка пропонує рішення для корпоративних баз даних, побудованих на основі відкритого джерела PostgreSQL, щоб допомогти організаціям запускати критично важливі завдання з більшою продуктивністю, безпекою та надійністю. Заснована у 2004 році, EnterpriseDB пропонує хмарні та локальні платформи, глобальну підтримку та інструменти сумісності з Oracle (ORCL ), при цьому все більше зосереджуючись на платформах AI та гібридних даних через свої пропозиції Postgres AI.

Враховуючи ваш тривалий досвід у корпоративному юридичному лідерстві та фокус EnterpriseDB на корпоративних рішеннях Postgres та суверенних платформах AI та даних, як ви бачите розвиток відповідальності для компаній, які оперціоналізують агентські системи AI всередині критичної інфраструктури даних?

Світ AI та даних все ще залежить від тих самих основних принципів, які повинні були регулювати підприємства ще до появи агентських систем: відповідальність, стриманість та ясність відповідальності.

У минулому ці принципи застосовувалися до людей та в основному неактивних систем, панелей, звітів та автоматизованих інструментів, які не ініціювали дії самостійно. Агентські системи AI вводять системи, які поводяться більше як учасники, ніж інструменти. Вони можуть діяти самостійно, адаптуватися з часом та взаємодіяти з людьми та іншими агентами.

Якщо організація не має сильних дисциплін управління та контролю, вона буде боротися в цьому середовищі. Агентські системи AI не створюють нових проблем відповідальності, а радше розкривають існуючі. Для підприємств з міцними основами цей зсув фактично посилює практики, яких вони вже дотримуються, те, що ми описуємо як “цифровий поводок”. Для інших це явний сигнал про те, що практичні обмеження повинні бути встановлені до оперціоналізації агентських систем AI у великих масштабах.

Тільки близько 13% підприємств досягли цієї точки агентського масштабу успішно. Вони роблять у два рази більше агентських дій, ніж усі інші, і отримують у п’ять разів більшу віддачу від інвестицій. Але чим більше автономності має система AI, тим раніше організації повинні звернути увагу на відповідальність. Коли агентська система маршрутизує вимогу, переміщує гроші або неправильно обробляє конфіденційні дані, відповідальність лежить на підприємстві, яке визначило середовище, встановило дозволи та вирішило, яку свободу мала ця система.

Це пояснює, чому компанії повинні забезпечити ясний нагляд за своїми агентськими системами AI, і чому організації зацікавлені у тому, щоб звернути увагу на свої обмеження та програми управління. Аналогія власності собаки та цифрового поводка корисна. Собаки мають певний рівень автономності, діють самостійно, хоча іноді непередбачувано, проте вони не є юридичними особами. Така комбінація, автономність без особистості, схожа на те, де зараз перебувають агентські системи AI, і власники повинні розуміти, що без нагляду та управління вони будуть нести відповідальність за погані наслідки.

Як підприємства повинні розрізняти допоміжні системи AI та агентські системи AI з юридичної та оперативної точки зору до розгортання?

На простому рівні розрізнення полягає в авторитеті. Допоміжні системи AI підтримують прийняття рішень людьми, тоді як агентські системи AI ініціюють дії та виконують рішення. Обидві можуть впливати на робочі процеси та поведінку (наприклад, у сфері обслуговування клієнтів або оперативної пріоритезації), але тільки агентські системи діють самостійно під впливом.

Якщо система може запускати робочі процеси, затверджувати результати, змінювати стан системи або виконувати дії без реального часу затвердження людиною, її слід розглядати як агентську. Це визначення повинно відбуватися до розгортання, оскільки після надання повноважень агенту юридична та оперативна відповідальність змінюється разом з ним. Організації повинні бути обізнані про це розрізнення, щоб вони не виявили занадто пізно, що вони ненавмисно делегували повноваження з прийняття рішень та, разом з ним, відповідальність.

Чи можуть усталені юридичні доктрини, такі як недбале делегування та respondeat superior, реально застосовуватися до автономних систем AI, і де ці рамки починають розбиватися?

Вони застосовуються більш прямо, ніж багато хто припускає. Ці доктрини існують для вирішення ситуацій, коли делегується авторитет і відбувається шкода, що є однією з потенційних проблем, яку вводять агентські системи AI.

Проблема не полягає у юридичній доктрині, а у тому, чи організації розуміють відповідальність, яку вони приймають при розгортанні автономних систем AI, та необхідність управління цими системами відповідно.

Коли організації не визначають сферу дії, дозволи та нагляд, вони створюють юридичну відповідальність. Проблема рідко полягає у тому, що закон не може впоратися з агентськими системами AI, а радше у тому, що підприємства не чітко визначили, що їхні системи були авторизовані робити або як вони повинні бути управлені.

Які практичні кроки повинні зробити CIO та юридичні команди сьогодні, щоб визначити та пом’якшити відповідальність, коли робочі процеси AI продовжують навчатися та адаптуватися у виробничих середовищах?

Перший крок полягає у тому, щоб розглядати суверенний контроль над AI та даними як критично важливі. Організації не можуть суттєво управляти відповідальністю, якщо їхні системи AI та дані роздрібнені по середовищам, які вони не можуть повністю спостерігати чи керувати. 13% підприємств, які успішно досягли агентського масштабу, починають з цього фундаменту.

На практиці це означає обмеження доступу до даних, чітке визначення дій, які агенти можуть виконувати самостійно, та розміщення людського нагляду навколо рішень, що мають великий вплив. Це також вимагає реєстрації та можливості відстеження, щоб поведінку можна було переглянути, якщо це потрібно. Організації, які приймають ці заходи на ранній стадії, скоротять як юридичну відповідальність, так і оперативну трение в майбутньому.

Як ви рекомендуете підприємствам керувати агентськими системами AI через політику, технічні засоби контролю чи договорні заходи безпеки, щоб зменшити ризик непередбачуваної шкоди?

Початковою точкою є суверенітет. Підприємства потребують середовищ, у яких їхні системи AI, дані та контекст виконання є спостережуваними та примусовими у великих масштабах. Управління не може спиратися лише на політику. Політика встановлює очікування, але технічні засоби контролю визначають, що системи можуть фактично робити, чи дані знаходяться у стані спочинку чи в русі, та як моделі дозволені працювати.

Деякі агенти повинні перебувати у захищених середовищах без доступу до виробництва. Інші можуть працювати з обмеженими дозволами та порогами затвердження. Повністю автономні агенти повинні бути рідкісними та піддаватися суворому нагляду. Договори можуть допомогти прояснити відповідальність, але вони не заміняють необхідність внутрішнього контролю та відповідальності.

Чи змінює зсув до підприємств-контрольованих або суверенних середовищ AI, хто究竟 несе ризик, коли агентська система AI спричиняє фінансову чи оперативну шкоду?

Він не змінює того, хто несе ризик. Він робить відповідальність яснішою та багатьох аспектах зменшує ризик. Коли підприємства контролюють дані, інфраструктуру та контекст виконання, вони усувають змінні, введені тоді, коли дані та інструменти знаходяться в руках третіх сторін.

Контроль над даними та інструментами AI є силою. Суверенітет надає організаціям видимість та авторитет, необхідні для управління ризиком відповідально. Без цього контролю підприємства розширюють свій профіль ризику.

З вашої точки зору, яка роль прозорості та аудитабельності відіграє у зменшенні юридичної відповідальності при роботі з автономними додатками AI?

Вони є фундаментальними. Аудитабельність перетворює автономні системи на захищені системи.

Коли відбуваються інциденти, регулятори та суди ставлять практичні питання: що знала система, що вона була авторизована робити, та чому вона діяла? Підприємства, які можуть продемонструвати нагляд та аудитабельність, перебувають у значно сильнішій позиції порівняно зі своїми колегами, які залишаються без відповідей.

Як компанії повинні готуватися до різниць у державних юридичних зобов’язаннях, пов’язаних з відповідальністю AI, коли продовжується розвиток федеральних рекомендацій щодо AI?

Організації не можуть чекати, поки регулятори нададуть детальні правила, специфічні для AI. Існуючі державні та федеральні закони дають нам 95% ясності, необхідної для використання AI відповідально та уникнення суттєвих юридичних випадків.

Ця ясність включає проектування систем для задоволення найбільш вимогливих стандартів відповідальності продукції, які будуть включати речі, такі як відповідальна розробка можливостей AI, попереднє тестування, прозорість та розкриття ризиків, пострелізне аудитування, нагляд людини та навчання користувачів можливостей AI. Ці базові та знайомі кроки мають більше значення, ніж спроби передбачити конкретні регуляторні результати.

Які найважливіші питання, які повинні поставити технологічні покупці виробникам щодо автономності, нагляду та відповідальності до прийняття агентських систем AI?

З агентськими системами AI відповідальність究竟 лежить на стороні, яка авторизує автономність. Тому чотири основні питання, на які ви повинні відповідати, є:

1. Хто контролює систему у виробництві?
2. Як тестируються та примусовуються дозволи?
3. Як обмежується навчання?
4. Який аудитний доказ доступний, якщо щось піде не так?

Якщо виробник не може надати ясних відповідей, підприємства повинні продовжувати з обережністю. Повертаючись до аналогії з собаками: заводчики мають значення, але якщо щось піде не так, відповідальність може лежати на власнику.

Дякую за велике інтерв’ю, читачам, які бажають дізнатися більше, слід відвідати EnterpriseDB.