Інтерв’ю
Rob Feldman, Головний Юридичний Радник у EnterpriseDB – Серія Інтерв’ю
Rob Feldman, Головний Юридичний Радник, відповідає за світові юридичні та комплаєнс-функції у EnterpriseDB. Досвідчений виконавець і юрист, він створює високоефективні юридичні команди для підтримки зростаючих технологічних компаній у динамічних бізнесових та регуляторних середовищах. Останнім часом він очолював 45-особову юридичну команду у Citrix Systems, Inc. як її Генеральний Радник, включаючи транзакцію придбання вартістю понад 16 мільярдів доларів у 2022 році. До цього він понад десяти років працював у приватній практиці як технологічний компанієлітігатор, зосереджуючись на захисті від шахрайства з цінними паперами, спорах щодо інтелектуальної власності та урядових і внутрішніх розслідуваннях. Роб також перебуває у Раді Юристів Всесвітньої організації Об’єднаних Націй з питань довкілля, надаючи стратегічні поради щодо глобальних регуляторних середовищ, щоб допомогти підприємствам досягти трансформаційних, довгострокових результатів.
EnterpriseDB – це компанія з виробництва програмного забезпечення, яка пропонує рішення для корпоративних баз даних, побудованих на відкритому джерелі PostgreSQL, що допомагає організаціям виконувати критично важливі завдання з більшою продуктивністю, безпекою та надійністю. Заснована у 2004 році, EnterpriseDB пропонує хмарні та локальні платформи, глобальну підтримку та інструменти сумісності з Oracle, одночасно зосереджуючись на платформах штучного інтелекту та гібридних даних через свої пропозиції Postgres AI.
Враховуючи ваш тривалий досвід у сфері корпоративного юридичного лідерства та фокус EnterpriseDB на корпоративному рівні Postgres та суверенних платформах штучного інтелекту та даних, як ви бачите розвиток відповідальності для компаній, які оперціоналізують агентні системи штучного інтелекту всередині критичної інфраструктури даних
Світ штучного інтелекту та даних все ще залежить від тих самих основних принципів, які повинні були регулювати підприємства ще до появи агентних систем: відповідальність, стриманість та ясність відповідальності.
У минулому ці принципи застосовувалися до людей та здебільшого інертних систем, панелей, звітів та автоматизованих інструментів, які не ініціювали дії самостійно. Агентні системи штучного інтелекту вводять системи, які поводяться більше як учасники, ніж інструменти. Вони можуть діяти самостійно, адаптуватися з часом та взаємодіяти з людьми та іншими агентами.
Якщо організація не має сильної системи управління та контролю, вона буде боротися в цьому середовищі. Агентні системи штучного інтелекту не створюють нових проблем відповідальності, а радше розкривають існуючі. Для підприємств з міцними основами цей зсув фактично посилює практики, яких вони вже дотримуються, те, що ми описуємо як “цифровий поводок”. Для інших це явний сигнал про те, що перед оперціоналізацією агентних систем штучного інтелекту у великому масштабі необхідно встановити практичні обмеження.
Близько 13% підприємств досягли цієї точки агентного масштабу успішно. Вони роблять у 2 рази більше агентних дій, ніж усі інші, та отримують у 5 разів більший повернення інвестицій. Але чим більше автономності має система штучного інтелекту, тим швидше організації повинні зіткнутися з відповідальністю. Коли агент штучного інтелекту маршрутизує вимогу, переміщує гроші або неправильно обробляє конфіденційні дані, відповідальність слідує за підприємством, яке визначило середовище, встановило дозволи та вирішив, яку свободу мала ця система.
Це пояснює, чому компанії повинні привнести ясний нагляд за своїми агентними системами штучного інтелекту, і чому організації зацікавлені у тому, щоб привнести фокус у свої програми обмежень та управління. Аналогія власності на собаку та цифрового поводка є корисною. Собаки мають певний рівень автономності, діють самостійно, хоча іноді непередбачувано, проте вони не є юридичними особами. Ця комбінація, автономність без особості, схожа на те, де сьогодні знаходяться агентні системи штучного інтелекту, та власники повинні зрозуміти, що відсутність нагляду та управління призведе до відповідальності за погані результати.
Як підприємства повинні розрізняти допоміжні системи штучного інтелекту та агентні системи штучного інтелекту з юридичної та оперативної точки зору до розгортання?
На простому рівні розрізнення полягає в авторитету. Допоміжні системи штучного інтелекту підтримують прийняття рішень людьми, тоді як агентні системи штучного інтелекту ініціюють дії та виконують рішення. Обидві можуть впливати на робочі процеси та формувати поведінку (наприклад, у сфері обслуговування клієнтів або оперативної пріоритезації), проте тільки агентні системи діють самостійно під впливом.
Якщо система може запускати робочі процеси, затверджувати результати, змінювати стан системи або здійснювати дії без затвердження людини в режимі реального часу, її слід розглядати як агентну. Це визначення повинно відбуватися до розгортання, оскільки після надання авторитету агенту юридична та оперативна відповідальність змінюється разом з ним. Організації повинні бути обізнані про це розрізнення, щоб вони не виявили занадто пізно, що вони ненавмисно делегували владу з прийняття рішень та, разом з тим, відповідальність.
Чи можуть усталені юридичні доктрини, такі як недбале делегування та respondeat superior, реалістично застосовуватися до автономних систем штучного інтелекту, та де ці рамки починають розбиватися?
Вони застосовуються більш пряміше, ніж багато хто припускає. Ці доктрини існують для розгляду ситуацій, коли делегується авторитет та відбувається шкода, що є однією з потенційних проблем, які вводять агентні системи штучного інтелекту.
Проблема полягає не у юридичній доктрині, а у тому, чи організації розуміють відповідальність, яку вони приймають при розгортанні автономних систем штучного інтелекту, та необхідність управління цими системами відповідно.
Коли організації не визначають сферу дії, дозволи та нагляд, вони створюють юридичну відповідальність. Проблема рідко полягає у тому, що закон не може впоратися з агентними системами штучного інтелекту, а радше у тому, що підприємства не чітко визначили, що їхні системи були авторизовані робити або як вони повинні бути управлені.
Які практичні кроки повинні зробити CIO та юридичні команди сьогодні, щоб визначити та помітити відповідальність, коли робочі процеси штучного інтелекту продовжують навчатися та адаптуватися у виробничих середовищах?
Перший крок полягає у тому, щоб розглядати суверенний контроль над штучним інтелектом та даними як місійнокритичний. Організації не можуть суттєво управляти відповідальністю, якщо їхні системи штучного інтелекту та дані роздрібнені по середовищах, які вони не можуть повністю спостерігати чи керувати. 13% підприємств, які успішно працюють з агентними системами штучного інтелекту у великому масштабі, починають з цього фундаменту.
На практиці це означає обмеження доступу до даних, чітке визначення дій, які агенти можуть здійснювати самостійно, та встановлення нагляду людини навколо високоефективних рішень. Це також вимагає реєстрації та слідовості, щоб поведінку можна було переглянути, коли та якщо це буде потрібно. Організації, які приймають ці заходи на ранній стадії, зменшать як юридичну відповідальність, так і оперативну трение в майбутньому.
Як ви рекомендуєте підприємствам керувати агентними системами штучного інтелекту через політику, технічні засоби контролю чи договорні заходи безпеки, щоб зменшити ризик непередбачуваної шкоди?
Початковою точкою є суверенітет. Підприємства потребують середовищ, у яких їхні системи штучного інтелекту, дані та контекст виконання спостерігаються та примусові у великому масштабі. Управління не може покладатися лише на політику. Політика встановлює очікування, проте технічні засоби контролю визначають, що системи можуть фактично робити, чи дані знаходяться у стані спокою чи в русі, та як моделі дозволені працювати.
Деякі агенти повинні знаходитися у відгороджених середовищах без доступу до виробництва. Інші можуть працювати з обмеженими дозволами та порогами затвердження. Повністю автономні агенти повинні бути рідкісними та піддаватися суворому нагляду. Договори можуть допомогти прояснити відповідальність, проте вони не заміняють необхідність внутрішнього контролю та відповідальності.
Чи змінює перехід до суверенних підприємств-контрольованих середовищ штучного інтелекту того, хто в кінцевому підсумку несе ризик, коли агент штучного інтелекту спричиняє фінансову чи оперативну шкоду?
Це не змінює того, хто несе ризик. Це робить відповідальність яснішою та багатьма способами зменшує ризик. Коли підприємства контролюють дані, інфраструктуру та контекст виконання, вони усувають змінні, введені тоді, коли дані та інструменти знаходяться в руках третьої сторони.
Контроль над даними та інструментами штучного інтелекту є силою. Суверенітет надає організаціям видимість та авторитет, необхідні для управління ризиком відповідально. Без цього контролю підприємства розширюють свій профіль ризику.
З вашої точки зору, яку роль відіграють прозорість та аудитність у зменшенні юридичної відповідальності при роботі з автономними додатками штучного інтелекту?
Вони є фундаментальними. Аудитність перетворює автономні системи на захищені системи.
Коли відбуваються інциденти, регулюючі органи та суди ставлять практичні питання: що знала система, що їй було авторизовано робити, та чому вона діяла? Підприємства, які можуть продемонструвати нагляд та аудитність, знаходяться у значно сильнішій позиції порівняно зі своїми аналогами, які приходять з порожніми руками.
Як компанії повинні готуватися до різної державної юридичної відповідальності, пов’язаної з відповідальністю штучного інтелекту, коли продовжується розвиток федеральної керівної інформації щодо штучного інтелекту?
Організації не можуть чекати, поки регулюючі органи видадуть детальні правила, специфічні для штучного інтелекту. Існуючі державні та федеральні закони дають нам 95% ясності, необхідної для використання штучного інтелекту відповідально та уникнення суттєвих подій відповідальності.
Ця ясність включає проектування систем для відповідності найбільш вимогливим стандартам відповідальності продукції, які будуть обов’язково включати речі, такі як відповідальне розроблення можливостей штучного інтелекту, тестування до випуску, прозорість та розкриття ризику, післявипускову аудитність, нагляд людини та навчання користувачів можливостей штучного інтелекту. Ці базові та знайомі кроки мають значення більше, ніж спроби передбачити конкретні регуляторні результати.
Які найважливіші питання, які повинні задавати технологічні покупці виробникам про автономність, нагляд та відповідальність перед прийняттям агентних систем штучного інтелекту?
З агентними системами штучного інтелекту відповідальність в кінцевому підсумку лежить на стороні, яка авторизує автономність. Тому чотири основні питання, на які ви повинні відповідати, є:
- Хто контролює систему у виробництві?
- Як тестуються та примусовуються дозволи?
- Як обмежується навчання?
- Який аудитний доказ доступний, якщо щось піде не так?
Якщо виробник не може надати ясних відповідей, підприємства повинні продовжувати з обережністю. Повертаючись до аналогії з собакою: заводчики мають значення, проте якщо щось піде не так, відповідальність може лежати на власнику.
Дякую за велике інтерв’ю, читачам, які бажають дізнатися більше, слід відвідати EnterpriseDB.
