Роуан Стюарт, старший директор продукту, штучна безпека та платформа в Transcend – Серія інтерв’ю

Роуан Стюарт, старший директор продукту, штучна безпека та платформа в Transcend, очолює продуктові ініціативи, спрямовані на допомогу організаціям у відкритті, управлінні та безпечному використанні даних у системах штучного інтелекту. Вона має понад десятирічний досвід роботи в сфері розробки продуктів штучного інтелекту та машинного навчання, корпоративного програмного забезпечення, обробки природної мови, стратегії даних та лідерства у створенні нових продуктів. До того, як приєднатися до Transcend, Стюарт близько шести років працювала в BCG X, де допомагала великим підприємствам розробляти стратегії штучного інтелекту, переробляти внутрішні процеси та створювати продукти, призначені для досягнення вимірюваних бізнес-результатів. На початку своєї кар’єри вона керувала розробкою API обробки природної мови для інтелекту впливу, включаючи аналіз настроїв, знання графів, оцінку особистості, виявлення ботів та можливості безпеки бренду.

Transcend – це єдина автономна платформа рішень щодо даних, яка відповідає на питання “Чи можна використовувати ці дані?” для масштабування зростання клієнтів. Компанії Fortune 500 та нові лідери категорій використовують Transcend для кодування повних дозволів на використання даних безпосередньо в корпоративних системах, які обробляють дані клієнтів, забезпечуючи реальний джерело правди для згоди, переваг та бізнес-правил. Результатом є вища якість даних, етичне використання, яке захищає бренд, та готовність до аудиту на рівні масштабу. З допомогою Transcend компанії можуть розблокувати доходи від штучного інтелекту, персоналізації та інших ініціатив першої партії даних з впевненістю. Заснована в 2017 році Беном Бруком (генеральний директор) та Майком Фарреллом (технічний директор), Transcend розташована в районі затоки Сан-Франциско.

Ви провели майже шість років у BCG X, допомагаючи деяким із найбільших організацій світу розгортати рішення штучного інтелекту та машинного навчання перед переходом на штучну безпеку та управління в Transcend. Які були повторювані провали управління або сліпі плями, яких ви стали свідками, що переконали вас у тому, що управління штучним інтелектом потрібно будувати в системи з самого початку, а не додавати пізніше?

У BCG я працював з компаніями на кожному етапі зрілості штучного інтелекту, і одна закономірність залишилася зі мною: управління завжди з’являється пізно. Команди швидко рухаються, щоб випустити модель або продукт, а розмови про дозволи на дані, згоду чи нагляд насправді починаються лише перед виробництвом і відчуваються як “готча”. Все, що будується на цьому етапі, складається з патчів на системі, яка ніколи не була спроектована з урахуванням управління.

Це частина того, чому я був так радий приєднатися до Transcend. Радити компаніям щодо того, що їм слід робити, може зайти лише так далеко. Я хотів допомогти створити інфраструктуру, яка робить управління легким вибором.

Багато організацій спішать розгортати агенти штучного інтелекту по всьому клієнтському сервісу, операціям та знанням. Як управління автономними агентами штучного інтелекту відрізняється від управління традиційними програмними системами чи навіть попередніх поколінь моделей штучного інтелекту?

Більшість корпоративної архітектури безпеки припускає, що на іншому кінці кожного дії є людина, яку можна ідентифікувати, довіряти та яку можна притягнути до відповідальності, коли щось піде не так. Але агенти не є людьми. Вони діють самостійно, делегують завдання іншим агентам та ланцюжкові рішення разом способами, які рідко відповідають одній відповідальній особі.

Надання агенту тих самих статичних дозволів, які ви дали б працівнику, створює розбіжність, оскільки агенти не мають здорового глузду. Управління повинно оцінювати конкретну дію, яку агент готується вчинити, в цей момент, з цими конкретними даними. Більшість компаній все ще використовують підхід до управління ідентифікацією та доступом, який вони створили для людей, і багато з них виявлять розбіжність, коли розгортання агентів перевершить управління, створене для його обробки.

Ви працювали через кілька хвиль інновацій штучного інтелекту, від продуктів обробки природної мови та платформ інтелекту впливу до корпоративних ініціатив трансформації штучного інтелекту. Як розмови про безпеку штучного інтелекту еволюціонували за останні десять років, і що вас ще найбільше турбує?

Порівняння сучасного (та майбутнього!) штучного інтелекту з попередніми поколіннями є захоплюючим, оскільки це просто неймовірно швидко рухома сфера. Найважливішими еволюціями останніх років або двох, очевидно, були підйом агентів та важливість довготривалої пам’яті (OpenClaw, хтось?). Ці агенти можуть робити так багато більше на вищому рівні якості, що робить їх ще більш цінними та, звичайно, ще більш ризикованими.

Як системи штучного інтелекту все частіше приймають рішення, використовуючи дані клієнтів та підприємств, які є найбільшими помилками компаній щодо згоди, дозволів та управління даними в середовищах, керованих штучним інтелектом?

Найпоширенішою помилкою є лікування згоди як щось, що ви захопили один раз і подали. Клієнт погоджується з певним набором умов при реєстрації, і компанії припускають, що ця згода діє необмежено, незалежно від того, як дані рухаються далі чи які нові системи вони згодом живлять. Згода повинна супроводжувати дані. Якщо хтось оновлює свої переваги або новий регламент змінює те, що дозволено, ця зміна повинна з’явитися всюди, де живуть дані, а не лише в системі, де згода була спочатку зібрана.

Другою помилкою є лікування дозволів як технічної деталі, яку тихо обробляють у фоновому режимі IT чи юридичною командою. Як тільки системи штучного інтелекту починають приймати рішення на основі цих даних, надання дозволів стає продуктом та бізнес-питанням, а будь-які пробіли в ньому безпосередньо успадковуються будь-якою ініціативою штучного інтелекту, яка сидить на вершині.

Чому традиційні підходи до управління, які все ще використовують багато підприємств, таких як статичні політики та періодичні огляди відповідності, борються в епоху, коли системи штучного інтелекту можуть безперервно вчитися, адаптуватися та взаємодіяти з іншими агентами?

Статична політика захоплює те, яким була система, і що вважалося прийнятним, на момент, коли хтось її написав. Штучний інтелект не сидить довго enough для того, щоб цей знімок залишався точним. Модель, для якої була написана політика, може не бути моделлю, яку ви запускаєте через шість місяців, і квартальний чи річний огляд відповідності не може跟ати за системою, яка приймає рішення та адаптується весь час.

Управління чимось, що рухається так швидко, вимагає політики, яка рухається з тією ж швидкістю. Це означає забезпечення управління в точці, де дані фактично використовуються, в режимі реального часу, а не перевірку після факту проти документа, який вже був застарілим з дня публікації.

Як виглядає ефективне управління, коли організації починають розгортувати мережі агентів штучного інтелекту, які співпрацюють один з одним та доступ themselves до кількох внутрішніх систем?

Це те місце, де межі традиційного контролю доступу стають очевидними. Агент може бути авторизований для читання запису, виклику інструменту та передачі результатів іншим агентам, і кожен з цих кроків може виглядати прийнятним самостійно. Композитна дія (те, що фактично відбувається, коли ви ланцюжкові ці кроки разом) часто є чимось, чого жодна людина явно не схвалила. Традиційний IAM може підтвердити, чи мав агент дозвіл торкнутися системи, хоча він мало що говорить про те, чи дані, які він торкнувся, були зібрані під згоду, яка покриває це конкретне використання, чи результатом ланцюжкової дії була щось, що людина фактично схвалила.

Transcend зосереджується на впровадженні дозволів на використання даних безпосередньо в корпоративних робочих процесах. Наскільки важлива інфраструктура управління в режимі реального часу для організацій, які переходять від експериментів зі штучним інтелектом до розгортання на рівні виробництва?

Під час тестування команда може часто обійтися ручними оглядами та періодичними аудитами, оскільки ставки низькі. У виробництві, особливо з агентським штучним інтелектом, це ламається, оскільки масштаб просто масивний. Система чек-листів та зустрічей – це програш-програш. Команди з відповідності та безпеки фактично отримують обіцянку з пальця без безперервного забезпечення, тоді як команда продукту тепер зобов’язана проходити через громіздкі ручні огляди, які надають мало реальної цінності кінцевому користувачеві. Це тоді, коли реальна інфраструктура стає єдиним підходом, який працює. Забезпечення дозволів на момент руху даних або прийняття рішення, а не реконструкція того, що відбулося після того, як щось вже пішло не так, є тим, що робить управління значимим для відповідності та цінним для користувачів

На вашу думку, які є найбільш значимими ризиками, пов’язаними з агентським штучним інтелектом протягом наступних трьох-п’яти років, і які з цих ризиків зараз недооцінюються бізнес-лидерами?

Я вважаю, що модель спадкування агентами дозволів користувача ризикованіша, ніж ми усвідомлюємо. Люди мають судження, але штучний інтелект буде слідувати вашим інструкціям прямо з обриву.

Як команди продукту повинні балансувати тиск на швидке розгортання функцій штучного інтелекту з необхідністю створення кадрів управління, прозорості та відповідальності?

Я думаю, що однією конкретною річчю є виправлення того, що я називаю “податком на неробство”.

Ми всі дуже швидко перенастроили свої реакції на зниження валідності та цінності виходу штучного інтелекту. Це причина, чому кожен радить вам видалити тире (навіть якщо вони є відповідними), чому сайт, який використовує стандартну палітру кольорів Claude, виглядає дешево (навіть якщо він виглядає добре) і чому інформація, подана штучним інтелектом, вважається підозрілою (навіть якщо вона правда). Це справді впливає на сприйману цінність вашого продукту.

Виправлення податкового податку на неробство насправді полягає в кращому управлінні та прозорості. Наприклад, ми нещодавно випустили функцію під назвою Використання штучного інтелекту постачальником, яка витягує публічно доступну інформацію про функції штучного інтелекту та постуру управління топ-компаній, щоб допомогти командам з можливостей штучного інтелекту, безпеки та закупівель працювати швидше. Ми виявили, що використання багатофункціональної оркестрової структури разом із збором та представленням доказів з посиланнями та цитатами для їхніх висновків призвело до масового покращення якості наших результатів. Ця практика збору доказів та якості агентів є перемогою-перемогою, оскільки фактичні результати для користувача кращі, а відповідність ще більш надійна.

Оглядаючи майбутнє, ви вважаєте, що управління штучним інтелектом в кінцевому підсумку стане конкурентною перевагою, а не просто вимогами відповідності, і що відокремить організації, які все роблять правильно, від тих, хто відстає?

Я так думаю, і це повертається до тієї ж закономірності, яку я спостерігав у BCG. Компанії, які розглядали управління як щось, що потрібно додати, коли продукт уже був на ринку, завжди були спіймані на останній хвилині перед масштабуванням, і схильні застрягнути в “пілотному пеклі”. Компанії, які будують управління в систему з самого початку, можуть рухатися з певним видом впевненості, якого немає в іншої групи, оскільки вони не постійно сумніваються в тому, що вони знайдуть, коли нарешті уважно глянуть на те, як їхній штучний інтелект фактично використовує дані.

Ця розбіжність лише зростатиме, коли розгортання агентів прискориться. Організації, які спішать розгортати агентів без переосмислення того, як ці агенти отримують дозволи, найімовірніше потраплять у проблеми, і до того часу, як вони це зроблять, компанії, які правильно створили інфраструктуру, вже будуть працювати на швидкості, з якою пізньожені не зможуть легко зрівнятися. Управління перестає бути позицією відповідності, коли воно стає тим, що дозволяє розгортати штучний інтелект швидше та з більшим впевненістю, ніж усі, хто все ще робить це вручну.

Дякую за велике інтерв’ю, читачам, які бажають дізнатися більше, слід відвідати Transcend.