Дж. Пол Хейнс, генеральний директор Cinchy – Серія інтерв’ю

Дж. Пол Хейнс, генеральний директор Cinchy, – це спеціаліст з кібербезпеки та технологій з десятирічним досвідом будівництва та масштабування підприємств з безпеки. Він найбільш відомий своєю роботою в eSentire, де допоміг компанії стати одним з провідних постачальників послуг з управління виявленням та реагуванням на загрози, і привносить сильний досвід у сфері інженерії, кібербезпеки, зростання, підтриманого приватним капіталом, та ризиків підприємств у Cinchy, оскільки компанія зосереджується на довірчих прийомах штучного інтелекту та управлінні.

Cinchy – це підприємство з управління штучним інтелектом та співробітництва з даними, яке зосереджується на допомозі організаціям безпечно підключати штучний інтелект, системи та дані. Його платформа PeriMind діє як контрольна площина для дій штучного інтелекту, надаючи підприємствам видимість, забезпечення політики, безпеки та аудитованість того, як агенти штучного інтелекту взаємодіють з бізнес-системами, тоді як його Платформа співробітництва з даними допомагає командам керувати та обмінюватися керованими даними по всій організації без використання складних інтеграцій або дублікатів даних сховищ.

Ви провели понад 15 років, допомагаючи будувати та масштабувати eSentire в одну з найбільш визнаних компаній галузі кібербезпеки. Які уроки з цього шляху ви привносите у свою нову роль генерального директора Cinchy, і чому ви вважаєте, що зараз правильний час для зосередження на управлінні штучним інтелектом та довірчих прийомах штучного інтелекту?

Одним з найбільших уроків, яких я навчився в eSentire, є те, що організації не борються тому, що їм бракує технологій. Вони борються тому, що нові технології створюють операційну складність швидше, ніж більшість компаній можуть керувати самостійно. Я бачу, що штучний інтелект проходить дуже схожий шлях.

Сьогодні проблема не полягає в тому, щоб змусити працівників експериментувати зі штучним інтелектом. Більшість організацій вже роблять це. Реальна проблема полягає в тому, щоб перемістити штучний інтелект у виробництво, де рішення впливають на клієнтів, фінансові результати, дотримання нормативних вимог та бізнес-операції.

Високо регульовані галузі, такі як фінансові послуги, ілюструють це ідеально. Вони не рухаються повільно тому, що вони не розуміють штучний інтелект. Вони рухаються обережно тому, що вони ще не можуть довіряти штучному інтелекту з місією-критичною роботою. Перед тим, як система штучного інтелекту зможе приймати рішення, організації потребують відповідей на фундаментальні питання: хто схвалив ці рішення? Як вони контролюються? Коли людина втручається? Що відбувається, якщо модель зсувається, виходить з ладу або стає недоступною?

Ці питання нагадують мені, де була кібербезпека п’ятнадцять років тому. Безпека еволюціонувала з технологічної проблеми в операційну дисципліну. Я вважаю, що управління штучним інтелектом проходить той самий шлях.

Це саме тому я приєднався до Cinchy. Ми вважаємо, що довірчі прийоми штучного інтелекту (а не експериментування зі штучним інтелектом) визначать наступне десятиліття, і ми бачимо, що кероване управління штучним інтелектом стане так само важливим, як кероване управління кібербезпекою.

Багато підприємств експериментували зі штучним інтелектом за останні два роки, однак відносно небагато успішно розгорнули штучний інтелект по всім місійним критичним робочим процесам. Які найбільші бар’єри перешкоджають організаціям рухатися від пілотних проектів до виробництва?

Я не думаю, що компанії борються тому, що технологія недостатньо добра. Я думаю, що вони борються тому, що ставки стають значно вищими, коли штучний інтелект виходить за рамки експериментування.

Пілотний проект – це одна справа. Переміщення штучного інтелекту у виробництво – це зовсім інша справа. Тепер це доступ до підприємств-даних, взаємодія з бізнес-системами, можливо, навіть прийняття рішень від імені працівників. Це коли лідерство quite recht починає запитувати: “Як ми контролюємо це? Як ми контролюємо це? І як ми знаємо, коли потрібно втрутитися людині?”

Ці питання не є підставами для сповільнення прийому штучного інтелекту. Вони є тим, що робить прийом штучного інтелекту можливим вперше. Якщо ви можете відповісти на ці питання з впевненістю, організації рухаються значно швидше.

Ви провели більшу частину своєї кар’єри, забезпечуючи безпеку підприємств проти кіберзагроз. Як забезпечення безпеки організації, що використовує штучний інтелект, відрізняється від забезпечення безпеки традиційної ІТ-середовища?

Традиційна кібербезпека зосереджується на захисті кінцевих точок, ідентифікаторів, мереж та хмарних середовищ. Штучний інтелект додає ще одну постійну поверхню загроз підприємства. Кожна система штучного інтелекту вводить нові ризики. Доступ до моделі, ін’єкція запиту, надмірні дозволи, зсув моделі, автономне прийняття рішень та зовсім нові шляхи атаки, які просто не існували раніше.

Важливим є те, що безпека штучного інтелекту не відокремлена від кібербезпеки. Вона розширює кібербезпеку. Організації все ще потребують кожного існуючого контролю безпеки, але тепер їм також потрібна безпека, спеціально розроблена для систем штучного інтелекту, що працюють у виробництві.

Тіньова ІТ давно є проблемою для команд безпеки, але тепер ми бачимо зростання тіньового штучного інтелекту. Наскільки значною є ця проблема, і які ризики організації недооцінюють?

Тіньовий штучний інтелект стає однією з найшвидше зростаючих бізнес-ризиків, оскільки виконавчі команди заохочують швидкий прийом штучного інтелекту без встановлення управлінської структури спочатку. Більшість працівників не діють зловісно. Вони намагаються бути більш продуктивними. Проблема полягає в тому, що системи штучного інтелекту успадковують будь-які дозволи, які вже мають користувачі.

Виконавець, який експериментує з публічною моделлю штучного інтелекту, може ненавмисно розкрити конфіденційні фінансові дані, інформацію про клієнтів або інтелектуальну власність просто запитавши штучний інтелект про аналіз.

Це саме тому організації потребують видимості, контролю політики та управлінської структури, не для сповільнення прийому штучного інтелекту, а для того, щоб зробити його достатньо безпечним для масштабування.

Агенти штучного інтелекту все частіше отримують доступ до підприємств-систем, даних та процесів прийняття рішень. Які нові проблеми з відповідальністю та управлінням виникають, коли системи штучного інтелекту можуть діяти автономно, а не просто генерувати вміст?

Агенти штучного інтелекту фундаментально змінюють розмову про управління, оскільки вони вже не генерують вміст. Вони приймають рішення. Кожна дія повинна відповідати на прості питання:

• Що відбулося?
• Чому це відбулося?
• Який агент штучного інтелекту прийняв рішення?
• Хто його авторизував?
• Коли людина повинна втрутитися?

Ці принципи не нові. Галузі жили з вимогами відповідальності протягом десятиліть під нормативними актами, такими як Sarbanes-Oxley. Штучний інтелект просто розширює ці самі очікування до автономних цифрових працівників.

Багато організацій спішать розгортати штучний інтелект через конкурентний тиск. Як бізнес-лідери можуть збалансувати потребу у швидкості з потребою у управлінні, дотриманні нормативних вимог та управлінні ризиками?

Управління не повинно сповільнювати прийом штучного інтелекту. Воно повинно прискорювати його. Організації рухаються швидше, коли лідерство довіряє середовищу, яке вони будують. Це означає встановлення безпечної, контролюємої архітектури штучного інтелекту, постійного оцінювання моделей на зсув та продуктивність, управління доступом до підприємств-систем та наявність чітких операційних контролю перед тим, як штучний інтелект досягне виробництва.

Так само, як організації прийняли кероване виявлення та реагування на загрози для спрощення кібербезпеки, я вважаю, що багато з них приймуть кероване управління штучним інтелектом, щоб отримати експертизу без необхідності будувати великі спеціалізовані команди всередині.

Ради директорів стають все більш залученими до нагляду за штучним інтелектом. Які питання повинні членами ради запитувати командам управління про стратегію штучного інтелекту, управління та відповідальність?

Ради повинні запитати одне фундаментальне питання: може команда управління продемонструвати, що штучний інтелект працює під тим самим рівнем управління, що й кожна інша критична бізнес-система?

Це означає розуміння того, де використовується штучний інтелект, хто ним володіє, як рішення контролюються, як ризик керується, і як організація продовжить роботу, якщо служба штучного інтелекту стане недоступною. Організації, які успішно впроваджують штучний інтелект, не обов’язково будуть тими, які приймають його найшвидше. Вони будуть тими, які будують операційну дисципліну, щоб довіряти штучному інтелекту у масштабі.

Галузь кібербезпеки витратила десятиліття на розробку рамок, контролю та najleших практик. Чи є уроки з кібербезпеки, які можна безпосередньо застосувати до управління штучним інтелектом, чи штучний інтелект вимагає цілком нового підходу?

Кібербезпека пропонує відмінний план управління штучним інтелектом. Управління ідентифікаторами, мінімальні привілеї, постійний контроль, аудитні сліди, реагування на інциденти та стійкість залишаються суттєвими. Що нового, так це те, що штучний інтелект вводить проблеми, яких традиційні системи ніколи не мали, включаючи зсув моделі, галюцинації, маніпуляцію запитами та залежність від третіх фондів моделей. Тому штучний інтелект не замінює кібербезпеку. Він будує на ній додатковий рівень управління.

Як виглядає “довірчий прийом штучного інтелекту” на практиці? Чи є конкретні принципи управління або операційні заходи безпеки, які кожне підприємство повинно мати на місці перед тим, як розгортати ініціативи штучного інтелекту?

Я схильний думати про це так само, як ми думали про кібербезпеку роки тому. Ніхто не запитував, чи створює безпека цінність. Питання полягало в тому, чи ви довіряєте своєму середовищу достатньо, щоб продовжувати роботу.

Штучний інтелект рухається точно в тому самому напрямку. Якщо ви не можете побачити, що він робить, контролювати, до чого він має доступ, або зрозуміти, чому він приймає певні рішення, ви, ймовірно, не дозволите йому займатися чимось важливим.

Як тільки ви маєте цю впевненість, прийом відбувається природно. Організації перестають розглядати штучний інтелект як цікавий експеримент і починають розглядати його як ще одну частину бізнесу.

Оглядаючи вперед три-п’ять років, як ви бачите розвиток відносин між управлінням штучним інтелектом та конкурентною перевагою?

За наступні три-п’ять років сильне управління штучним інтелектом не стане конкурентною перевагою. Воно стане бізнес-вимогою. Організації, які встановлять управління рано, приймуть штучний інтелект швидше, оскільки вони матимуть впевненість рухатися критичними робочими процесами у виробництво. Ті, хто цього не зробить, залишаться застряглими в експериментуванні, тоді як конкуренти реалізують відчутні вигоди у продуктивності, інноваціях та досвіді клієнтів. У кінцевому підсумку, управління не сповільнить прийом штучного інтелекту. Воно стане причиною, через яку організації зможуть довіряти штучному інтелекту достатньо, щоб повністю прийняти його.

Дякуємо за велике інтерв’ю, читачам, які бажають дізнатися більше, слід відвідати Cinchy.