Ганна-Марі Дарлі, головний офіцер штучного інтелекту в Geordie AI – Серія інтерв’ю

Ганна-Марі Дарлі, головний офіцер штучного інтелекту в Geordie AI, – досвідчений лідер штучного інтелекту та безпеки, який став співзасновником компанії для допомоги підприємствам у впровадженні агентських штучних інтелектів з ясністю та контролем. З майже десятирічним досвідом підтримки операцій розвідки у федеральному уряді США та подальшими керівними посадами в Darktrace, вона поєднує глибокі знання в галузі розвідки загроз, геополітичного аналізу та прикладної психології з практичним досвідом у стратегії штучного інтелекту та розробці продукту. Її робота зосереджена на узгодженні автономних систем з людською метою, що дозволяє підприємствам впроваджувати агентів штучного інтелекту таким чином, щоб збалансувати інновації, нагляд та реальні обмеження.

Geordie AI – лондонська компанія з розробки програмного забезпечення для підприємств, що зосереджена на забезпеченні безпеки та управління агентами штучного інтелекту при їхньому впровадженні в корпоративні середовища. Її платформа забезпечує видимість діяльності агентів, постійний моніторинг ризиків та структуровані механізми управління, що дозволяють організаціям впроваджувати та масштабувати системи штучного інтелекту з впевненістю. Надавши спостережуваність, підтримку з питань дотримання законодавства та оперативний нагляд, що відповідає епохі агентів, Geordie має на меті надати підприємствам прозорість та контроль, необхідні для інтеграції все більш автономних технологій без компрометації безпеки чи відповідальності.

Ви майже десятиріччя працювали в сфері розвідки загроз та геополітичного аналізу в уряді США, потім займали керівні посади в Darktrace, а тепер очолюєте стратегію штучного інтелекту та продукту в Geordie AI. Які досвіди в сфері уряду та безпеки підприємств найбільш вплинули на ваше рішення створити Geordie, і яку основну проблему ви були визначені вирішити?

У сфері уряду та безпеки підприємств я постійно зустрічався з однією й тією ж структурною напруженістю. Організації вкладали великі кошти в штучний інтелект, але впевненість у поведінці цих систем відставала від очікуваних результатів. Проблема не полягала в можливостях. Це була довіра.

Когда штучний інтелект перейшов від експериментального інструменту до оперативних робочих процесів, ця прогалина стала більш видимою. Агенти вводять автономію, прийняття рішень та стійкість у системах способами, яких традиційне програмне забезпечення ніколи не мало. Бізнесам потрібно було зрозуміти, як агенти функціонують, де вони діють, та як ризик виникає через їхню поведінку. Geordie була створена для закриття цієї прогалини ясності, щоб організації могли впроваджувати автономію з впевненістю, а не з ваганням.

На вашу думку, який найменш зрозумілий ризик представляють автономні або агентські системи штучного інтелекту для підприємств, і як “ланцюговий ефект” контекстного прийняття рішень відрізняється від традиційних моделей експозиції кібербезпеки?

Невидимі відмови залишаються найменш зрозумілими. Агент може діяти в межах затверджених дозволів та легітимних меж доступу, але все ж таки створювати результати, які відхиляються від намірів.

Це відображає природу агентських систем. Вони інтерпретують контекст та приймають рішення в реальному часі. На відміну від детермінованого програмного забезпечення, поведінка формується динамічно протягом послідовності дій. Це змінює модель безпеки. Експозиція вже не залежить виключно від порушень доступу. Вона виникає через взаємодію рішень, інструментів та контексту протягом часу.

Підхід Geordie підкреслює спостережуваність поведінки, контекстну оцінку ризиків та динамічний контроль над діяльністю агентів. Як організації повинні балансувати потребу в такій реальному часі видимості з проблемами оперативної складності або продуктивності системи?

Підприємства не повинні торгівляти продуктивністю за нагляд. Наша архітектура свідомо уникає інлайн-проксі та шлюзи, що дозволяє організаціям будувати та експлуатувати агенти там, де це оперативно доцільно.

Видимість та контроль повинні масштабуватися з автономією без введення тертя чи затримки. Якщо механізми управління вводять опір робочим процесам, впровадження зупиняється. Ефективна безпека дозволяє екосистемам розширюватися безпечно, а не обмежувати інновації.

З вашої роботи з клієнтами підприємств та лідерами ризиків, які типи робочих процесів або випадків найбільш схильні до агентської дрейфу в напрямку діяльності з вищим ризиком, і як ранні індикатори можуть бути виявлені до того, як вони ескалюють у матеріальні інциденти?

Ризик тенденцію до збільшення з складністю. Чим більше виборів робить агент самостійно, тим більший потенціал для поведінкової дивергенції.

Дрейф часто проявляється через ланцюжки інструментів, повторне використання контексту та емерджентні робочі процеси. Ранні індикатори включають несподіване виклик інструментів, незвичайні моделі послідовності та зміни у русі даних. Виявлення цих сигналів вимагає поведінкового аналізу, а не ізольованого моніторингу подій.

Коли агенти штучного інтелекту повторно використовують контекст та інструменти через завдання, які найменш оцінені або найтонші моделі відмови повинні бути розглянуті командами безпеки?

Повторне використання контексту залишається недооціненим. Експозиція часто виникає не через надмірні дозволи, а через те, як інформація зберігається та поширюється через завдання.

Агенти можуть легітимно отримувати доступ до даних в одному контексті та випадково переносити цей стан у інший. У поєднанні з ланцюжками інструментів це може привести до непередбачуваного розкриття чи перетворення конфіденційних даних.

Багато організацій все ще покладаються на традиційні підприємства з безпеки, такі як виявлення та реагування на кінцевих точок та розширені платформи виявлення та реагування. Де ці підходи не відповідають вимогам управління автономними системами штучного інтелекту, які здійснюють багатокрокові дії?

Платформи EDR та XDR залишаються важливими, проте вони були розроблені навколо моделей загроз, орієнтованих на людину. Агенти діють через шари рішень, які розширюються за межі телеметрії кінцевих точок та ідентифікації.

Розуміння поведінки агентів вимагає знання моделей прийняття рішень, вибору інструментів та потоків контекстних рішень. Без цього шару великі частини діяльності агентів залишаються не透ними.

Для лідерів ІТ, ризиків та безпеки, які хочуть дозволити інновації, але уникнути неконтрольованої автономії, що таке “керовану автономію” на практиці?

Керована автономія починається з видимості. Організації повинні розуміти, де агенти діють, яку владу прийняття рішень вони мають, та які ризики їхні можливості вводять.

Управління є найбільш ефективним, коли воно вкладається на ранній стадії, що дозволяє експериментувати в межах визначених меж. Це підтримує інновації, зберігаючи впевненість у результатах.

Пояснюваність часто обговорюється на рівні виведення моделі. Як підприємства повинні думати про пояснюваність та аудитованість, коли справжній ризик може лежати в послідовності дій, які агент здійснює протягом часу?

Пояснюваність моделі є лише частиною рівняння. Ризик підприємства все частіше перебуває в поведінкових послідовностях, а не в ізольованих виведеннях.

Аудитованість вимагає розуміння того, як периметри сформували інтерпретацію, які інструменти були викликані, та як контекст вплинув на рішення. Спостережуваність поведінки стає основою для підзвітності.

Для організацій, які визнають необхідність більш сильного нагляду за автономними системами штучного інтелекту, які конкретні кроки вони повинні зробити сьогодні, щоб зменшити агентські ризики без сповільнення інновацій, і як Geordie AI конкретно допомагає підприємствам оперативно балансувати контроль та можливості?

Організації виграють від початку роботи раніше, ніж чекати досконалих рамок. Початкова увага повинна бути зосереджена на інвентаризації, видимості поведінки та розумінні того, як агенти взаємодіють з системами.

Моделі управління, які вводять затримку, часто гальмують масштабованість. Нагляд повинен відповідати оперативній швидкості. Geordie надає видимість конфігурації агентів, поведінки та динаміки ризиків, одночасно забезпечуючи коректувальні механізми управління, розроблені для автономних систем.

Оглядаючи майбутнє, що відокремить організації, які успішно масштабують агентські штучні інтелекти через робочі процеси, від тих, хто переживає збої через некерований ризик, і як керівництво повинно готуватися зараз?

Ранні диференціатори будуть ясністю та вимірюванням. Команди, які розуміють можливості агентів, вплив та поведінкові моделі, будуть масштабуватися з більшою впевненістю.

На довгій перспективі конкурентна перевага буде на боці організацій, які розробляють спеціалізовані, контекстно-орієнтовані екосистеми агентів. Точність, а не узагальнення, стає драйвером продуктивності та стійкості.

Дякую за велике інтерв’ю, читачам, які бажають дізнатися більше, слід відвідати Geordie AI.