Натася Моганті, СВП з інженерії в Doppel – Серія інтерв’ю

Натася Моганті, Старший віце-президент з інженерії в Doppel, – досвідчений технологічний лідер з глибоким досвідом у сфері штучного інтелекту, платежів, медіа та споживчих платформ. До того, як приєднатися до Doppel, вона очолювала інженерний відділ Stripe’s Optimized Checkout Suite і Link, розширюючи організацію з 30 до 200 інженерів, одночасно допомагаючи забезпечити широке впровадження продукції Stripe та гаманця споживача. Раніше вона обіймала посаду віце-президента з інженерії в Nielsen після придбання Prizma.ai, компанії з штучним інтелектом для відеоенгеймента та медіааналітики, яку вона заснувала та очолювала як технічного директора. На початку своєї кар’єри вона понад сім років працювала в Google, займаючись пошуковою якістю, Google News та персоналізацією Google+.

Doppel – це компанія зі штучним інтелектом, що займається захистом організацій, виконавців, брендів та клієнтів від штучного інтелекту, що надихається імперсонацією, фішингом, шахрайством та іншими цифровими ризиками. Її платформа поєднує захист цифрових ризиків, захист виконавців та брендів, безпеку електронної пошти, управління ризиками людини, симуляції та навчання безпеки, використовуючи штучний інтелект та аналіз загроз у реальному часі для виявлення, кореляції та порушення інфраструктури нападників через канали, такі як домени, соціальні мережі, програми для обміну повідомленнями, реклама та темна мережа. Компанія позиціонує себе навколо зростаючої загрози соціальної інженерії, що підтримується штучним інтелектом, допомагаючи командам безпеки реагувати на все більш складні атаки в сучасному цифровому ландшафті загроз.

Ви очолювали інженерні організації в компаніях, таких як Stripe, Google, Nielsen та тепер Doppel. Як ваше бачення ролі інженера-програміста змінилося від написання систем безпосередньо до оркестрування все більш автономних робочих процесів штучного інтелекту?

Робочий процес інженера-програміста змінився драматично, але відповідальність, яка вимагається від інженерів, не змінилася. Коли я почала свою кар’єру в Google два десятиліття тому, інженери проводили більшу частину свого часу, пишучи та переглядаючи код самостійно. Сьогодні штучний інтелект може обробляти більшу частину генерації коду, але інженери все ще відповідають за визначення цілей, перевірку виводів, встановлення обмежень, перегляд коду та забезпечення того, щоб системи залишалися надійними в довгостроковій перспективі. По багатьом аспектам штучний інтелект розширив сферу відповідальності інженера, а не зменшив її.

Що змінилося, це те, де інженери створюють цінність. Коли штучний інтелект бере на себе більшу частину механіки кодування, роль стає все більш центрованою на смаку та судженні, розумінні проблеми, прийнятті архітектурних рішень, оцінці компромісів та забезпеченні того, щоб результати відповідали потребам користувачів та бізнесу. Найкращі інженери роблять більше, ніж просто пишуть програмне забезпечення. Вони оркеструють цілісні системи людей та штучного інтелекту, застосовуючи контекст та відповідальність, яких ще бракує машинам. Це схоже на зміну від індивідуального внеску до менеджменту.

Ви стверджували, що штучний інтелект не зменшує відповідальність інженера, а розширює її. Які найбільші заблуждення виконавців усе ще мають щодо того, що агенти кодування штучного інтелекту можуть реалістично обробляти без людського нагляду?

Найбільшим заблужденням є те, що штучний інтелект усуне потребу у сильних інженерах. Реальність полягає в тому, що штучний інтелект підвищує стелю того, що може будувати мала, кваліфікована команда, що робить інженерне судження ще більш цінним, а не менш.

Що змінюється, це поверхня, за якою інженери відповідають. Вони вже не просто пишуть код. Вони визначають, що будується, перевіряють, чи агенти роблять те, що вони мали на меті, і володіють результатом, коли вони цього не роблять.

Якщо щось змінюється, то це проблема простору ставиться більш привабливою. Нападники мають доступ до тих самих інструментів штучного інтелекту, яких ми маємо, що означає, що завдання залишатися попереду них стає дійсно складнішим, аніж колись. Не бракує складних проблем, які потрібно вирішувати, і Doppel наймає інженерів для людей, які цікавляться цією роботою.

Як команди інженерів починають координувати кілька агентів штучного інтелекту через кодування, тестування, налагодження та документацію, що таке ефективний “управлінський робочий процес агентів” на практиці?

Інженери все частіше діють як менеджери автономних систем, а не просто внесок до них. Найкращі інженери можуть тримати значний контекст через декілька паралельних робочих процесів, знаючи точно, який контекст поділитися з кожним агентом. На практиці це означає написання добре визначених критеріїв прийняття, встановлення чітких обмежень для конфіденційності та безпеки, а також запит агентів, щоб вони пояснили своє судження та припущення як крок перевірки. Якщо агент не може артикулювати, що він робить і чому, ви не можете повністю довіряти виводу.

В Doppel ми будуємо агентські системи, які розслідують загрози, безперервно адаптують політики виявлення та пояснюють свої рішення зрозумілою мовою. Ефективне управління агентами також вимагає системної інфраструктури, включаючи середовища стадії, автоматизовані тестові трубопроводи, інструменти безпеки з визначеними дозволами та наглядом, а також оціночні рамки, які безперервно оцінюють, чи агенти та ширша система працюють так, як очікувалося.

Які найбільші операційні чи безпекові ризики виникають, коли агенти штучного інтелекту отримують доступ до внутрішніх інструментів, систем виробництва чи чутливих робочих процесів без сильних обмежень?

Ризик полягає не тільки в тому, що агенти штучного інтелекту роблять помилки. Ризик полягає в тому, що вони можуть зробити їх у масштабі, який важко виявити в реальному часі. Більш конкретна небезпека полягає в тому, що агенти діють поза межами їх призначеної сфери, незалежно від того, чи це означає доступ до систем, до яких вони не мали наміру торкатися, чи обробку даних, які вони не повинні зберігати.

У нашому продукті безпеки електронної пошти, наприклад, агенти обробляють дані, які є внутрішньо чутливими. Ми пішли на значні заходи, щоб забезпечити, щоб ці агенти мали строго обмежений доступ, не могли випадково розкрити чутливу особисту інформацію вниз по ланцюжку, і не зберігали конфіденційну інформацію, одночасно маючи контекст, необхідний для прийняття правильного рішення.

На якому етапі використання штучного інтелекту для генерації коду починає вводити довгостроковий технічний борг, і як керівники інженерії повинні думати про баланс між швидкістю та підтримкою?

Ризик полягає в тому, щоб пріоритизувати короткострокову швидкість над основами, які дозволяють системам масштабуватися та еволюціонувати. Одним із найбільших уроків, яких я навчився під час свого часу в Stripe, було те, що не всі рішення рівні. Деякі рішення – це пастки: важко скасувати та ймовірно мають довгострокові наслідки, тоді як інші можна змінити легше.

З штучним інтелектом дисципліна полягає в тому, щоб знати, які рішення все ще несуть довгострокові наслідки, встановлювати сильніші обмеження навколо них та рухатися швидко на решту. В Doppel це означає використання систем оцінки та поточної документації для забезпечення того, щоб агенти продовжували працювати так, як очікувалося, коли системи еволюціонують. Метою не є сповільнити, а забезпечити, щоб швидкість не тихо підірвала основи, на яких ви будуєте.

Під час вашого часу зі масштабуванням інженерних організацій у Stripe, які уроки про надійність, довіру та проектування систем зараз здаються особливо актуальними у епоху автономних агентів штучного інтелекту?

У Stripe надійність була всім, особливо тому, що фінансової галузі дуже регулюється, і це могло бути катастрофічним для бізнесу, якщо їхні платіжні портали вийшли з ладу. Якщо система не працювала так, як очікувалося, це мало прямий вплив на клієнтів, і це створило сильну культуру власності та відповідальності в компанії.

Одним із речей, які привабили мене до Doppel, була подібний рівень одержимості клієнтами. Команди тут глибоко зосереджені на розумінні проблем, з якими стикаються клієнти, та прийнятті відповідальності за їх вирішення.

Тепер, коли я в Doppel, ці уроки здаються особливо актуальними. Ми будуємо системи штучного інтелекту для допомоги організаціям захистити себе від усе більш складних соціальних інженерних атак. І подібно до Stripe, де ви не можете дозволити собі мати системи обробки платежів, які вийшли з ладу, це катастрофічно для бізнесу не мати сильної позначки кібербезпеки. Обидва дуже високі ставки, але з різних причин.

Як ви очікуєте, що інженерне наймання зміниться протягом наступних кількох років, оскільки компанії все частіше пріоритизують грамотність штучного інтелекту, системне мислення та адаптивність над вузькою технічною спеціалізацією?

Я думаю, що ми побачимо зростаючий акцент на найм інженерів, які можуть діяти з автономією, сильним судженням та здатністю швидко вчитися. Це якості, яких я завжди шукав, але вони зараз важливіші, ніж раніше. На всьому своєму шляху інженери, які мали найбільший вплив, не обов’язково були тими, хто мав вузьку спеціалізацію. Вони були тими, хто міг адаптуватися швидко, орієнтуватися в неоднозначності та безперервно вчитися, коли технологія еволюціонувала.

Але планка зросла. В Doppel проблеми, які ми вирішуємо, не чітко визначені. Ми постійно працюємо над тим, щоб залишатися попереду нападників, які також використовують штучний інтелект, що означає будівництво систем, таких як агенти розвідки загроз, які проактивно досліджують веб, щоб виявити загрози. Не існує встановленого підручника для такої роботи, тому це вимагає сміливості та готовності розширити межі того, що можливо.

Штучний інтелект буде продовжувати змінювати спосіб виконання роботи, але компанії все одно будуть потребувати людей, які можуть працювати через системи та брати на себе відповідальність за повний життєвий цикл того, що вони будують. Інженери, які процвітатимуть, будуть тими, хто постійно винаходить, чого вони здатні, коли ландшафт штучного інтелекту еволюціонує навколо них.

Ви працювали широко над персоналізацією, системами рекомендацій та платформами, що працюють на основі штучного інтелекту, протягом усієї своєї кар’єри. Як цей досвід формує ваше бачення співробітництва людини та штучного інтелекту всередині інженерних організацій сьогодні?

Одним із речей, яких я навчився, працюючи над персоналізацією та системами, що працюють на основі штучного інтелекту, є те, що якість виводу є лише такою ж хорошою, як якість входів, включаючи тренувальні дані, оціночні рамки та чітке визначення того, що “добре” насправді означає. Моделі чудово обробляють інформацію в масштабі, але люди приносять судження, контекст та розуміння того, що найважливіше.

Я думаю, що той же принцип застосовується до інженерних організацій, які працюють сьогодні. Штучний інтелект може допомогти командам рухатися швидше, але найкращі команди будуть обережними щодо контексту та основної істини, яку вони дають штучному інтелекту, а також того, як системи, що працюють на основі штучного інтелекту, інтегруються в ширшу інженерну екосистему. Інженери все ще повинні приймати рішення, оцінювати компроміси та в кінцевому підсумку володіти результатом.

Багато компаній сперечаються про те, щоб максимізувати продуктивність розробників за допомогою інструментів штучного інтелекту. Чи думаєте ви, що конкурентна перевага в кінцевому підсумку буде походити від швидшого кодування чи від будівництва організацій, які знають, як управляти та координувати системи штучного інтелекту ефективно?

Швидкість має значення, особливо в кібербезпеці, де відставання від нападників не є варіантом. Але швидкість без обмежень – це просто швидший спосіб створити розриви, які можна використати. Управління системами штучного інтелекту повинно бути базовим для кожної компанії, яка будує на основі штучного інтелекту, а не післяthought. Це необхідно для забезпечення якості, надійності та відповідальності в робочих процесах інженерії програмного забезпечення. У галузі кібербезпеки зокрема управління є важливим, оскільки нападники знайдуть і використають будь-який розрив, який ви залишите. Це чому ми побудували нашу платформу агентів у Doppel, ми очолювали з обмеженнями конфіденційності та чітким аудитом, побудованим з самого початку.

Оглядаючи вперед через п’ять років, як ви думаєте, який буде вигляд сучасної команди інженерії програмного забезпечення, коли агенти штучного інтелекту стануть глибоко вбудованими в повсякденні робочі процеси розробки?

П’ять років важко передбачити з впевненістю, оскільки світ рухається дуже швидко. Що я можу сказати з більшою впевненістю, це те, що протягом наступних 18 місяців до трьох років агенти штучного інтелекту, ймовірно, оброблять більшу частину генерації коду, тестування та першої перевірки.

Що інженери будуть володіти, це продуктом судження: специфікацією, смаком, архітектурою та відповідальністю, коли щось ламається. Команди можуть стати меншими, але роль стане складнішою. Інженери, які процвітатимуть, не обов’язково будуть тими, хто виробляє найбільше коду, а тими, хто може спрямовувати, оцінювати та коригувати автономні системи ефективно.

Працюючи через попередні технологічні зміни, одне, чого я навчився, це те, що інновації рідко слідують прямій лінії. Команди, які успішно справляються, будуть тими, хто залишається допитливим, швидко адаптується та еволюціонує свої робочі процеси, коли технологія змінюється. Дякую за велике інтерв’ю, читачам, які бажають дізнатися більше, слід відвідати Doppel.