Наташа Моханти, СVP по инженерии в Doppel – Интервью

Наташа Моханти, Старший Вице-Президент по инженерии в Doppel, – опытный технологический лидер с глубоким опытом в области ИИ, платежей, медиа и потребительских платформ. До того, как присоединиться к Doppel, она возглавляла инженерию для Optimized Checkout Suite и Link от Stripe, масштабируя организацию с 30 до 200 инженеров, а также помогая стимулировать основную адоптацию продуктов оплаты и кошелька Stripe. Ранее она занимала должность Вице-Президента по инженерии в Nielsen после приобретения Prizma.ai, компании по анализу видео и медиа-аналитике, основанной на ИИ, которую она основала и возглавляла в качестве технического директора. Ранее в своей карьере она провела более семи лет в Google (GOOGL ), работая над качеством поиска, Google News и персонализацией Google+.

Doppel – это компания по защите социальной инженерии, основанная на ИИ, которая фокусируется на защите организаций, руководителей, брендов и клиентов от подделки, фишинга, мошенничества и других цифровых рисков, основанных на ИИ. Ее платформа объединяет защиту цифровых рисков, защиту руководителей и брендов, безопасность электронной почты, управление человеческими рисками, симуляции и обучение информационной безопасности, используя ИИ и реальную информацию о угрозах для обнаружения, корреляции и нарушения инфраструктуры атакующих по различным каналам, таким как домены, социальные сети, приложения для обмена сообщениями, реклама и темная сеть. Компания позиционирует себя вокруг растущей угрозы социальной инженерии, основанной на генеративном ИИ, помогая командам безопасности реагировать на все более сложные атаки в современном цифровом ландшафте угроз.

Вы возглавляли инженерные организации в компаниях, включая Stripe, Google, Nielsen и теперь Doppel. Как изменилось ваше представление о роли инженера-программиста с момента написания систем напрямую до управления все более автономными ИИ-ориентированными рабочими процессами?

Рабочий процесс инженера-программиста изменился радикально, но ответственность, требуемая от инженеров, не изменилась. Когда я начала свою карьеру в Google два десятилетия назад, инженеры проводили большую часть времени, пишя и проверяя код самостоятельно. Сегодня ИИ может обработать большинство генерации кода, но инженеры по-прежнему отвечают за определение целей, проверку выводов, установление ограничений, проверку кода и обеспечение того, чтобы системы оставались надежными в долгосрочной перспективе. Во многих отношениях ИИ расширил объем ответственности инженера, а не уменьшил его.

Что изменилось, так это то, где инженеры создают ценность. Когда ИИ берет на себя большую часть механики кодирования, роль становится все более сосредоточенной на вкусе и суждении, понимании проблемы, принятии архитектурных решений, оценке компромиссов и обеспечении того, чтобы результаты соответствовали потребностям пользователей и бизнеса. Лучшие инженеры делают больше, чем просто пишут программное обеспечение. Они будут управлять согласованными системами людей и ИИ, применяя контекст и ответственность, которых еще не хватает машинам. Это похоже на переход от индивидуального вклада к руководителю.

Вы утверждали, что ИИ не уменьшает ответственность инженера, а расширяет ее. Какие самые большие заблуждения руководители все еще имеют о том, что ИИ-агенты могут реалистично обработать без человеческого надзора?

Самое большое заблуждение заключается в том, что ИИ устранит необходимость в сильных инженерах. Реальность такова, что ИИ повышает потолок того, что может построить небольшая, квалифицированная команда, что делает суждение инженера более ценным, а не менее.

Что меняется, так это площадь поверхности, за которую отвечают инженеры. Они больше не просто пишут код. Они определяют, что будет построено, проверяют, что агенты делают то, что они намеревались, и владеют результатом, когда они не делают этого.

Если что-то меняется, то проблема стала более привлекательной. Атакующие имеют доступ к тем же инструментам ИИ, что и мы, что означает, что задача оставаться впереди них действительно более сложная, чем когда-либо прежде. Нет недостатка в сложных проблемах, которые необходимо решить, и Doppel набирает инженеров по всем направлениям для людей, которые взволнованы такой работой.

Когда инженерные команды начинают координировать несколько ИИ-агентов в кодировании, тестировании, отладке и документации, как выглядит эффективный рабочий процесс “управления агентами” на практике?

Инженеры все чаще выступают в качестве менеджеров автономных систем, а не просто вкладчиков в них. Лучшие инженеры могут удерживать значительный контекст в нескольких параллельных рабочих процессах, зная точно, какой контекст поделиться с каждым агентом. На практике это означает написание хорошо определенных критериев приемки, установление четких ограничений для конфиденциальности и безопасности, а также запрос агентам объяснить их рассуждения и предположения в качестве шага проверки. Если агент не может артикулировать, что он делает и почему, вы не можете полностью доверять выводу.

В Doppel мы строим агентные системы, которые исследуют угрозы, непрерывно адаптируют политики обнаружения и объясняют свои решения на простом языке. Эффективное управление агентами также требует системной инфраструктуры, включая среды подготовки, автоматические тестовые конвейеры, инструменты безопасности с определенными разрешениями и надзором, а также оценочные рамки, которые непрерывно оценивают, работают ли агенты и более широкая система так, как ожидается.

Каковы самые большие операционные или безопасные риски, которые возникают, когда ИИ-агентам предоставляется доступ к внутренним инструментам, производственным системам или чувствительным рабочим процессам без сильных ограничений?

Риск заключается не только в том, что ИИ-агенты совершают ошибки. Это то, что они могут совершать их в масштабе, который трудно обнаружить в реальном времени. Более конкретная опасность заключается в том, что агенты действуют вне своей предполагаемой области, будь то доступ к системам, которые они не были предназначены трогать, или обработка данных, которые они не должны хранить.

В нашем продукте безопасности электронной почты, например, агенты обрабатывают данные, которые по своей природе чувствительны. Мы предприняли значительные усилия, чтобы обеспечить, чтобы эти агенты имели строго ограниченный доступ, не могли случайно раскрыть конфиденциальную личную информацию и не хранили конфиденциальную информацию, сохраняя при этом контекст, необходимый для принятия правильного решения.

На какой стадии сильная зависимость от ИИ-генерируемого кода начинает вводить долгосрочный технический долг, и как руководители инженерии должны думать о балансе между скоростью и поддерживаемостью?

Риск заключается в том, чтобы отдавать предпочтение краткосрочной скорости над основами, которые позволяют системам масштабироваться и эволюционировать. Одним из самых больших уроков, которые я вынесла из своего времени в Stripe, было то, что не все решения равны. Некоторые из них являются ловушками: трудно обратить и, вероятно, будут иметь долгосрочные последствия, в то время как другие можно изменить более легко.

С ИИ дисциплина заключается в том, чтобы знать, какие решения все еще несут долгосрочные последствия, устанавливать более сильные ограничения вокруг них и двигаться быстро в остальном. В Doppel это означает использование систем оценки и текущей документации для обеспечения того, чтобы агенты продолжали работать так, как предполагалось, по мере эволюции систем. Цель не в том, чтобы замедлить, а в том, чтобы убедиться, что скорость не тихо подрывает основы, на которых вы строите.

Во время вашего времени, масштабируя инженерные организации в Stripe, какие уроки о надежности, доверии и проектировании систем теперь кажутся особенно актуальными в эпоху автономных ИИ-агентов?

В Stripe надежность была всем, особенно потому, что финансовая отрасль так регулируется, и это могло быть катастрофическим для бизнеса, если их платежные порталы вышли из строя. Если система не работала так, как предполагалось, это имело прямое влияние на клиентов, и это создало сильную культуру собственности и ответственности в компании.

Одним из вещей, которые привлекли меня в Doppel, была подобная степень одержимости клиентами. Команды здесь глубоко сосредоточены на понимании проблем, с которыми сталкиваются клиенты, и принятии на себя ответственности за их решение.

Теперь, когда я в Doppel, эти уроки кажутся особенно актуальными. Мы строим ИИ-родные системы, чтобы помочь организациям защититься от все более сложных социальных инженерных атак. И подобно Stripe, где вы не можете позволить себе иметь системы обработки платежей, которые вышли из строя, это катастрофически для бизнеса не иметь сильную кибербезопасность. Они оба очень высокие ставки, но по разным причинам.

Как вы ожидаете, что набор инженеров изменится в течение следующих нескольких лет, поскольку компании все больше отдают приоритет грамотности ИИ, системному мышлению и адаптивности над более узкой технической специализацией?

Я думаю, мы увидим растущий акцент на наборе инженеров, которые могут работать с автономией, сильным суждением и способностью быстро учиться. Это черты, за которые я всегда набирала, но они теперь более важны, чем когда-либо. На протяжении всей моей карьеры инженеры, которые оказали наибольшее влияние, не обязательно были теми, у кого была самая узкая специализация. Они были теми, кто мог адаптироваться быстро, ориентироваться в неопределенности и непрерывно учиться, когда технологии эволюционировали.

Но планка сместилась. В Doppel проблемы, которые мы решаем, не четко определены. Мы постоянно работаем, чтобы оставаться впереди атакующих, которые также используют ИИ, что означает построение систем, таких как агенты угроз, которые активно исследуют веб, чтобы обнаружить угрозы. Нет установленного плейбука для такой работы, поэтому для этого требуется упорство и готовность расширить границы того, что возможно.

ИИ будет только продолжать менять, как выполняется работа, но компании все равно будут нуждаться в людях, которые могут работать в системах и брать на себя ответственность за полный жизненный цикл того, что они строят. Инженеры, которые процветают, будут теми, кто постоянно изобретает, что они могут делать, когда ландшафт ИИ эволюционирует вокруг них.

Вы работали обширно над персонализацией, системами рекомендаций и платформами, основанными на машинном обучении, на протяжении всей своей карьеры. Как этот опыт формирует то, как вы думаете о сотрудничестве человека и ИИ внутри инженерных организаций сегодня?

Одним из вещей, которые я узнала, работая над персонализацией и системами машинного обучения, было то, что качество вывода так же хорошо, как качество входных данных, включая обучающие данные, оценочные рамки и четкое определение того, что “хорошо” на самом деле означает. Модели отлично подходят для обработки информации в масштабе, но люди приносят суждение, контекст и понимание того, что наиболее важно.

Я думаю, что тот же принцип применяется к инженерным организациям, работающим сегодня. ИИ может помочь командам двигаться быстрее, но лучшие команды будут намеренно работать над контекстом и основной истиной, которую они дают ИИ, а также о том, как ИИ-ориентированные системы интегрируются в более широкую инженерную экосистему. Инженерам все равно придется принимать решения, оценивать компромиссы и в конечном итоге владеть результатом.

Многие компании спешат максимизировать производительность разработчиков с помощью инструментов ИИ. Думаете ли вы, что конкурентное преимущество в конечном итоге будет исходить от более быстрого кодирования или от построения организаций, которые знают, как управлять и координировать ИИ-системы эффективно?

Скорость имеет значение, особенно в кибербезопасности, где отставание от атакующих не является вариантом. Но скорость без ограничений – это просто более быстрый способ создать эксплуатируемые пробелы. Управление ИИ-системами должно быть базовой линией для каждой компании, строящей с помощью ИИ, а не после мысли. Это важно для обеспечения качества, надежности и ответственности в рабочих процессах разработки программного обеспечения. В частности, в кибербезопасности управление является важным, потому что атакующие найдут и используют любую брешь, которую вы оставите. Это почему мы построили нашу платформу агентов в Doppel, мы возглавили с ограничениями конфиденциальности и четким аудиторским следом, построенным в самом начале.

Оглядываясь вперед на пять лет, как вы думаете, будет выглядеть современная команда разработки программного обеспечения, когда ИИ-агенты станут глубоко встроены в повседневные рабочие процессы разработки?

Пять лет сложно предсказать с уверенностью, потому что мир движется так быстро. То, что я могу сказать с большей уверенностью, заключается в том, что в течение следующих 18 месяцев до трех лет ИИ-агенты, вероятно, будут обрабатывать большинство генерации кода, тестирования и первой отладки.

Что инженеры будут владеть, так это суждение продукта: спецификация, вкус, архитектура и ответственность, когда что-то ломается. Команды могут стать меньше, но роль станет более сложной. Инженеры, которые процветают, не обязательно будут теми, кто производит больше всего кода, а теми, кто может направлять, оценивать и корректировать автономные системы эффективно.

Имея опыт предыдущих технологических сдвигов, одна вещь, которую я узнала, заключается в том, что инновации редко следуют прямой линии. Команды, которые преуспевают, будут теми, кто остается любопытным, адаптируется быстро и эволюционирует свои рабочие процессы, когда технологии меняются.

Спасибо за отличное интервью, читателям, которые хотят узнать больше, следует посетить Doppel.