Ханна-Мари Дарли, главный офицер по искусственному интеллекту в Geordie AI – Интервью

Ханна-Мари Дарли, главный офицер по искусственному интеллекту в Geordie AI, является опытным лидером в области искусственного интеллекта и безопасности, который стал сооснователем компании, чтобы помочь командам ИТ, риска и безопасности предприятий采用 агентные системы искусственного интеллекта с ясностью и контролем. С почти десятилетним опытом поддержки операций разведки в федеральном правительстве США и последующими руководящими должностями в Darktrace, она сочетает глубокую экспертизу в области разведки угроз, геополитического анализа и прикладной психологии с практическим опытом в стратегии и разработке продуктов искусственного интеллекта. Ее работа сосредоточена на согласовании автономных систем с человеческими намерениями, позволяя предприятиям операционно использовать агентов искусственного интеллекта таким образом, чтобы сбалансировать инновации, надзор и реальные ограничения.

Geordie AI – лондонская компания по разработке программного обеспечения для предприятий, ориентированная на обеспечение безопасности и управления агентами искусственного интеллекта по мере их внедрения в корпоративные среды. Ее платформа предоставляет видимость деятельности агентов, непрерывный мониторинг постурого риска и структурированные механизмы управления, которые позволяют организациям развертывать и масштабировать системы искусственного интеллекта с уверенностью. Предоставляя наблюдаемость, поддержку соответствия требованиям и оперативный надзор, адаптированные к эпохе агентных систем, Geordie AI стремится дать предприятиям прозрачность и контроль, необходимые для интеграции все более автономных технологий без компрометации безопасности или подотчетности.

Вы провели почти десятилетие в федеральной разведке угроз и геополитическом анализе США, позже возглавляли исследования угроз и стратегию искусственного интеллекта в Darktrace, и теперь руководите стратегией искусственного интеллекта и продукта в Geordie AI. Какие опыт и проблемы в государственных и корпоративных структурах безопасности наиболее повлияли на ваше решение создать Geordie, и какую основную проблему вы были решительно настроены решить?

И в государственных, и в корпоративных структурах безопасности я постоянно сталкивался с одной и той же структурной напряженностью. Организации вкладывали значительные средства в искусственный интеллект, но уверенность в поведении этих систем отставала от ожидаемой отдачи от инвестиций. Проблема не заключалась в возможностях. Это была доверие.

По мере того, как искусственный интеллект переходил от экспериментальных инструментов к оперативным рабочим процессам, этот разрыв становился все более заметным. Агенты вводят автономность, принятие решений и последовательность в системы способами, которые традиционное программное обеспечение никогда не делало. Бизнесу нужен был способ понять, как агенты функционируют, где они работают и как риск возникает через их поведение. Geordie AI была создана, чтобы закрыть этот пробел в ясности, чтобы организации могли采用 автономность с уверенностью, а не с колебаниями.

По вашему мнению, какой риск, представленный автономными или агентными системами искусственного интеллекта, наименее понятен для предприятий, и как “цепной эффект” контекстного принятия решений отличается от традиционных моделей кибербезопасности?

Тихие сбои остаются наименее понятыми. Агент может работать в пределах утвержденных разрешений и легитимных границ доступа, но все же производить результаты, которые отклоняются от намерения.

Это отражает природу агентных систем. Они интерпретируют контекст и принимают решения в реальном времени. В отличие от детерминированного программного обеспечения, поведение формируется динамически через последовательности действий. Это меняет модель безопасности. Уязвимость больше не зависит исключительно от нарушений доступа. Она возникает через то, как решения, инструменты и контекст взаимодействуют во времени.

Подход Geordie AI подчеркивает наблюдаемость поведения, контекстную оценку риска и динамический контроль над активностью агентов. Как организации должны сбалансировать необходимость такой реальной видимости с проблемами оперативной сложности или производительности системы?

Предприятиям не следует жертвовать производительностью ради надзора. Наша архитектура намеренно избегает инлайн-прокси и шлюзов, позволяя организациям строить и эксплуатировать агентов там, где это оперативно целесообразно.

Видимость и контроль должны масштабироваться с автономностью без введения трения или задержки. Если механизмы управления препятствуют рабочим процессам, внедрение застревает. Эффективная безопасность позволяет экосистемам расширяться безопасно, а не ограничивать инновации.

Из вашей работы с клиентами предприятий и лидерами риска, какие рабочие процессы или случаи использования наиболее подвержены агентному дрейфу в сторону более рискованных действий, и как можно обнаружить ранние индикаторы, прежде чем они эскалируют в значительные инциденты?

Риск, как правило, увеличивается с сложностью. Чем больше выборов делает агент самостоятельно, тем больше потенциал для поведенческого отклонения.

Дрейф часто появляется через цепочку инструментов, повторное использование контекста и возникающие рабочие процессы. Ранние индикаторы включают неожиданное вызов инструментов, необычные шаблоны последовательности и сдвиги в перемещении данных. Обнаружение этих сигналов требует анализа поведения, а не изолированного мониторинга событий.

Когда агенты искусственного интеллекта повторно используют контекст и инструменты через задачи, какие самые тонкие или недооцененные режимы сбоев безопасность должна более внимательно контролировать?

Повторное использование контекста остается недооцененным. Уязвимость часто возникает не из-за чрезмерных разрешений, а из-за того, как информация сохраняется и распространяется через задачи.

Агенты могут легитимно получить доступ к данным в одном контексте и непреднамеренно перенести это состояние в другой. В сочетании с цепочкой инструментов это может привести к непреднамеренному раскрытию или трансформации конфиденциальной информации.

Многие организации все еще полагаются на традиционные инструменты безопасности предприятий, такие как обнаружение и реагирование на конечные точки и расширенное обнаружение и реагирование на угрозы. Где эти подходы не справляются с управлением автономными системами искусственного интеллекта, которые выполняют многоступенчатые действия?

Платформы EDR и XDR остаются важными, но они были разработаны вокруг человеко-центрированных моделей угроз. Агенты работают через слои принятия решений, которые выходят за рамки телеметрии конечных точек и идентификации.

Понимание поведения агентов требует понимания закономерностей рассуждений, выбора инструментов и контекстных потоков принятия решений. Без этого слоя значительная часть активности агентов остается непрозрачной.

Для лидеров ИТ, риска и безопасности, которые хотят стимулировать инновации, но избежать неконтролируемой автономности, что такое “управляемая автономность” на практике?

Управляемая автономность начинается с видимости. Организации должны понимать, где работают агенты, какую власть они имеют и какие риски их возможности вводят.

Управление наиболее эффективно, когда оно встроено на ранней стадии, позволяя экспериментировать в определенных границах. Это поддерживает инновации, сохраняя при этом уверенность в результатах.

Объяснимость часто обсуждается на уровне выходных данных модели. Как предприятиям следует думать об объяснимости и аудитability, когда реальный риск может лежать в последовательности действий, которые агент выполняет во времени?

Объяснимость модели является только частью уравнения. Риск предприятия все больше заключается в последовательностях поведения, а не в изолированных выходных данных.

Аудитability требует понимания того, как ограничители сформировали интерпретацию, какие инструменты были вызваны и как контекст повлиял на решения. Наблюдаемость поведения становится основой для подотчетности.

Для организаций, которые признают необходимость более сильного надзора за автономными системами искусственного интеллекта, какие конкретные шаги они должны предпринять сегодня, чтобы снизить агентный риск без замедления инноваций, и как Geordie AI конкретно помогает предприятиям операционно сбалансировать контроль и возможности?

Организации выигрывают от начала работы как можно раньше, а не ожидания идеальных рамок. Первоначальный фокус должен сосредоточиться на инвентаризации, видимости поведения и понимании того, как агенты взаимодействуют с системами.

Модели управления, которые вводят задержку, часто препятствуют масштабируемости. Надзор должен соответствовать оперативной скорости. Geordie AI предоставляет видимость конфигурации агентов, их поведения и динамики риска, а также позволяет корректирующие меры контроля, разработанные для автономных систем.

Взглянув вперед, что будет отличать организации, которые успешно масштабируют агентные системы искусственного интеллекта через рабочие процессы, от тех, которые испытывают сбои из-за нераспределенного риска, и как лидерство должно подготовиться сейчас?

Ранние дифференциаторы будут ясностью и измеримостью. Команды, которые понимают возможности агентов, их влияние и закономерности поведения, будут более уверенно масштабировать.

В долгосрочной перспективе конкурентное преимущество будет отдаваться организациям, которые разрабатывают специализированные, контекстно-осведомленные экосистемы агентов. Точность, а не обобщение, становится движущей силой производительности и устойчивости.

Спасибо за отличное интервью. Читателям, которые хотят узнать больше, следует посетить Geordie AI.