Ник Катмэнн, CISO/CIO в LogicGate – Интервью

Николас Катмэнн является главным офицером информационной безопасности (CISO) в LogicGate, где он руководит программой информационной безопасности компании, контролирует инновации безопасности платформы и взаимодействует с клиентами по управлению кибербезопасностью. С более чем двумя десятилетиями опыта в ИТ и 18+ годами в кибербезопасности, Катмэнн построил и возглавил операции по безопасности в небольших бизнесах и компаниях Fortune 100.

LogicGate – это платформа управления рисками и соблюдением требований, которая помогает организациям автоматизировать и масштабировать свои программы управления, рисков и соблюдения требований (GRC). С помощью своей флагманской продукции, Risk Cloud®, LogicGate позволяет командам выявлять, оценивать и управлять рисками на протяжении всего предприятия с помощью настраиваемых рабочих процессов, реальных данных и интеграций. Платформа поддерживает широкий спектр случаев использования, включая риск третьих сторон, соблюдение требований кибербезопасности и управление внутренними аудитами, giúpая компаниям создавать более гибкие и устойчивые стратегии управления рисками

Вы занимаете должности как CISO, так и CIO в LogicGate — как вы видите трансформацию ответственности этих ролей под влиянием ИИ в течение следующих 2-3 лет?

ИИ уже трансформирует обе эти роли, но в течение следующих 2-3 лет, я думаю, мы увидим значительный рост агентского ИИ, который сможет переосмыслить, как мы справляемся с бизнес-процессами в повседневной жизни. Все, что обычно поступает в службу поддержки ИТ — например, сброс паролей, установка приложений и т. д. — может быть обработано агентом ИИ. Другим важным случаем использования будет использование агентов ИИ для обработки скучных аудиторских оценок, позволяя CISO и CIO отдавать приоритет более стратегическим запросам.

Как компании должны подойти к внедрению ИИ, сохраняя при этом сильную безопасность, учитывая федеральные кибер-отставки и тенденции дерегуляции?

Хотя мы наблюдаем тенденцию дерегуляции в США, регулирования на самом деле укрепляются в ЕС. Итак, если вы являетесь транснациональной компанией, ожидайте необходимости соблюдать глобальные нормативные требования, связанные с ответственным использованием ИИ. Для компаний, работающих только в США, я думаю, что есть период обучения в отношении внедрения ИИ. Я считаю, что важно для этих компаний сформировать сильные политики управления ИИ и сохранить некоторый человеческий надзор в процессе внедрения, обеспечивая, чтобы ничего не пошло не так.

Какие самые большие слепые пятна вы видите сегодня, когда речь идет об интеграции ИИ в существующие кибербезопасные рамки?

Хотя есть несколько областей, о которых я могу подумать, наиболее значимым слепым пятном будет то, где находится ваша информация и где она перемещается. Введение ИИ только усилит сложность надзора в этой области. Поставщики включают функции ИИ в свои продукты, но эта информация не всегда поступает напрямую к модели/поставщику ИИ. Это делает традиционные инструменты безопасности, такие как DLP и мониторинг веб-активности, эффективно слепыми.

Вы сказали, что большинство стратегий управления ИИ — это «бумажные тигры». Каковы основные ингредиенты рамки управления, которая действительно работает?

Когда я говорю «бумажные тигры», я имею в виду конкретно стратегии управления, где только небольшая команда знает процессы и стандарты, и они не выполняются или даже понимаемы на протяжении всей организации. ИИ очень проникает, влияя на каждую группу и каждую команду. Стратегии «один размер подходит всем» не будут работать. Финансовая команда, внедряющая функции ИИ в свою ERP, отличается от команды продукта, внедряющей функцию ИИ в конкретный продукт, и список продолжается. Основные ингредиенты сильной рамки управления варьируются, но такие консультативные органы, как IAPP, OWASP, NIST, и другие имеют довольно хорошие рамки для определения того, что необходимо оценить. Самая сложная часть — определить, когда требования применяются к каждому случаю использования.

Как компании могут избежать дрейфа моделей ИИ и обеспечить ответственное использование с течением времени, не переинжинирING своих политик?

Дрейф и ухудшение — это просто часть использования технологий, но ИИ может значительно ускорить этот процесс. Но если дрейф становится слишком большим, будут необходимы корректирующие меры. Комплексная стратегия тестирования, которая выявляет и измеряет точность, предвзятость и другие красные флаги, необходима с течением времени. Если компании хотят избежать предвзятости и дрейфа, им нужно начать с обеспечения наличия инструментов для выявления и измерения их.

Какую роль должны играть журналы изменений, ограниченные обновления политики и обратные связи в реальном времени в поддержании гибкого управления ИИ?

Хотя они играют роль сейчас, чтобы снизить риск и ответственность поставщика, обратные связи в реальном времени препятствуют способности клиентов и пользователей выполнять управление ИИ, особенно если изменения в механизмах связи происходят слишком часто.

Какие опасения у вас есть по поводу предвзятости и дискриминации ИИ при подписании или кредитном скоринге, особенно с услугами «Купить сейчас, заплатить позже» (BNPL)?

В прошлом году я говорил с исследователем ИИ/МЛ в большом транснациональном банке, который экспериментировал с ИИ/МЛ в своих моделях рисков. Модели, даже когда они были обучены на больших и точных наборах данных, принимали действительно удивительные, необоснованные решения по одобрению или отказу в подписании. Например, если в чате или коммуникации с клиентами упоминались слова «отличный кредит», модели по умолчанию отказывали в кредите — независимо от того, сказал ли это клиент или сотрудник банка. Если ИИ будет использоваться, банкам необходимо лучше контролировать и нести ответственность, и эти «сюрпризы» необходимо минимизировать.

Каково ваше мнение о том, как мы должны аудировать или оценивать алгоритмы, которые принимают решения с высокими ставками — и кто должен нести ответственность?

Это возвращается к комплексной модели тестирования, где необходимо непрерывно тестировать и оценивать алгоритм/модель в реальном времени. Это может быть сложно, поскольку выход модели может иметь желаемые результаты, которые будут нуждаться в человеческом вмешательстве, чтобы выявить аномалии. Например, модель, которая отказывает во всех кредитах, будет иметь отличную оценку риска, поскольку ни один из кредитов, который она подписывает, никогда не будет дефолтным. В этом случае организация, которая реализует модель/алгоритм, должна нести ответственность за результат модели, как и в случае, если люди принимают решение.

Как ИИ-инструменты меняют ландшафт рисков и сам процесс страхования?

ИИ-инструменты отлично подходят для распространения больших объемов данных и выявления закономерностей или тенденций. На стороне клиента эти инструменты будут инструментальными в понимании фактического риска организации и управлении этим риском. На стороне страховщика эти инструменты будут полезны для выявления несоответствий и организаций, которые становятся несовершенными с течением времени.

Как компании могут использовать ИИ, чтобы проактивно снизить киберриски и договориться о лучших условиях в сегодняшнем страховом рынке?

Сегодня лучший способ использования ИИ для снижения рисков и переговоров о лучших условиях страхования — это фильтрация шума и отвлекающих факторов, помогающая вам сосредоточиться на наиболее важных рисках. Если вы снижаете эти риски комплексным образом, ваши ставки киберстрахования должны снизиться. Слишком легко увязнуть в огромном объеме рисков. Не увязайте в попытках решить каждую проблему, когда сосредоточение внимания на наиболее критических вопросах может иметь гораздо большее влияние.

Какие тактические шаги вы рекомендуете компаниям, которые хотят реализовать ИИ ответственно — но не знают, с чего начать?

Во-первых, вам нужно понять, какие у вас есть случаи использования, и задокументировать желаемые результаты. Все хотят реализовать ИИ, но важно подумать о своих целях сначала и работать назад оттуда — что, я думаю, многие организации сегодня борются. Как только у вас будет хорошее понимание случаев использования, вы можете изучить различные рамки ИИ и понять, какие из применимых контролей имеют значение для ваших случаев использования и реализации. Сильное управление ИИ также является деловым критерием, для смягчения рисков и эффективности, поскольку автоматизация полезна только тогда, когда ее входные данные точны. Организации, использующие ИИ, должны делать это ответственно, поскольку партнеры и потенциальные клиенты задают жесткие вопросы об ИИ-распространении и использовании. Не зная ответа, может означать пропуск бизнес-сделок, напрямую влияя на дно линии.

Если бы вы должны были предсказать самый большой риск безопасности, связанный с ИИ, через пять лет — что бы это было — и как мы можем подготовиться сегодня?

Мое предсказание заключается в том, что по мере того, как агентский ИИ будет интегрирован в бизнес-процессы и приложения, атакующие будут заниматься мошенничеством и злоупотреблением для манипулирования этими агентами и получения вредоносных результатов. Мы уже видели это с манипулированием агентами обслуживания клиентов, что привело к неавторизованным сделкам и возвратам. Угрозы использовали языковые трюки, чтобы обойти политики и вмешаться в процесс принятия решений агентом.

Спасибо за отличное интервью, читателям, которые хотят узнать больше, следует посетить LogicGate.