Представьте себе следующую ситуацию: вы находитесь на работе, полностью集中ившись на приближающемся сроке, когда вдруг получаете звонок с номера, который кажется номером вашей матери. Голос на другом конце трубки неоспоримо принадлежит ей, спокойный и любящий, но с необычной намеком на срочность. Она рассказывает вам, что попала в серьезные неприятности во время отдыха в Париже и нуждается в вашей финансовой помощи как можно скорее, чтобы все устроить. Вы знаете, что она находится в Париже, и детали, которые она предоставляет, вплоть до названия ее отеля, делают звонок еще более убедительным. Без колебаний вы переводите деньги, только чтобы позже обнаружить, что ваша мать никогда не делала этот звонок; это была передовая система ИИ, идеально имитирующая ее голос и выдумывающая подробный сценарий. По вашей спине пробегает озноб, когда вы осознаете, что только что произошло.

Этот сценарий, когда-то чистая научная фантастика, теперь становится реальностью. Рассвет технологий ИИ, таких как большие языковые модели (LLM), принес невероятные достижения. Однако значительная угроза нависает: мошенничества, работающие на основе ИИ. Потенциал для сложных мошенничеств, работающих на основе искусственного интеллекта, является совершенно новой угрозой на горизонте технологического прогресса. Хотя телефонные мошенничества были проблемой с момента изобретения телефона, широкое интегрирование больших языковых моделей (LLM) во все аспекты цифровой коммуникации значительно повысило ставки. Когда мы принимаем потенциал ИИ, важно, чтобы мы также укрепили наши обороны против этих все более сложных угроз.

Текущий ландшафт телефонных мошенничеств

Преступники пытались обмануть ничего не подозревающих людей, заставляя их переводить деньги или раскрывать конфиденциальную информацию на протяжении многих лет, но несмотря на распространенность телефонных мошенничеств, многие из этих мошенничеств относительно несовершенны, полагаясь на человеческих операторов, читающих сценарии. Однако даже с этим ограничением телефонные мошенничества продолжают быть прибыльным преступным предприятием.

Согласно Федеральной торговой комиссии США, в 2022 году alone американцы потеряли более 8,8 миллиардов долларов из-за мошенничеств, и значительная часть этих потерь была связана с телефонными мошенничествами, что означает, что даже в их текущей, менее развитой форме многие из этих тактик все еще работают на уязвимых людях. Что произойдет, когда они эволюционируют?

Будущее мошенничеств, работающее на основе ИИ

Ландшафт телефонных мошенничеств готов к драматическому сдвигу с появлением нескольких ключевых технологий:

Большие языковые модели (LLM)

Эти системы ИИ могут генерировать текст, похожий на человеческий, и участвовать в естественных разговорах. Когда они применяются к мошенничеству, LLM могут создавать высокоубедительные и адаптивные сценарии, что делает гораздо более трудным для потенциальных жертв выявить мошенничество.

Ретриевал-аугментированная генерация (RAG)

Эта технология позволяет системам LLM получать доступ и использовать огромные объемы информации в режиме реального времени. Мошенники могут создать профиль человека на основе его публично доступной информации, такой как его социальные сети. Они также могут использовать социальную инженерию на друзьях и семье, чтобы собрать более глубокую информацию. Это даст им доступ к информации, такой как идентификация цели, информация о работе или даже недавние действия. Затем они могут использовать RAG, чтобы предоставить LLM контекст, необходимый для того, чтобы их подходы казались невероятно персонализированными и законными.

Синтетическая генерация аудио

Платформы, такие как Resemble AI и Lyrebird, лидируют в создании высокореалистичных аудио, сгенерированных ИИ. Эти технологии способны производить персонализированное, похожее на человеческое аудио, которое можно использовать в различных приложениях, от виртуальных помощников до автоматизированного обслуживания клиентов и создания контента. Компании, такие как ElevenLabs, продвигают границы дальше, позволяя пользователям создавать синтетические голоса, которые могут тесно повторять их собственный, что позволяет достичь нового уровня персонализации и вовлеченности в цифровых взаимодействиях.

Синтетическая генерация видео

Компании, такие как Synthesia, уже демонстрируют потенциал для создания реалистичного видеоконтента с аватарами, сгенерированными ИИ. В ближайшие годы эта технология может позволить мошенникам выдавать себя за друзей или членов семьи или создавать совершенно вымышленные персонажи для видеозвонков, вводя ранее невозможный уровень физической реалистичности в мошенничество.

Синхронизация губ ИИ

Стартапы, такие как Sync Labs, разрабатывают передовую технологию синхронизации губ, которая может соответствовать сгенерированному аудио видеозаписи. Это может быть использовано для создания высокоубедительных видеороликов с историческими фигурами, политиками, знаменитостями и практически всем остальным, еще больше стирая границу между реальностью и обманом.

Сочетание этих технологий рисует довольно тревожную картину. Представьте себе звонок, в котором ИИ может адаптировать разговор в режиме реального времени, вооруженный личной информацией о цели, и даже перейти к видеозвонку с якобы реальным человеком, чьи губы движутся в идеальной синхронизации с сгенерированным голосом. Потенциал для обмана действительно огромен.

Необходимость улучшения мер безопасности

Когда эти мошенничества, работающие на основе ИИ, становятся более сложными, методы проверки идентификации и аутентичности должны идти в ногу с достижениями ИИ. Будут необходимы как нормативные, так и технологические достижения, чтобы сохранить безопасность в Интернете.

Улучшения регулирования

Более строгие законы о защите данных: реализация более строгих законов о защите данных ограничит количество личной информации, доступной для мошенников. Эти законы могут включать более строгие требования для сбора данных, улучшенные протоколы согласия пользователей и более суровые наказания за утечки данных.

Частное облако для наиболее мощных моделей ИИ: регулирование может обязать размещать наиболее мощные модели ИИ на частных, безопасных облачных инфраструктурах, а не делать их открыто доступными. Это ограничит доступ к наиболее передовым технологиям, что сделает более трудным для злонамеренных акторов использовать их для мошенничеств. (например, https://security.apple.com/blog/private-cloud-compute/)

Международное сотрудничество по регулированию ИИ: учитывая глобальный характер технологий ИИ, международное сотрудничество по нормативным стандартам может быть полезным. Создание глобального органа, ответственного за создание и обеспечение соблюдения международных правил ИИ, может помочь в борьбе с трансграничными преступлениями, связанными с ИИ.

Кампании по повышению осведомленности: правительства и регулирующие органы должны инвестировать в кампании по повышению осведомленности, чтобы обучать граждан о потенциальных рисках мошенничеств, работающих на основе ИИ, и о том, как защитить себя. Осведомленность является важным первым шагом в эмансипации людей и организаций для реализации необходимых мер безопасности.

Текущие правила ИИ недостаточны для предотвращения мошенничеств, и задача будущего регулирования еще более сложна из-за открытого характера многих мощных технологий. Этот открытый характер позволяет любому получить доступ и изменить эти технологии для своих целей. Поэтому, наряду с более строгими правилами, необходимы достижения в области технологий безопасности.

Обнаружение синтетических данных

Обнаружение синтетического аудио: когда мошенники используют ИИ, наши обороны также должны использовать ИИ. Компании, такие как Pindrop, разрабатывают системы, работающие на основе ИИ, которые могут обнаруживать синтетическое аудио в режиме реального времени во время телефонных звонков. Их технология анализирует более 1300 функций аудио звонка, чтобы определить, исходит ли он от реального человека или от сложной системы ИИ.

Обнаружение синтетического видео: обнаружение синтетического видео: как и аудио, так и видео могут быть манипулированы ИИ, что представляет значительную угрозу в виде глубоких фейков и другого синтетического видеоконтента. Компании, такие как Deepware, лидируют в разработке технологий для обнаружения синтетического видео. Платформа Deepware использует передовые алгоритмы машинного обучения для анализа тонких несоответствий в видеоданных, таких как неестественные движения, неравномерное освещение и аномалии пикселей, которые часто присутствуют в контенте, сгенерированном ИИ. Определяя эти расхождения, технология Deepware может определить, является ли видео подлинным или было изменено, что помогает защитить людей и организации от обмана сложными видеомошенничествами и кампаниями дезинформации.

Улучшения аутентификации

Разрабатываются различные способы подтверждения идентификации пользователя, и один или несколько из них станут основными в ближайшие годы, чтобы сделать Интернет более безопасным.

Двухэтапная аутентификация для удаленных разговоров: двухфакторная аутентификация (2FA) остается фундаментальным компонентом безопасной коммуникации. По этому методу каждый телефонный звонок или электронное письмо запускает текстовое сообщение с уникальным кодом проверки, аналогично текущим регистрациям электронной почты. Хотя 2FA эффективна для базовой аутентификации, ее ограничения означают, что она не может быть единственной гарантией во всех контекстах, что требует разработки более совершенных методов для обеспечения комплексной безопасности Интернета, которые могут работать в фоновом режиме.

Многофакторная аутентификация на основе поведения: помимо проверки идентификации в начале звонка, будущие системы безопасности могут непрерывно анализировать поведение на протяжении всего взаимодействия. Компании, такие как BioCatch, используют биометрические данные поведения для создания профилей пользователей на основе того, как люди взаимодействуют со своими устройствами. Эта технология может обнаружить аномалии в поведении, которые могут указывать на то, что мошенник использует украденную информацию, даже если они прошли первоначальные проверки аутентификации.

Аутентификация на основе биометрии: компании, такие как Onfido, находятся на переднем крае технологий биометрической верификации, предлагая инструменты аутентификации идентификации, работающие на основе ИИ, которые обнаруживают сложные глубокие фейки и другие формы подделки идентификации. Их система использует комбинацию верификации документов и биометрического анализа, чтобы гарантировать, что человек на другом конце звонка или видеочата действительно является тем, кем он себя выдает.

Расширенная аутентификация на основе знаний: будущие системы аутентификации могут включать динамические, сгенерированные ИИ вопросы на основе цифрового следа пользователя и недавних действий. Например, Prove, компания, специализирующаяся на идентификации, основанной на телефоне, разрабатывает решения, которые используют телефонную интеллект и анализ поведения для верификации идентификации. Их технология может анализировать закономерности использования устройства человеком, чтобы создать уникальную “подпись идентификации”, которую гораздо труднее воспроизвести мошенникам.

Аутентификация на основе блокчейна: технология блокчейна предлагает децентрализованный и не подверженный изменению метод верификации идентификации. Компании, такие как Civic, являются пионерами в системах верификации идентификации на основе блокчейна, которые позволяют пользователям контролировать свою личную информацию, обеспечивая при этом безопасную аутентификацию. Эти системы создают проверяемую, неизменную запись идентификации человека, что идеально подходит для управления высокорискованными транзакциями.

Заключение

Сочетание LLM, RAG, синтетической генерации аудио, синтетической генерации видео и синхронизации губ является своего рода двояким мечом. Хотя эти достижения имеют огромный потенциал для положительных применений, они также представляют значительные риски, когда используются мошенниками.

Эта постоянная гонка вооружений между экспертами по безопасности и киберпреступниками подчеркивает необходимость постоянной инновации и бдительности в области цифровой безопасности. Мы можем работать над тем, чтобы использовать преимущества этих мощных инструментов, смягчая их потенциал для вреда, только признавая и готовясь к этим рискам.

Комплексное регулирование, образование о этих новых формах мошенничеств, инвестиции в передовые меры безопасности и, возможно, самое главное, здоровая доза скептицизма со стороны каждого из нас при взаимодействии с неизвестными сущностями в Интернете или по телефону будут необходимы для навигации в этом новом ландшафте.