Представьте себе следующую ситуацию: вы находитесь на работе, полностью сосредоточены на выполнении срочного задания, когда получаете звонок с номера, который кажется номером вашей матери. Голос на другом конце линии неоспоримо принадлежит ей, спокойный и любящий, но с необычным оттенком срочности. Она рассказывает вам, что попала в серьезные неприятности во время отдыха в Париже и нуждается в вашей финансовой помощи, чтобы как можно скорее все уладить. Вы знаете, что она находится в Париже, и детали, которые она предоставляет, вплоть до названия ее отеля, делают звонок еще более убедительным. Без колебаний вы переводите деньги, только чтобы позже обнаружить, что ваша мать никогда не делала этот звонок; это былаadvanced система ИИ, идеально имитирующая ее голос и фабрикующая подробный сценарий. По вашей спине пробегает холодок, когда вы осознаете, что только что произошло.

Этот сценарий, когда-то чистая научная фантастика, теперь становится реальностью. Рассвет технологий ИИ, таких как крупные языковые модели (LLM), принес огромные достижения. Однако на горизонте появляется значительная угроза: мошенничества, работающие на ИИ. Потенциал для сложных мошенничеств, работающих на искусственном интеллекте, представляет собой совершенно новую угрозу на горизонте технологического прогресса. Хотя телефонные мошенничества были проблемой с момента изобретения телефона, широкое внедрение крупных языковых моделей (LLM) во все аспекты цифровой коммуникации значительно повысило ставки. Когда мы принимаем потенциал ИИ, важно, чтобы мы также укрепляли наши оборонительные меры против этих все более сложных угроз.

Текущий ландшафт телефонных мошенничеств

Преступники пытались обмануть неосведомленных людей, заставляя их переводить деньги или раскрывать конфиденциальную информацию на протяжении многих лет, но несмотря на распространенность телефонных мошенничеств, многие из этих мошенничеств относительно несовершенны, полагаясь на человеческих операторов, читающих сценарии. Однако даже с этим ограничением телефонные мошенничества продолжают быть прибыльным преступным предприятием.

Согласно US Federal Trade Commission, в 2022 году alone американцы потеряли более 8,8 миллиардов долларов из-за мошенничеств, и значительная часть этой суммы была связана с телефонными мошенничествами, что означает, что даже в их текущей, менее продвинутой форме, многие из этих тактик все еще работают на уязвимых людях. Что произойдет, когда они эволюционируют?

Будущее мошенничеств, работающее на ИИ

Ландшафт телефонных мошенничеств готов к драматическому сдвигу с появлением нескольких ключевых технологий:

Крупные языковые модели (LLM)

Эти системы ИИ могут генерировать текст, похожий на человеческий, и участвовать в естественных разговорах. Когда их применяют к мошенничеству, LLM могут создавать очень убедительные и адаптивные сценарии, что делает намного сложнее для потенциальных жертв определить мошенничество.

Retrieval-Augmented Generation (RAG)

Эта технология позволяет системам LLM получать доступ и использовать огромные объемы информации в режиме реального времени. Мошенники могут создать профиль человека на основе его публично доступной информации, такой как его социальные сети. Они также могут использовать социальную инженерию на друзьях и семье, чтобы собрать более глубокую информацию. Это даст им доступ к информации, такой как идентификатор цели, информация о работе или даже недавние действия. Затем они могут использовать RAG, чтобы предоставить LLM контекст, необходимый для того, чтобы их подходы казались невероятно персонализированными и законными.

Синтетическая генерация аудио

Платформы, такие как Resemble AI и Lyrebird, лидируют в создании высокореалистичных аудио, генерируемых ИИ, которые могут быть использованы в различных приложениях, от виртуальных помощников до автоматизированного обслуживания клиентов и создания контента. Компании, такие как ElevenLabs, расширяют границы дальше, позволяя пользователям создавать синтетические голоса, которые могут тесно повторять их собственный, что позволяет достичь нового уровня персонализации и вовлеченности в цифровых взаимодействиях.

Синтетическая генерация видео

Компании, такие как Synthesia, уже демонстрируют потенциал для создания реалистичного видеоконтента с аватарами, генерируемыми ИИ. В ближайшие годы эта технология может позволить мошенникам выдавать себя за друзей или членов семьи или создавать совершенно вымышленные персонажи для видеозвонков, вводя ранее невозможный уровень физического реализма в мошенничество.

Синхронизация губ

Стартапы, такие как Sync Labs, разрабатывают продвинутую технологию синхронизации губ, которая может сопоставить сгенерированное аудио с видеозаписью. Это может быть использовано для создания очень убедительных видеороликов с историческими фигурами, политиками, знаменитостями и практически всем остальным, еще больше стирая границу между реальностью и обманом.

Сочетание этих технологий рисует довольно тревожную картину. Представьте себе звонок, где ИИ может адаптировать свой разговор в режиме реального времени, вооруженный личной информацией о цели, и даже перейти к видеозвонку с кажущимся реальным человеком, чьи губы движутся в идеальной синхронизации с сгенерированным голосом. Потенциал для обмана действительно огромен.

Необходимость улучшения мер безопасности

Когда эти мошенничества, работающие на ИИ, становятся более сложными, методы проверки идентификации и аутентичности должны идти в ногу с достижениями ИИ. Будут необходимы нормативные, а также технологические достижения, чтобы giữать онлайн-мир в безопасности.

Нормативные улучшения

Более строгие законы о защите данных: реализация более жестких законов о защите данных ограничит количество личной информации, доступной для мошенников. Эти законы могут включать более строгие требования к сбору данных, улучшенные протоколы согласия пользователей и более суровые наказания за утечки данных.

Частное облако для наиболее мощных моделей ИИ: нормативные акты могут обязать размещать наиболее мощные модели ИИ на частных, безопасных облачных инфраструктурах, а не делать их открыто доступными. Это ограничит доступ к наиболее продвинутым технологиям, что сделает более сложным для злонамеренных акторов использовать их для мошенничеств.

Международное сотрудничество в области регулирования ИИ: учитывая глобальный характер технологий ИИ, международное сотрудничество в области нормативных стандартов может быть полезным. Создание глобального органа, ответственного за разработку и обеспечение соблюдения международных нормативных актов ИИ, может помочь в борьбе с трансграничными преступлениями, связанными с ИИ.

Кампании по повышению осведомленности: правительства и регулирующие органы должны инвестировать в кампании по повышению осведомленности, чтобы обучать граждан о потенциальных рисках мошенничеств, работающих на ИИ, и о том, как защитить себя. Осведомленность является важным первым шагом в эмансипации людей и организаций для реализации необходимых мер безопасности.

Текущие нормативные акты по ИИ недостаточны, чтобы предотвратить мошенничества, и задача будущего регулирования еще более сложна из-за открытой природы многих мощных технологий. Эта открытость позволяет любому получить доступ и изменить эти технологии для своих целей. Следовательно, наряду с более строгими нормативными актами необходимы достижения в области технологий безопасности.

Обнаружение синтетических данных

Обнаружение синтетического аудио: когда мошенники используют ИИ, так же должны делать и наши оборонительные меры. Компании, такие как Pindrop, разрабатывают системы, работающие на ИИ, которые могут обнаружить синтетическое аудио в режиме реального времени во время телефонных звонков. Их технология анализирует более 1300 функций аудио звонка, чтобы определить, исходит ли он от реального человека или от сложной системы ИИ.

Обнаружение синтетического видео: обнаружение синтетического видео: как и аудио, так и видео может быть манипулировано ИИ, что представляет значительные угрозы в виде глубоких фейков и другого синтетического видеоконтента. Компании, такие как Deepware, лидируют в разработке технологий для обнаружения синтетического видео. Платформа Deepware использует продвинутые алгоритмы машинного обучения, чтобы проанализировать тонкие несоответствия в видеоданных, такие как неестественные движения, неравномерное освещение и аномалии пикселей, которые часто присутствуют в контенте, сгенерированном ИИ. Определяя эти расхождения, технология Deepware может определить, является ли видео подлинным или было ли оно манипулировано, помогая защитить людей и организации от обмана сложными видео-мошенничествами и кампаниями дезинформации.

Улучшения аутентификации

Разрабатываются различные способы подтверждения идентификации пользователя, и один или несколько из них станут мейнстримом в ближайшие годы, чтобы сделать интернет более безопасным.

Двухфакторная аутентификация для удаленных разговоров: двухфакторная аутентификация (2FA) остается фундаментальным компонентом безопасной коммуникации. По этому методу каждый телефонный звонок или электронное письмо будет запускать текстовое сообщение с уникальным кодом проверки, подобно текущим регистрациям электронной почты. Хотя 2FA является эффективным для базовой аутентификации, ее ограничения означают, что она не может быть единственной мерой во всех контекстах, что делает необходимым разработку более продвинутых методов для обеспечения комплексной безопасности интернета, которые могут работать на заднем плане.

Аутентификация на основе поведения: помимо проверки идентификации в начале звонка, будущие системы безопасности могут непрерывно анализировать поведение на протяжении всего взаимодействия. Компании, такие как BioCatch, используют биометрические данные поведения, чтобы создать профили пользователей на основе того, как люди взаимодействуют со своими устройствами. Эта технология может обнаружить аномалии в поведении, которые могут указывать на то, что мошенник использует украденную информацию, даже если они прошли первоначальные проверки аутентификации.

Аутентификация на основе биометрии: компании, такие как Onfido, находятся на переднем крае технологий биометрической верификации, предлагая инструменты верификации идентификации, работающие на ИИ, которые обнаруживают сложные глубокие фейки и другие формы подделки идентификации. Их система использует комбинацию верификации документов и биометрического анализа, чтобы гарантировать, что человек на другом конце звонка или видеочата действительно является тем, за кого себя выдает.

Продвинутая аутентификация на основе знаний: переходя за пределы простых вопросов безопасности, будущие системы аутентификации могут включать динамические, сгенерированные ИИ вопросы, основанные на цифровом следе пользователя и недавних действиях. Например, Prove, компания, специализирующаяся на идентификации, основанной на телефоне, разрабатывает решения, которые используют телефонную интеллектуальность и поведенческий анализ, чтобы проверить идентификацию. Их технология может анализировать закономерности в том, как человек использует свое устройство, чтобы создать уникальную “подпись идентификации”, которая значительно сложнее для мошенников повторить.

Аутентификация на основе блокчейна: технология блокчейна предлагает децентрализованный и не подверженный изменению способ верификации идентификации. Компании, такие как Civic, являются пионерами в области систем верификации идентификации на основе блокчейна, которые позволяют пользователям контролировать свою личную информацию, обеспечивая при этом безопасную аутентификацию. Эти системы создают проверяемую, неизменную запись идентификации человека, идеальную для управления высокорискованными транзакциями.

Заключение

Слияние LLM, RAG, синтетической генерации аудио, синтетической генерации видео и синхронизации губ является своего рода двусмысленным мечом. Хотя эти достижения имеют огромный потенциал для положительных применений, они также представляют значительные риски, когда используются мошенниками.

Эта продолжающаяся гонка вооружений между экспертами по безопасности и киберпреступниками подчеркивает необходимость постоянной инновации и бдительности в области цифровой безопасности. Мы можем работать над тем, чтобы использовать преимущества этих мощных инструментов, минимизируя при этом их потенциал для вреда, только признавая и готовясь к этим рискам.

Комплексное регулирование, образование о этих новых формах мошенничеств, инвестиции в передовые меры безопасности и, возможно, наиболее важно, здоровая доза скептицизма со стороны каждого из нас при взаимодействии с неизвестными сущностями в интернете или по телефону будут необходимы для навигации в этом новом ландшафте.