Виджай Баласубраманиян, сооснователь и генеральный директор Pindrop – Интервью

Виджай Баласубраманиян является сооснователем и генеральным директором Pindrop. Он занимал различные инженерные и исследовательские должности в Google (GOOGL ), Siemens, IBM Research и Intel.

Pindrop‘s решения являются лидерами в будущем голосовых взаимодействий, устанавливая стандарт для идентификации, безопасности и доверия для каждого голосового взаимодействия. Решения Pindrop защищают некоторые из крупнейших банков, страховых компаний и розничных продавцов, используя запатентованную технологию, которая извлекает информацию из каждого звонка и голоса. Решения Pindrop помогают обнаруживать мошенников и аутентифицировать настоящих клиентов, снижая мошенничество и операционные затраты, а также улучшая опыт клиентов и защищая репутацию бренда. Pindrop, частная компания с штаб-квартирой в Атланте, GA, была основана в 2011 году докторами Виджаем Баласубраманияном, Полом Джаджем и Мустаке Ахмадом и имеет поддержку от Andreessen Horowitz, Citi Ventures, Felicis Ventures, CapitalG, GV, IVP и Vitruvian Partners. Для получения дополнительной информации, пожалуйста, посетите pindrop.com.

Каковы ключевые выводы из Отчета Pindrop о голосовой интеллекте и безопасности за 2024 год относительно текущего состояния голосового мошенничества и безопасности?

Отчет предоставляет подробный анализ насущных проблем безопасности и будущих тенденций, особенно в контакт-центрах, обслуживающих финансовые и нефинансовые учреждения. Ключевые выводы в отчете включают:

• Значительное увеличение мошенничества в контакт-центрах: Мошенничество в контакт-центрах увеличилось на 60% за последние два года, достигнув самого высокого уровня с 2019 года. К концу этого года ожидается, что один из каждых 730 звонков в контакт-центр будет мошенническим.
• Растущая сложность атак с использованием Deepfake: Атаки с использованием Deepfake, включая сложные синтетические голосовые клонирования, увеличиваются, представляя оценочный риск мошенничества в размере 5 миллиардов долларов для контакт-центров США. Эта технология используется для усиления тактик мошенничества, таких как автоматизированное и высокомасштабное исследование учетных записей, имитация голоса, нацеленное смishing и социальная инженерия.
• Традиционные методы обнаружения и аутентификации мошенничества не работают: Компании все еще полагаются на ручную аутентификацию потребителей, которая является длительной, дорогой и неэффективной для остановки мошенничества. 350 миллионов жертв утечки данных, 12 миллиардов долларов, потраченных ежегодно на аутентификацию, и 10 миллиардов долларов, потерянных из-за мошенничества, свидетельствуют о том, что текущие методы безопасности не работают.
• Требуются новые подходы и технологии: Обнаружение живости имеет решающее значение для борьбы с плохим ИИ и повышения безопасности. Анализ голоса все еще важен, но его необходимо сочетать с обнаружением живости и многофакторной аутентификацией.

Согласно отчету, 67,5% потребителей в США обеспокоены Deepfake в банковском секторе. Можете ли вы подробнее рассказать о типах угроз Deepfake, с которыми сталкиваются финансовые учреждения?

Мошенничество в банковском секторе через телефонные каналы увеличивается из-за нескольких факторов. Поскольку финансовые учреждения сильно полагаются на клиентов для подтверждения подозрительной деятельности, контакт-центры могут стать основными целями для мошенников. Мошенники используют тактики социальной инженерии, чтобы обмануть представителей службы поддержки клиентов, убеждая их снять ограничения или помочь сбросить учетные данные онлайн-банкинга. Согласно одному из клиентов Pindrop в банковском секторе, 36% выявленных мошеннических звонков были направлены в первую очередь на снятие ограничений, наложенных контролями мошенничества. Другой клиент Pindrop в банковском секторе сообщает, что 19% мошеннических звонков были направлены на получение доступа к онлайн-банкингу. С ростом генеративного ИИ и Deepfake эти виды атак стали более мощными и масштабными. Теперь один или два мошенника в гараже могут создать любое количество синтетических голосов и запустить одновременные атаки на несколько финансовых учреждений и усилить свои тактики. Это создало повышенный уровень риска и обеспокоенности среди потребителей о том, готов ли банковский сектор отразить эти сложные атаки.

Как достижения в области генеративного ИИ способствовали росту Deepfake, и какие конкретные проблемы они представляют для систем безопасности?

Хотя Deepfake не являются новыми, достижения в области генеративного ИИ сделали их мощным вектором в течение последнего года, поскольку они стали более правдоподобными в большем масштабе. Достижения в области генеративного ИИ сделали большие языковые модели более способными создавать правдоподобную речь и язык. Теперь естественно звучащие синтетические (фальшивые) голоса можно создать очень дешево и в большом масштабе. Эти разработки сделали Deepfake доступными для всех, включая мошенников. Эти Deepfake представляют проблемы для систем безопасности, позволяя осуществлять высокоубедительные фишинговые атаки, распространять дезинформацию и облегчать финансовое мошенничество посредством реалистичных имитаций. Они подрывают традиционные методы аутентификации, создают значительные репутационные риски и требуют передовых технологий обнаружения для поддержания их быстрой эволюции и масштабируемости.

Как Pindrop Pulse способствовал выявлению TTS-движка, использованного в атаке на президента Байдена, и какие последствия это имеет для будущего обнаружения Deepfake?

Pindrop Pulse сыграл решающую роль в выявлении ElevenLabs, TTS-движка, использованного в атаке на президента Байдена. Используя нашу передовую технологию обнаружения Deepfake, мы реализовали четырехэтапный процесс анализа, включающий фильтрацию аудио и очистку, извлечение низкоуровневых спектро-темпоральных функций, которые различают между машинно-генерированной и общей человеческой речью.

Разделив аудио на 155 сегментов и присвоив им баллы живости, мы определили, что аудио было последовательно искусственным. Используя “фальшивые отпечатки”, мы сравнили аудио с 122 TTS-системами и определили с вероятностью 99%, что ElevenLabs или подобная система была использована. Это открытие было подтверждено с вероятностью 84% с помощью классификатора ElevenLabs SpeechAI. Наш подробный анализ выявил артефакты Deepfake, особенно в фразах с богатыми фрикативами и необычными выражениями для президента Байдена.

Этот случай подчеркивает важность наших масштабируемых и объяснимых систем обнаружения Deepfake, которые повышают точность, создают доверие и адаптируются к новым технологиям. Он также подчеркивает необходимость для систем генеративного ИИ включать меры безопасности против злоупотребления, обеспечивая, чтобы клонирование голоса было согласовано с реальными людьми. Наш подход устанавливает стандарт для решения угроз синтетических медиа, подчеркивая постоянный мониторинг и исследования для поддержания лидерства в развитии методов Deepfake.

Отчет упоминает значительные проблемы с Deepfake, влияющими на СМИ и политические учреждения. Можете ли вы предоставить примеры таких инцидентов и их потенциального воздействия?

Наши исследования показали, что потребители в США наиболее обеспокоены риском Deepfake и голосовых клонов в банковском и финансовом секторе. Но помимо этого, угроза Deepfake для СМИ и политических учреждений представляет собой не менее значительную проблему. За пределами США использование Deepfake было также замечено в Индонезии (Deepfake Сухарто) и Словакии (голосовой Deepfake Михала Шимечки и Моника Тодовой).

2024 год является значимым годом выборов в США и Индии. С 4 миллиардами человек в 40 странах, ожидаемых к голосованию, распространение технологии искусственного интеллекта делает его легче обмануть людей в Интернете. Мы ожидаем роста нацеленных атак Deepfake на правительственные учреждения, социальные сети, другие СМИ и население, направленных на создание недоверия к нашим учреждениям и распространение дезинформации в общественном дискурсе.

Можете ли вы объяснить технологии и методологии, которые использует Pindrop для обнаружения Deepfake и синтетических голосов в режиме реального времени?

Pindrop использует ряд передовых технологий и методологий для обнаружения Deepfake и синтетических голосов в режиме реального времени, включая:

• • Обнаружение живости: Pindrop использует крупномасштабное машинное обучение для анализа несpeech-фреймов (например, тишины, шума, музыки) и извлечения низкоуровневых спектро-темпоральных функций, которые различают между машинно-генерированной и общей человеческой речью.
  • Аудио-фингерпринтинг – Это включает в себя создание цифровой подписи для каждого голоса на основе его акустических свойств, таких как высота, тон и каданс. Эти подписи затем используются для сравнения и сопоставления голосов в разных звонках и взаимодействиях.
  • Анализ поведения – Используется для анализа закономерностей поведения, которые кажутся необычными, включая аномальное доступ к различным учетным записям, быструю бот-активность, исследование учетных записей и роботизированное набор.

• Анализ голоса – Анализируя голосовые функции, такие как характеристики голосового тракта, фонетические вариации и стиль речи, Pindrop может создать голосовой отпечаток для каждого человека. Любое отклонение от ожидаемого голосового отпечатка может вызвать предупреждение.

• Многослойный подход к безопасности – Это включает в себя сочетание различных методов обнаружения для перекрестной проверки результатов и повышения точности обнаружения. Например, результаты аудио-фингерпринтинга могут быть сопоставлены с биометрическим анализом для подтверждения подозрения.
• Постоянное совершенствование и адаптация – Pindrop постоянно обновляет свои модели и алгоритмы. Это включает в себя включение новых данных, совершенствование методов обнаружения и поддержание лидерства в развитии новых угроз. Постоянное совершенствование обеспечивает, что возможности обнаружения Pindrop улучшаются с течением времени и адаптируются к новым типам атак синтетических голосов.

Что такое Pulse Deepfake Warranty, и как она повышает доверие клиентов к возможностям Pindrop по борьбе с угрозами Deepfake?

Pulse Deepfake Warranty – это первая в своем роде гарантия, которая предлагает возмещение ущерба от синтетического голосового мошенничества в контакт-центре. Поскольку мы стоим на пороге сейсмического сдвига в ландшафте кибератак, потенциальный ущерб ожидается достигнуть 10,5 триллионов долларов к 2025 году, Pulse Deepfake Warranty повышает доверие клиентов, предлагая несколько ключевых преимуществ:

• Повышение доверия: Гарантия Pulse Deepfake демонстрирует уверенность Pindrop в своих продуктах и технологиях, предлагая клиентам надежное решение безопасности при обслуживании их учетных записей.
• Возмещение ущерба: Клиенты Pindrop могут получить возмещение ущерба от событий синтетического голосового мошенничества, не обнаруженных комплексом продуктов Pindrop.
• Постоянное совершенствование: Запросы клиентов Pindrop, полученные в рамках программы гарантии, помогают Pindrop оставаться впереди эволюционирующих тактик синтетического голосового мошенничества.

Есть ли какие-либо заметные примеры, когда технологии Pindrop успешно смягчили угрозы Deepfake? Каковы были результаты?

Инцидент в средней школе Пайксвилля: 16 января 2024 года в Instagram появилась запись, якобы содержащая голос директора средней школы Пайксвилля в Балтиморе, штат Мэриленд. Аудио содержало оскорбительные замечания о черных студентах и учителях, что вызвало бурю общественного возмущения и серьезную обеспокоенность.

В свете этих событий Pindrop провел тщательное расследование, проведя три независимых анализа, чтобы раскрыть правду. Результаты нашего тщательного расследования привели к нюансированному выводу: хотя аудио января было изменено, оно не содержало определенных признаков ИИ-генерированной синтетической речи. Наша уверенность в этом определении подтверждается 97-процентной уверенностью на основе наших метрик анализа. Этот важный вывод подчеркивает важность проведения подробных и объективных анализов, прежде чем делать публичные заявления о характере потенциально манипулированной медиа.

В одном из крупных банков США Pindrop обнаружил, что мошенник использовал синтетический голос для обхода аутентификации в IVR. Мы обнаружили, что мошенник использовал машинно-генерированный голос для обхода аутентификации IVR для целевых учетных записей, предоставляя правильные ответы на вопросы безопасности и даже проходя одноразовые пароли (OTP). Боты, которые успешно прошли аутентификацию в IVR, определили учетные записи, достойные внимания, посредством базовых запросов баланса. Последующие звонки на эти учетные записи были от настоящего человека для совершения мошенничества. Pindrop предупредил банк о этом мошенничестве в режиме реального времени с помощью технологии Pulse и смог остановить мошенника.

В другом финансовом учреждении Pindrop обнаружил, что некоторые мошенники обучали свои собственные голосовые боты для имитации автоматических систем ответа банка. В том, что звучало как странном первом звонке, голосовой бот звонил в систему IVR банка, не для того, чтобы провести исследование учетной записи, а чтобы повторить подсказки IVR. Множество звонков поступали в разные ветки дерева разговора IVR, и каждые две секунды бот повторял то, что он слышал. Через неделю были замечены повторные звонки, повторяющие те же фразы в точно таком же голосе и манерах, как и система IVR банка. Мы считаем, что мошенник обучал голосовой бот для имитации системы IVR банка в качестве начальной точки смishing-атаки. Благодаря технологии Pindrop Pulse финансовое учреждение смогло предотвратить эту атаку, прежде чем был нанесен ущерб.

Независимый эксперимент NPR по аудио Deepfake: Кибербезопасность – это постоянно эволюционирующая гонка вооружений между мошенниками и поставщиками технологий безопасности. Существует несколько поставщиков, включая Pindrop, которые утверждают, что могут обнаруживать аудио Deepfake последовательно – NPR проверил эти утверждения, чтобы оценить, способны ли текущие технологические решения обнаруживать аудио Deepfake последовательно.

Pindrop Pulse точно обнаружил 81 из 84 аудио-образцов, что соответствует точности 96,4%. Кроме того, Pindrop Pulse обнаружил 100% всех образцов Deepfake. Хотя другие поставщики также были оценены в рамках исследования, Pindrop выделился, продемонстрировав, что его технология может надежно и точно обнаруживать как Deepfake, так и подлинные аудио.

Какие будущие тенденции в голосовом мошенничестве и безопасности вы предвидите, особенно с учетом быстрого развития технологий ИИ? Как Pindrop готовится решать эти проблемы?

Мы ожидаем, что мошенничество в контакт-центрах будет продолжать расти в 2024 году. На основе анализа годовых показателей мошенничества по отраслям мы консервативно оцениваем, что уровень мошенничества достигнет 1 из каждых 730 звонков, что представляет собой увеличение на 4-5% по сравнению с текущими уровнями.

Большая часть увеличения мошенничества, как ожидается, затронет банковский сектор, поскольку страховые, брокерские и другие финансовые сегменты, как ожидается, останутся на текущих уровнях. Мы оцениваем, что эти показатели мошенничества представляют собой риск мошенничества в размере 7 миллиардов долларов для финансовых учреждений в США, который необходимо обеспечить. Однако мы ожидаем значительный сдвиг, особенно с учетом того, что мошенники будут использовать IVR в качестве испытательной площадки. Недавно мы наблюдали увеличение количества мошенников, которые вручную вводят личную информацию (PII), чтобы подтвердить детали учетной записи.

Чтобы помочь бороться с этим, мы продолжим совершенствовать текущие решения Pindrop и запускать новые и инновационные инструменты, такие как Pindrop Pulse, которые защищают наших клиентов.

Помимо текущих технологий, какие новые инструменты и методы разрабатываются для улучшения предотвращения голосового мошенничества и аутентификации?

Методы предотвращения голосового мошенничества и аутентификации постоянно эволюционируют, чтобы идти в ногу с достижениями в технологиях и сложностью мошеннической деятельности. Некоторые появляющиеся инструменты и методы включают:

• Постоянное обнаружение и расследование мошенничества: Предоставляет исторический “обзор” мошеннических событий с новой информацией, которая теперь доступна. С помощью этого подхода аналитики мошенничества могут “слушать” новые сигналы мошенничества, сканировать исторические звонки, которые могут быть связаны, и пересчитать эти звонки. Это обеспечивает компаниям постоянную и всестороннюю перспективу на мошенничество в режиме реального времени.
• Интеллектуальный анализ голоса: Традиционные системы биометрии голоса уязвимы для атак Deepfake. Чтобы повысить их оборону, необходимы новые технологии, такие как Voice Mismatch и Negative Voice Matching. Эти технологии обеспечивают дополнительный уровень защиты, распознавая и различая несколько голосов, повторяющихся звонков и выявляя, где голос, звучащий по-разному, может представлять угрозу.
• Раннее обнаружение мошенничества: Технологии обнаружения мошенничества, которые обеспечивают быстрый и надежный сигнал мошенничества на ранней стадии звонка, бесценны. Помимо обнаружения живости, технологии, такие как анализ метаданных оператора, обнаружение подделки идентификатора звонящего и аудио-основанное обнаружение подделки, обеспечивают защиту от атак мошенничества в начале разговора, когда оборона наиболее уязвима.

Спасибо за отличное интервью, чтобы узнать больше, прочитайте Отчет Pindrop о голосовой интеллекте и безопасности за 2024 год или посетите Pindrop.