Vijay Balasubramaniyan, Pindrop’un Kurucu Ortağı ve CEO’su – Röportaj Serisi

Vijay Balasubramaniyan, Pindrop’un kurucu ortağı ve CEO’sudur. Google (GOOGL ), Siemens, IBM Research ve Intel’de çeşitli mühendislik ve araştırma rollerinde bulunmuştur.

Pindrop‘un çözümleri, ses etkileşimleri için kimlik, güvenlik ve güven standardını belirleyerek sesin geleceğine yön vermektedir. Pindrop’un çözümleri, dünyanın en büyük bankaları, sigorta şirketleri ve perakendecilerini, patentli teknoloji kullanarak her çağrıdan ve ses etkileşiminden istihbarat çıkaran bir şekilde korumaktadır. Pindrop çözümleri, dolandırıcıları tespit etmeye ve gerçek müşterileri doğrulamaya yardımcı olur, böylece dolandırıcılığı ve operasyonel maliyetleri azaltırken müşteri deneyimini iyileştirir ve marka itibarını korur. Pindrop, özel bir şirket olarak Atlanta, GA’da merkezini bulundurmaktadır ve 2011 yılında Dr. Vijay Balasubramaniyan, Dr. Paul Judge ve Dr. Mustaque Ahamad tarafından kurulmuştur. Şirket, Andreessen Horowitz, Citi Ventures, Felicis Ventures, CapitalG, GV, IVP ve Vitruvian Partners tarafından desteklenmektedir. Daha fazla bilgi için lütfen pindrop.com’u ziyaret edin.

Pindrop’un 2024 Ses Zekası ve Güvenlik Raporu, ses tabanlı dolandırıcılık ve güvenlik durumuna ilişkin ana sonuçlar nelerdir?

Rapor, özellikle finansal ve finansal olmayan kurumları hizmet veren çağrı merkezlerinde güvenlik sorunlarına ve gelecekteki trendlere derinlemesine bir bakış sunar. Raporun önemli bulguları arasında şunlar yer alır:

• Çağrı Merkezi Dolandırıcılığında Significant Artış: Çağrı merkezi dolandırıcılığı, son iki yılda %60 oranında artarak 2019’dan bu yana en yüksek seviyelere ulaştı. Bu yılın sonunda, her 730 çağrıdan biri dolandırıcı çağrı olacağı tahmin edilmektedir.
• Deepfake Saldırılarının Artan Karmaşıklığı: Deepfake saldırıları, gelişmiş sentetik ses klonları da dahil olmak üzere, artmaktadır ve ABD çağrı merkezlerine 5 milyar dolarlık bir dolandırıcılık riski oluşturmaktadır. Bu teknoloji, otomatik ve yüksek ölçekli hesap keşfi, ses taklidi, hedefli smishing ve sosyal mühendislik gibi dolandırıcılık taktiklerini güçlendirmek için kullanılmaktadır.
• Geleneksel Dolandırıcılık Tespiti ve Kimlik Doğrulama Yöntemleri İşlemiyor: Şirketler hala müşterileri manuel olarak doğrulamaya güvenmektedir, bu da zaman alıcı, pahalı ve dolandırıcılığı durdurmada etkisizdir. 350 milyon veri ihlali mağduru, yıllık 12 milyar dolarlık kimlik doğrulama harcaması ve 10 milyar dolarlık dolandırıcılık kaybı, mevcut güvenlik yöntemlerinin işe yaramadığının kanıtlarıdır.
• Yeni Yaklaşımlar ve Teknolojiler Gereklidir: Canlılık tespiti, kötü amaçlı AI’ye karşı savaşta çok önemlidir ve ses analizi ile birlikte kullanılmalıdır. Çok faktörlü kimlik doğrulama ile birlikte, ses analizi hala önemlidir.

Rapora göre, ABD’li tüketicilerin %67,5’i bankacılık sektöründe deepfake’lerden endişe duymaktadır. Bankaların karşı karşıya olduğu deepfake tehditlerini açıklar mısınız?

Telefon kanalları aracılığıyla bankacılık dolandırıcılığı artmaktadır ve bu several faktörlerden kaynaklanmaktadır. Finansal kurumlar, müşterilerden şüpheli faaliyetleri doğrulamaya güvenmektedir ve çağrı merkezleri, dolandırıcılar için birincil hedef haline gelebilir. Dolandırıcılar, müşteri temsilcilerini kandırmak için sosyal mühendislik taktiklerini kullanırlar ve onları hesap kısıtlamalarını kaldırmaya veya online banka kimlik bilgilerini sıfırlamaya ikna ederler. Bir Pindrop bankacılık müşterisi, 36% tanımlanan dolandırıcılık çağrısının, principalmente hesap kısıtlamalarını kaldırmaya yönelik olduğunu bildirmiştir. Bir başka Pindrop bankacılık müşterisi, %19’unun online bankacılığa erişim sağlamaya yönelik olduğunu raporlamıştır. Deepfake’lerin ve sentetik seslerin yükselişi ile birlikte, bu tür saldırılar daha da güçlü ve ölçeklenebilir hale gelmiştir. Şimdi, bir veya iki dolandırıcı, bir garajda sentetik sesler oluşturabilir ve birden fazla finansal kuruma aynı anda saldırılar düzenleyebilir. Bu, tüketiciler arasında bankacılık sektörünün bu sofistike saldırıları savuşturmak için hazır olup olmadığı konusunda artan bir risk ve endişe seviyesi yaratmıştır.

Yapay zeka teknolojilerindeki gelişmeler, deepfake’lerin yükselişine nasıl katkıda bulunmuştur ve bu, güvenlik sistemleri için hangi özel zorlukları ortaya çıkarmaktadır?

Deepfake’ler yeni değildir, ancak yapay zeka teknolojilerindeki gelişmeler, onları daha inandırıcı ve büyük ölçekli hale getirmiştir. GenAI, büyük dil modellerini daha inandırıcı konuşma ve dil oluşturmada daha yetenekli hale getirmiştir. Şimdi, doğal ses sentetik (sahte konuşma) çok ucuz ve büyük ölçekli olarak oluşturulabilir. Bu gelişmeler, deepfake’leri herkesin,包括 dolandırıcıların erişebileceği bir hale getirmiştir. Bu deepfake’ler, güvenlik sistemlerini, çok inandırıcı phishing saldırıları, yanlış bilgi yayma ve finansal dolandırıcılık için gerçekçi taklitler yoluyla tehdit etmektedir. Geleneksel kimlik doğrulama yöntemlerini zayıflatmakta, önemli itibar riskleri yaratmakta ve gelişmiş tespit teknolojileri gerektirmektedir.

Pindrop Pulse, Başkan Biden robocall saldırısında kullanılan TTS motorunun belirlenmesine nasıl katkıda bulunmuştur ve bu, gelecekteki deepfake tespiti için hangi sonuçları doğurur?

Pindrop Pulse, Başkan Biden robocall saldırısında kullanılan TTS motorunun belirlenmesinde kritik bir rol oynamıştır. Gelişmiş deepfake tespit teknolojimizi kullanarak, dört aşamalı bir analiz süreci uyguladık: ses filtreleme ve temizleme, özelliklerin çıkarılması, segment analizi ve sürekli puanlama. Bu süreç, nonspeech çerçeveleri filtrelememizi, sesi tipik telefon koşullarını taklit etmek için örneklememizi ve düşük seviyeli spektral-zeitlich özellikleri çıkarmamızı sağladı.

Sesi 155 segmente böldük ve her birine canlılık puanı atayarak, sesin tutarlı bir şekilde suni olduğunu belirledik. “Fakeprints” kullanarak, sesi 122 TTS sistemine karşı karşılaştırdık ve %99’luk bir olasılıkla ElevenLabs veya benzer bir sistemin kullanıldığını belirledik. Bu bulgu, ElevenLabs SpeechAI Classifier ile %84’lük bir olasılıkla doğrulandı. Ayrıntılı analizimiz, özellikle zırtlama ve nadir ifadelerle rich fricatives’de deepfake kalıntılarını ortaya çıkardı. Başkan Biden’in sesi ile ilgili.

Rapor, medya ve siyasi kurumları etkileyen deepfake’ler hakkında önemli endişeler olduğunu belirtiyor. Bu tür olaylara örnekler verebilir misiniz ve bunların potansiyel etkileri nelerdir?

Araştırmamız, ABD’li tüketicilerin bankacılık ve finans sektöründe deepfake’ler ve ses klonları konusunda en çok endişe duyduğunu göstermiştir. Ancak bunun ötesinde, deepfake’lerin medya ve siyasi kurumları etkileme tehdidi, eşit derecede önemli bir zorluk oluşturmaktadır. ABD dışında, deepfake’lerin kullanımı Endonezya’da (Suharto deepfake) ve Slovakya’da (Michal Šimečka ve Monika Tódová ses deepfake) gözlemlenmiştir.

2024, ABD ve Hindistan’da önemli bir seçim yılıdır ve 40 ülkeden 4 milyar kişinin oy kullanması beklenmektedir. Yapay zeka teknolojilerinin yayılması, insanların interneti kullanarak kandırılmasını kolaylaştırmaktadır. Hükümet kurumları, sosyal medya şirketleri, diğer haber medya ve genel halk, güvensizlik yaratmak ve kamuoyunda yanlış bilgi yaymak amacıyla hedefli deepfake saldırıları beklenmektedir.

Pindrop, deepfake’leri ve sentetik sesleri gerçek zamanlı olarak tespit etmek için hangi teknolojileri ve metodolojileri kullanmaktadır?

Pindrop, deepfake’leri ve sentetik sesleri gerçek zamanlı olarak tespit etmek için bir dizi gelişmiş teknoloji ve metodoloji kullanmaktadır, bunlar arasında:

• • Canlılık Tespiti: Pindrop, büyük ölçekli makine öğrenimi kullanarak nonspeech çerçevelerini (örneğin, sessizlik, gürültü, müzik) analiz eder ve makine tarafından üretilen ile insan konuşması arasındaki farkı ortaya çıkaran düşük seviyeli spektral-zeitlich özellikleri çıkarır.
  • Ses Parmak İzleri: Bu, her ses için bir dijital imza oluşturmayı içerir, bu da sesin akustik özelliklerine (örneğin, perde, ton, kadans) dayanır. Bu imzalar, sesleri karşılaştırmak ve eşleştirmek için kullanılır.
  • Davranış Analizi: Bu, anomaliye yönelik davranış kalıplarını analiz etmeyi içerir, bunlar arasında anormal erişim, hızlı bot faaliyeti, hesap keşfi, veri madenciliği ve robotik arama bulunur.

• Ses Analizi: Geleneksel ses biyometri sistemleri deepfake saldırılarına karşı savunmasızdır. Bu sistemlerin savunmasını güçlendirmek için yeni teknolojiler, Ses Uyuşmazlığı ve Negatif Ses Eşleştirmesi gibi, gereklidir. Bu teknolojiler, birden fazla sesi tanıyarak ve farklı seslerin tehdit oluşturup oluşturmadığını belirleyerek ek bir savunma katmanı sağlar.

• Çok Katmanlı Güvenlik Yaklaşımı: Bu, farklı tespit yöntemlerini birleştirmeyi içerir, bu da sonuçların çapraz doğrulanmasını ve tespit doğruluğunun artırılmasını sağlar. Örneğin, ses parmak izi sonuçları, biyometrik analiz ile karşılaştırılabilir.
• Sürekli Öğrenme ve Uyum: Pindrop, sürekli olarak modellerini ve algoritmalarını günceller, bu da yeni verilerin entegrasyonunu, tespit tekniklerinin iyileştirilmesini ve yeni ortaya çıkan tehditlere karşı uyum sağlamayı içerir. Sürekli öğrenme, tespit yeteneklerinin zaman içinde iyileşmesini ve yeni sentetik ses saldırılarına uyum sağlamasını sağlar.

Pulse Deepfake Garantisi nedir ve Pindrop’un deepfake tehditlerine karşı yeteneklerine güveni nasıl artırır?

Pulse Deepfake Garantisi, çağrı merkezinde sentetik ses dolandırıcılığına karşı bir tür garanti sunar. Siber saldırı manzarasının değiştiği bir dönemde, potansiyel finansal kayıpların 2025 yılı itibariyle 10.5 trilyon dolara ulaşacağı tahmin edilmektedir, Pulse Deepfake Garantisi, müşterilere birkaç önemli avantaj sunarak güveni artırır:

• Güvenirlik Artırımı: Pulse Deepfake Garantisi, Pindrop’un ürünlerine ve teknolojisine güvenini gösterir ve müşterilere güvenilir bir güvenlik çözümü sunar.
• Kayıp Tazminatı: Pindrop müşterileri, Pindrop Ürün Seti tarafından tespit edilemeyen sentetik ses dolandırıcılığı olayları için tazminat alabilir.
• Sürekli İyileştirme: Pindrop’un garanti programı altında alınan müşteri talepleri, Pindrop’un sentetik ses dolandırıcılığı taktiklerine karşı sürekli olarak iyileştirilmesini sağlar.

Pindrop’un teknolojilerinin deepfake tehditlerini başarılı bir şekilde bertaraf ettiği önemli vaka çalışmaları var mı? Bu çalışmaların sonuçları nelerdir?

Pikesville Lisesi Olayı: 16 Ocak 2024 tarihinde, Baltimore, Maryland’daki Pikesville Lisesi müdürünün konuştuğu bir ses kaydı Instagram’da ortaya çıktı. Ses, siyah öğrenciler ve öğretmenler hakkında küçültücü ifadeler içeriyordu ve kamuoyunda büyük bir tepki ve ciddi endişe yaratmıştı.

Bu gelişmelerin ışığında, Pindrop, olayı kapsamlı bir şekilde araştırdı ve gerçeği ortaya çıkarmak için üç bağımsız analiz gerçekleştirdi. Sonuçlarımız, sesin gerçekten değiştirilmiş olmasına rağmen, AI tarafından üretilen sentetik konuşmanın kesin özelliklerine sahip olmadığını gösterdi. Bu bulgu, bizim analiz metriklerimize dayalı %97’lik bir güvenle desteklenmektedir. Bu önemli sonuç, potansiyel olarak manipüle edilmiş medyaya ilişkin kamuoyu açıklamaları yapmadan önce ayrıntılı ve objektif analizlerin önemini vurgulamaktadır.

Bir büyük ABD bankasında, Pindrop, bir dolandırıcının IVR’de kimlik doğrulamasını bypass etmek için sentetik ses kullandığını keşfetti. Dolandırıcının, hedeflenen hesaplar için güvenlik sorularına doğru cevaplar verdiğini ve bir durumda, bir zamanlı parolaları (OTP) bile geçtiğini tespit ettik. Bots, IVR’de başarılı bir şekilde kimlik doğrulaması yaptıktan sonra, temel olarak hesap bakiyesi sorgulamaları için çağrılar yaptı. Sonraki çağrılar, bu hesapları hedeflemek için insan tarafından yapılmıştı. Pindrop, Pulse teknolojisi kullanarak bankaya bu dolandırıcılığı gerçek zamanlı olarak bildirdi ve dolandırıcının durdurulmasını sağladı.

Bir başka finansal kuruluşta, Pindrop, bazı dolandırıcıların banka otomatik yanıt sistemlerini taklit etmek için kendi ses botlarını eğittiğini keşfetti. İlk çağrıda, bir ses botu banka IVR’sine çağrı yaptı, ancak hesap keşfi yapmak yerine, IVR’nin komutlarını tekrarladı. Bir hafta sonra, benzer çağrılar tekrar edildi, ancak bu kez ses botu, bankanın IVR’sinin sesini ve mannerizmlerini precisa olarak taklit ediyordu. Bu, bir smishing saldırısının başlangıç noktası olabileceğini düşünüyoruz. Pindrop Pulse’un yardımıyla, finansal kuruluş bu saldırıyı önledi.

Bağımsız NPR Ses Deepfake Deneyi: Dijital güvenlik, dolandırıcılar ve güvenlik teknoloji sağlayıcıları arasında sürekli bir yarıştır. Pindrop gibi beberapa sağlayıcı, ses deepfake’lerini tutarlı bir şekilde tespit ettiğini iddia etmektedir – NPR, bu iddiaları test etti, mevcut teknoloji çözümlerinin AI tarafından oluşturulan ses deepfake’lerini tutarlı bir şekilde tespit edebildiğini değerlendirmek için.

Pindrop Pulse, 84 ses örneğinden 81’ini doğru bir şekilde tespit etti, bu da %96,4’lük bir doğruluk oranına karşılık gelmektedir. Ayrıca, Pindrop Pulse, tüm deepfake örneklerini %100 oranında tespit etti. Diğer sağlayıcılar da bu çalışmada değerlendirilmiş, ancak Pindrop, teknolojisini güvenilir ve doğru bir şekilde deepfake ve gerçek sesleri tespit edebildiğini göstererek lider olarak ortaya çıkmıştır.

Ses tabanlı dolandırıcılık ve güvenlik trendleri gelecekte nasıl görünüyor, özellikle yapay zeka teknolojilerindeki hızlı gelişmeler dikkate alındığında? Pindrop, bu tehditlere karşı nasıl hazırlanıyor?

2024 yılında çağrı merkezi dolandırıcılığının devam edeceğini öngörüyoruz. Yıllık analizimize dayanarak, dolandırıcılık oranının 1’e 730 çağrıya ulaşarak, mevcut seviyelerden %4-5’lik bir artış göstereceğini tahmin ediyoruz. Çoğu dolandırıcılık, bankacılık sektörünü etkileyecek, sigorta, brokerlik ve diğer finansal segmentler ise mevcut seviyelerde kalacak. ABD’deki finansal kurumlar için bu dolandırıcılık oranlarının 7 milyar dolarlık bir dolandırıcılık riskini temsil ettiğini tahmin ediyoruz ve bu riski güvence altına almamız gerekiyor. Ancak, özellikle dolandırıcıların IVR’leri test için kullandıkları bir kayma bekliyoruz. Son zamanlarda, dolandırıcıların manuel olarak kişisel tanımlama bilgilerini (PII) doğrulamak için girişimlerde bulunduklarını gözlemledik. Bu, hesapları hedeflemek için temel bir balance sorgulama işlevidir.

Bunu önlemek için, Pindrop’un mevcut çözümlerini ilerletmeye ve yeni, inovatif araçlar gibi Pindrop Pulse’i piyasaya sürmeye devam edeceğiz. Bu, müşterilerimizi korumaya yardımcı olacaktır.

Mevcut teknolojilerin ötesinde, ses dolandırıcılığı önleme ve kimlik doğrulama için hangi yeni araçlar ve teknikler geliştirilmektedir?

Ses dolandırıcılığı önleme ve kimlik doğrulama teknikleri, teknoloji ve dolandırıcılık faaliyetlerindeki gelişmelere paralel olarak sürekli olarak evrim geçirmektedir. Bazı yeni araçlar ve teknikler arasında:

• Sürekli Dolandırıcılık Tespiti ve Araştırması: Bu, yeni bilgiler ortaya çıktıkça, geçmişteki dolandırıcılık olaylarına geri dönerek ve bunları yeniden değerlendirmeyi içerir. Bu yaklaşım, şirketlere dolandırıcılık hakkında sürekli ve kapsamlı bir perspektif sunar.
• Akıllı Ses Analizi: Geleneksel ses biyometri sistemleri deepfake saldırılarına karşı savunmasızdır. Bu sistemlerin savunmasını güçlendirmek için yeni teknolojiler, Ses Uyuşmazlığı ve Negatif Ses Eşleştirmesi gibi, gereklidir. Bu teknolojiler, birden fazla sesi tanıyarak ve farklı seslerin tehdit oluşturup oluşturmadığını belirleyerek ek bir savunma katmanı sağlar.
• Erken Dolandırıcılık Tespiti: Dolandırıcılık tespiti teknolojileri, çağrı sürecinin başlangıcında hızlı ve güvenilir bir dolandırıcılık sinyali sağlayarak çok değerlidir. Carrier metadata analizi, arama kimliği taklit tespiti ve ses tabanlı taklit tespiti gibi teknolojiler, konuşmanın en başında savunmaları en zayıf olduğu anda korumayı sağlar.

Harika röportaj için teşekkür ederiz, daha fazla bilgi için lütfen Pindrop’un 2024 Ses Zekası ve Güvenlik Raporunu okuyun veya Pindropu ziyaret edin.