Vijay Balasubramaniyan, Co-Founder & CEO of Pindrop – Wawancara Seri

Vijay Balasubramaniyan adalah Co-Founder & CEO of Pindrop. Ia telah memegang berbagai peran teknis dan penelitian dengan Google (GOOGL ), Siemens, IBM Research, dan Intel.

Pindrop‘s solusi adalah yang memimpin dalam mengarahkan masa depan suara dengan menetapkan standar untuk identitas, keamanan, dan kepercayaan untuk setiap interaksi suara. Solusi Pindrop melindungi beberapa bank, asuransi, dan ritel terbesar di dunia dengan menggunakan teknologi paten yang mengekstrak intelijen dari setiap panggilan dan suara yang ditemui. Solusi Pindrop membantu mendeteksi penipu dan mengotentikasi pelanggan yang sah, mengurangi penipuan dan biaya operasional sambil meningkatkan pengalaman pelanggan dan melindungi reputasi merek. Pindrop, sebuah perusahaan swasta yang berkantor pusat di Atlanta, GA, didirikan pada 2011 oleh Dr. Vijay Balasubramaniyan, Dr. Paul Judge, dan Dr. Mustaque Ahamad dan didukung oleh Andreessen Horowitz, Citi Ventures, Felicis Ventures, CapitalG, GV, IVP, dan Vitruvian Partners. Untuk informasi lebih lanjut, silakan kunjungi pindrop.com.

Apa yang menjadi kesimpulan utama dari Laporan Keamanan dan Kecerdasan Suara Pindrop 2024 tentang keadaan saat ini penipuan berbasis suara dan keamanan?

Laporan tersebut memberikan gambaran mendalam tentang masalah keamanan yang mendesak dan tren masa depan, terutama dalam pusat kontak yang melayani lembaga keuangan dan non-keuangan. Temuan utama dalam laporan tersebut termasuk:

• Peningkatan Signifikan dalam Penipuan Pusat Kontak: Penipuan pusat kontak telah meningkat sebesar 60% dalam dua tahun terakhir, mencapai tingkat tertinggi sejak 2019. Pada akhir tahun ini, satu dari setiap 730 panggilan ke pusat kontak diperkirakan akan menjadi penipuan.
• Peningkatan Kesophistikan Penyerang yang Menggunakan Deepfake: Serangan deepfake, termasuk klona suara sintetis yang canggih, meningkat, yang diperkirakan akan menimbulkan risiko penipuan sebesar $5 miliar bagi pusat kontak di AS. Teknologi ini digunakan untuk meningkatkan taktik penipuan seperti pengintaian akun otomatis dan skala besar, impersonasi suara, smishing yang ditargetkan, dan teknik sosial.
• Metode Tradisional Deteksi dan Otentikasi Penipuan Tidak Berfungsi: Perusahaan masih mengandalkan otentikasi manual konsumen yang memakan waktu, mahal, dan tidak efektif dalam menghentikan penipuan. 350 juta korban pelanggaran data. $12 miliar dihabiskan setiap tahun untuk otentikasi dan $10 miliar hilang karena penipuan merupakan bukti bahwa metode keamanan saat ini tidak berfungsi
• Pendekatan dan Teknologi Baru Diperlukan: Deteksi liveness sangat penting untuk melawan AI yang buruk dan meningkatkan keamanan. Analisis suara masih penting tetapi perlu dipasangkan dengan deteksi liveness dan otentikasi multifaktor.

Menurut laporan, 67,5% konsumen AS khawatir tentang deepfake di sektor perbankan. Bisakah Anda menjelaskan tentang jenis-jenis ancaman deepfake yang dihadapi oleh lembaga keuangan?

Penipuan perbankan melalui saluran telepon meningkat karena beberapa faktor. Karena lembaga keuangan sangat mengandalkan konsumen untuk mengkonfirmasi aktivitas yang mencurigakan, pusat kontak dapat menjadi target utama bagi penipu. Penipu menggunakan taktik teknik sosial untuk menipu perwakilan layanan pelanggan, membujuk mereka untuk menghapus pembatasan atau membantu mengatur ulang kredensial perbankan online. Menurut salah satu pelanggan perbankan Pindrop, 36% panggilan penipuan yang diidentifikasi bertujuan untuk menghapus tahanan yang diberlakukan oleh kontrol penipuan. Pelanggan perbankan Pindrop lainnya melaporkan bahwa 19% panggilan penipuan bertujuan untuk mengakses perbankan online. Dengan meningkatnya generative AI dan deepfake, serangan tersebut menjadi lebih kuat dan dapat dilakukan secara bersamaan. Sekarang satu atau dua penipu di garasi dapat membuat suara sintetis dan meluncurkan serangan bersamaan pada beberapa lembaga keuangan dan meningkatkan taktik mereka. Ini telah menciptakan tingkat risiko yang lebih tinggi dan kekhawatiran di kalangan konsumen tentang apakah sektor perbankan siap untuk melawan serangan yang canggih ini.

Bagaimana kemajuan dalam teknologi AI generatif telah menyumbang pada peningkatan deepfake, dan apa tantangan spesifik yang mereka timbulkan bagi sistem keamanan?

Sementara deepfake tidak baru, kemajuan dalam teknologi AI generatif telah membuat mereka menjadi vektor yang kuat selama setahun terakhir karena mereka dapat menjadi lebih meyakinkan dalam skala besar. Kemajuan dalam GenAI telah membuat model bahasa besar lebih mahir dalam menciptakan ucapan dan bahasa yang meyakinkan. Sekarang suara sintetis alami dapat dibuat dengan murah dan dalam skala besar. Perkembangan ini telah membuat deepfake dapat diakses oleh semua orang, termasuk penipu. Deepfake ini menantang sistem keamanan dengan memungkinkan serangan phishing yang sangat meyakinkan, menyebarkan informasi yang salah, dan memfasilitasi penipuan keuangan melalui impersonasi yang realistis. Mereka melemahkan metode otentikasi tradisional, menciptakan risiko reputasi yang signifikan, dan memerlukan teknologi deteksi yang canggih untuk mengikuti evolusi dan skala mereka yang cepat.

Bagaimana Pindrop Pulse berkontribusi pada identifikasi mesin TTS yang digunakan dalam serangan robocall Presiden Biden, dan apa implikasinya bagi deteksi deepfake di masa depan?

Pindrop Pulse memainkan peran kritis dalam mengidentifikasi ElevenLabs, mesin TTS yang digunakan dalam serangan robocall Presiden Biden. Dengan menggunakan teknologi deteksi deepfake canggih, kami menerapkan proses analisis empat tahap yang melibatkan penyaringan audio dan pembersihan, ekstraksi fitur, analisis segmen, dan skoring terus-menerus. Proses ini memungkinkan kami untuk menyaring bingkai nonspeech, mengurangi sampel audio untuk mereplikasi kondisi telepon yang khas, dan mengekstrak fitur spektral-temporal yang rendah yang membedakan antara ucapan yang dihasilkan mesin dan ucapan manusia.

Dengan membagi audio menjadi 155 segmen dan memberikan skor liveness, kami menentukan bahwa audio tersebut secara konsisten buatan. Dengan menggunakan “fakeprints”, kami membandingkan audio dengan 122 sistem TTS dan mengidentifikasi dengan kemungkinan 99% bahwa ElevenLabs atau sistem yang serupa digunakan. Temuan ini divalidasi dengan kemungkinan 84% melalui Klasifikasi SpeechAI ElevenLabs. Analisis rinci kami mengungkapkan artefak deepfake, terutama dalam frasa dengan frikatif yang kaya dan ekspresi yang tidak umum untuk Presiden Biden.

Laporan tersebut menyebutkan kekhawatiran yang signifikan tentang deepfake yang mempengaruhi media dan lembaga politik. Bisakah Anda memberikan contoh insiden tersebut dan dampak potensialnya?

Penelitian kami telah menemukan bahwa konsumen AS paling khawatir tentang risiko deepfake dan klona suara di sektor perbankan dan keuangan. Namun, di luar itu, ancaman deepfake terhadap media dan lembaga politik juga menimbulkan tantangan yang signifikan. Di luar AS, penggunaan deepfake juga telah diamati di Indonesia (deepfake Suharto), dan Slovakia (deepfake suara Michal Šimečka dan Monika Tódová).

Tahun 2024 adalah tahun pemilihan yang signifikan di AS dan India. Dengan 4 miliar orang di 40 negara yang diharapkan untuk memilih, perkembangan teknologi AI membuatnya lebih mudah untuk menipu orang di internet. Kami mengharapkan peningkatan serangan deepfake yang ditargetkan pada lembaga pemerintah, perusahaan media sosial, media berita lainnya, dan populasi umum, yang dimaksudkan untuk menciptakan ketidakpercayaan pada lembaga kita dan menyebarkan informasi yang salah dalam wacana publik.

Bisakah Anda menjelaskan teknologi dan metode yang digunakan Pindrop untuk mendeteksi deepfake dan suara sintetis secara real-time?

Pindrop menggunakan berbagai teknologi dan metode canggih untuk mendeteksi deepfake dan suara sintetis secara real-time, termasuk:

• • Deteksi Liveness: Pindrop menggunakan pembelajaran mesin skala besar untuk menganalisis bingkai nonspeech (misalnya, keheningan, kebisingan, musik) dan mengekstrak fitur spektral-temporal yang rendah yang membedakan antara ucapan yang dihasilkan mesin dan ucapan manusia.
  • Pencetakan Audio – Ini melibatkan membuat tanda tangan digital untuk setiap suara berdasarkan sifat akustiknya, seperti pitch, nada, dan irama. Tanda tangan ini kemudian digunakan untuk membandingkan dan mencocokkan suara di seluruh panggilan dan interaksi.
  • Analisis Perilaku – Digunakan untuk menganalisis pola perilaku yang tampaknya tidak biasa termasuk akses anomali ke berbagai akun, aktivitas bot yang cepat, pengintaian akun, penambangan data, dan dialing robot.

• Analisis Suara – Dengan menganalisis fitur suara seperti karakteristik saluran vokal, variasi fonetik, dan gaya berbicara, Pindrop dapat membuat sidik jari suara untuk setiap individu. Setiap penyimpangan dari sidik jari suara yang diharapkan dapat memicu peringatan.

• Pendekatan Keamanan Multilayer – Ini melibatkan menggabungkan metode deteksi yang berbeda untuk memverifikasi hasil silang dan meningkatkan akurasi deteksi. Misalnya, hasil pencetakan audio dapat dikonfirmasi dengan analisis biometrik untuk mengkonfirmasi kecurigaan.
• Pembelajaran dan Adaptasi Terus-Menerus – Pindrop terus-menerus memperbarui model dan algoritma. Ini melibatkan mengintegrasikan data baru, memperbaiki teknik deteksi, dan tetap mendahului ancaman yang muncul. Pembelajaran terus-menerus memastikan bahwa kemampuan deteksi Pindrop meningkat seiring waktu dan beradaptasi dengan serangan suara sintetis yang baru.

Apa itu Garansi Deepfake Pulse, dan bagaimana hal itu meningkatkan kepercayaan pelanggan terhadap kemampuan Pindrop untuk menangani ancaman deepfake?

Garansi Deepfake Pulse adalah garansi pertama dari jenisnya yang menawarkan pengembalian uang terhadap penipuan suara sintetis di pusat kontak. Ketika kita berada di ambang perubahan besar dalam lanskap serangan siber, kerugian keuangan potensial yang diperkirakan akan melonjak ke $10,5 triliun pada 2025, Garansi Deepfake Pulse meningkatkan kepercayaan pelanggan dengan menawarkan beberapa kelebihan utama:

• Kepercayaan yang Ditingkatkan: Garansi Deepfake Pulse menunjukkan kepercayaan Pindrop terhadap produk dan teknologinya, menawarkan solusi keamanan yang dapat dipercaya kepada pelanggan saat melayani akun mereka.
• Pengembalian Kerugian: Pelanggan Pindrop dapat menerima pengembalian uang untuk peristiwa penipuan suara sintetis yang tidak terdeteksi oleh Suite Produk Pindrop.
• Peningkatan Terus-Menerus: Permintaan pelanggan Pindrop yang diterima melalui program garansi membantu Pindrop tetap mendahului taktik penipuan suara sintetis yang berkembang.

Apakah ada studi kasus yang menonjol di mana teknologi Pindrop telah berhasil memitigasi ancaman deepfake? Apa hasilnya?

Insiden Pikesville High School: Pada 16 Januari 2024, sebuah rekaman muncul di Instagram yang diduga menampilkan kepala sekolah Pikesville High School di Baltimore, Maryland. Audio tersebut berisi komentar yang merendahkan tentang siswa dan guru kulit hitam, memicu kehebohan dan kekhawatiran serius.

Menghadapi perkembangan ini, Pindrop melakukan investigasi menyeluruh, melakukan tiga analisis independen untuk mengungkap kebenaran. Hasil investigasi kami menyebabkan kesimpulan yang nuansa: meskipun audio Januari telah diubah, itu tidak memiliki fitur definitif dari ucapan sintetis yang dihasilkan AI. Keyakinan kami dalam penentuan ini didukung oleh kepastian 97% berdasarkan metrik analisis kami. Temuan ini menekankan pentingnya melakukan analisis yang rinci dan objektif sebelum membuat deklarasi publik tentang sifat media yang dimanipulasi.

Di sebuah bank besar di AS, Pindrop menemukan bahwa seorang penipu menggunakan suara sintetis untuk melewati otentikasi di IVR. Kami menemukan bahwa penipu menggunakan suara yang dihasilkan mesin untuk melewati otentikasi IVR untuk akun yang ditargetkan, memberikan jawaban yang benar untuk pertanyaan keamanan dan, dalam satu kasus, bahkan melewati kata sandi satu kali (OTP). Bot yang berhasil mengotentikasi di IVR mengidentifikasi akun yang layak untuk diserang melalui pertanyaan dasar tentang saldo. Panggilan berikutnya ke akun tersebut dilakukan oleh manusia untuk melakukan penipuan. Pindrop memberi tahu bank tentang penipuan ini secara real-time menggunakan teknologi Pulse dan berhasil menghentikan penipu.

Di lembaga keuangan lain, Pindrop menemukan bahwa beberapa penipu sedang melatih voicebot mereka sendiri untuk meniru sistem respons otomatis bank. Dalam apa yang terdengar seperti panggilan pertama yang aneh, voicebot menelepon ke IVR bank bukan untuk melakukan pengintaian akun, tetapi untuk mengulangi prompt IVR. Beberapa panggilan masuk ke berbagai cabang pohon percakapan IVR, dan setiap dua detik, bot tersebut mengulangi apa yang didengarnya. Seminggu kemudian, panggilan lain teramati melakukan hal yang sama, tetapi kali ini, voicebot mengulangi frasa-frasa tersebut dengan suara dan gaya yang persis sama dengan IVR bank. Kami percaya bahwa seorang penipu sedang melatih voicebot untuk meniru IVR bank sebagai awal dari serangan smishing. Dengan bantuan Pindrop Pulse, lembaga keuangan tersebut dapat menggagalkan serangan tersebut sebelum kerusakan terjadi.

Eksperimen Deepfake Audio Independen NPR: Keamanan digital adalah perlombaan senjata yang terus berkembang antara penipu dan penyedia teknologi keamanan. Ada beberapa penyedia, termasuk Pindrop, yang telah mengklaim dapat mendeteksi deepfake audio secara konsisten – NPR menguji klaim tersebut untuk menilai apakah solusi teknologi saat ini dapat mendeteksi audio deepfake yang dihasilkan AI secara konsisten.

Pindrop Pulse secara akurat mendeteksi 81 dari 84 sampel audio dengan benar, yang berarti tingkat akurasi sebesar 96,4%. Selain itu, Pindrop Pulse mendeteksi 100% dari semua sampel deepfake sebagai deepfake. Sementara penyedia lain juga dievaluasi dalam studi tersebut, Pindrop muncul sebagai pemimpin dengan menunjukkan bahwa teknologinya dapat secara andal dan akurat mendeteksi baik deepfake maupun audio asli.

Apa tren masa depan dalam penipuan berbasis suara dan keamanan yang Anda lihat, terutama dengan perkembangan teknologi AI yang cepat? Bagaimana Pindrop mempersiapkan diri untuk mengatasi tantangan tersebut?

Kami memperkirakan bahwa penipuan pusat kontak akan terus meningkat pada 2024. Berdasarkan analisis tingkat penipuan hingga saat ini di berbagai sektor, kami memperkirakan bahwa tingkat penipuan akan mencapai 1 dari setiap 730 panggilan, yang merupakan peningkatan sebesar 4-5% dari tingkat saat ini.

Sebagian besar peningkatan penipuan ini diharapkan akan memengaruhi sektor perbankan karena sektor asuransi, perantara, dan keuangan lainnya diharapkan akan tetap pada tingkat yang ada. Kami memperkirakan bahwa tingkat penipuan ini akan mewakili paparan penipuan sebesar $7 miliar bagi lembaga keuangan di AS, yang perlu dilindungi. Namun, kami mengantisipasi pergeseran signifikan, terutama dengan penipu yang menggunakan IVR sebagai lapangan uji. Baru-baru ini, kami telah mengamati peningkatan penipu yang secara manual memasukkan informasi pribadi (PII) untuk memverifikasi detail akun.

Untuk membantu melawan ini, kami akan terus memajukan solusi Pindrop yang ada dan meluncurkan alat dan teknologi baru, seperti Pindrop Pulse, yang melindungi pelanggan kami.

Di luar teknologi saat ini, apa alat dan teknik baru yang sedang dikembangkan untuk meningkatkan pencegahan penipuan suara dan otentikasi?

Teknik pencegahan penipuan suara dan otentikasi terus berkembang untuk mengikuti kemajuan teknologi dan kesophistikan kegiatan penipuan. Beberapa alat dan teknik yang muncul termasuk:

• Deteksi dan investigasi penipuan terus-menerus: Menyediakan tinjauan historis terhadap insiden penipuan dengan informasi baru yang sekarang tersedia. Dengan pendekatan ini, analis penipuan dapat “mendengarkan” sinyal penipuan baru, memindai panggilan sebelumnya yang mungkin terkait, dan mengulangi skor untuk panggilan tersebut. Ini memberikan perusahaan perspektif yang terus-menerus dan komprehensif tentang penipuan secara real-time.
• Analisis suara cerdas: Sistem biometrik suara tradisional rentan terhadap serangan deepfake. Untuk meningkatkan pertahanan mereka, teknologi baru seperti Voice Mismatch dan Negative Voice Matching diperlukan. Teknologi ini memberikan lapisan pertahanan tambahan dengan mengenali dan membedakan suara yang berbeda, panggilan berulang, dan mengidentifikasi di mana suara yang terdengar berbeda mungkin merupakan ancaman.
• Deteksi penipuan awal: Teknologi deteksi penipuan yang memberikan sinyal penipuan yang cepat dan dapat diandalkan pada awal proses panggilan sangat berharga. Selain deteksi liveness, teknologi seperti analisis metadata operator, deteksi spoofing ID pemanggil, dan deteksi spoofing berbasis audio memberikan perlindungan terhadap serangan penipuan pada awal percakapan ketika pertahanan paling rentan.

Terima kasih atas wawancara yang luar biasa, untuk mempelajari lebih lanjut baca Laporan Kecerdasan dan Keamanan Suara Pindrop 2024 atau kunjungi Pindrop.