Vijay Balasubramaniyan, Co-Founder & CEO of Pindrop – Interview Series

Vijay Balasubramaniyan adalah Co-Founder & CEO of Pindrop. Ia telah menjabat berbagai peran teknis dan penelitian di Google, Siemens, IBM Research, dan Intel.

Pindrop‘s solusi adalah yang memimpin dalam mengarahkan masa depan suara dengan menetapkan standar untuk identitas, keamanan, dan kepercayaan untuk setiap interaksi suara. Solusi Pindrop melindungi beberapa bank, perusahaan asuransi, dan ritel terbesar di dunia dengan menggunakan teknologi paten yang mengekstrak intelijen dari setiap panggilan dan suara yang ditemui. Solusi Pindrop membantu mendeteksi penipu dan mengotentikasi pelanggan yang sah, mengurangi penipuan dan biaya operasional sambil meningkatkan pengalaman pelanggan dan melindungi reputasi merek. Pindrop, sebuah perusahaan swasta yang berkantor pusat di Atlanta, GA, didirikan pada 2011 oleh Dr. Vijay Balasubramaniyan, Dr. Paul Judge, dan Dr. Mustaque Ahamad dan didukung oleh Andreessen Horowitz, Citi Ventures, Felicis Ventures, CapitalG, GV, IVP, dan Vitruvian Partners. Untuk informasi lebih lanjut, silakan kunjungi pindrop.com.

Apa yang menjadi kesimpulan utama dari Laporan Keamanan dan Kecerdasan Suara Pindrop 2024 mengenai keadaan saat ini penipuan berbasis suara dan keamanan?

Laporan tersebut memberikan analisis mendalam tentang masalah keamanan yang mendesak dan tren masa depan, terutama dalam pusat kontak yang melayani lembaga keuangan dan non-keuangan. Temuan utama dalam laporan tersebut termasuk:

• Peningkatan Penipuan Pusat Kontak: Penipuan pusat kontak telah meningkat 60% dalam dua tahun terakhir, mencapai tingkat tertinggi sejak 2019. Pada akhir tahun ini, satu dari setiap 730 panggilan ke pusat kontak diperkirakan akan menjadi penipuan.
• Peningkatan Kesophistikan Penyerang yang Menggunakan Deepfake: Serangan deepfake, termasuk klon suara sintetis yang canggih, meningkat, dan diperkirakan membawa risiko penipuan sebesar $5 miliar bagi pusat kontak di AS. Teknologi ini digunakan untuk meningkatkan taktik penipuan seperti pengintaian akun otomatis dan berskala besar, impersonasi suara, smishing yang ditargetkan, dan teknik sosial.
• Metode Deteksi dan Otentikasi Tradisional Tidak Berfungsi: Perusahaan masih mengandalkan otentikasi manual konsumen yang memakan waktu, mahal, dan tidak efektif dalam mencegah penipuan. 350 juta korban pelanggaran data. $12 miliar dihabiskan setiap tahun untuk otentikasi dan $10 miliar hilang karena penipuan merupakan bukti bahwa metode keamanan saat ini tidak berfungsi.
• Pendekatan dan Teknologi Baru Diperlukan: Deteksi liveness sangat penting untuk melawan AI yang buruk dan meningkatkan keamanan. Analisis suara masih penting tetapi perlu dipasangkan dengan deteksi liveness dan autentikasi multifaktor.

Menurut laporan, 67,5% konsumen AS khawatir tentang deepfake di sektor perbankan. Bisakah Anda menjelaskan tentang jenis-jenis ancaman deepfake yang dihadapi lembaga keuangan?

Penipuan perbankan melalui saluran telepon meningkat karena beberapa faktor. Karena lembaga keuangan sangat mengandalkan konsumen untuk mengkonfirmasi aktivitas yang mencurigakan, pusat kontak dapat menjadi target utama bagi penipu. Penipu menggunakan teknik sosial untuk menipu perwakilan layanan pelanggan, membujuk mereka untuk menghapus pembatasan atau membantu mengatur ulang kredensial perbankan online. Menurut salah satu pelanggan perbankan Pindrop, 36% dari panggilan penipuan yang diidentifikasi bertujuan untuk menghapus penahanan yang diberlakukan oleh kontrol penipuan. Pelanggan perbankan Pindrop lainnya melaporkan bahwa 19% dari panggilan penipuan bertujuan untuk mengakses perbankan online. Dengan meningkatnya generative AI dan deepfake, serangan tersebut menjadi lebih kuat dan dapat diskalakan. Sekarang, satu atau dua penipu di garasi dapat membuat suara sintetis apa pun dan meluncurkan serangan simultan terhadap beberapa lembaga keuangan dan meningkatkan taktik mereka. Ini telah menciptakan tingkat risiko yang lebih tinggi dan kekhawatiran di kalangan konsumen tentang apakah sektor perbankan siap untuk melawan serangan yang canggih ini.

Bagaimana kemajuan dalam AI generatif telah menyumbang pada peningkatan deepfake, dan apa tantangan spesifik yang mereka hadapi bagi sistem keamanan?

Meskipun deepfake tidak baru, kemajuan dalam AI generatif telah membuat mereka menjadi vektor yang kuat selama setahun terakhir karena mereka dapat menjadi lebih meyakinkan dalam skala yang lebih besar. Kemajuan dalam GenAI telah membuat model bahasa besar lebih terampil dalam membuat ucapan dan bahasa yang terdengar alami. Sekarang, suara sintetis yang terdengar alami dapat dibuat dengan sangat murah dan dalam skala besar. Perkembangan ini telah membuat deepfake dapat diakses oleh semua orang, termasuk penipu. Deepfake ini menantang sistem keamanan dengan memungkinkan serangan phishing yang sangat meyakinkan, menyebarkan informasi yang salah, dan memfasilitasi penipuan keuangan melalui impersonasi yang realistis. Mereka melemahkan metode autentikasi tradisional, menciptakan risiko reputasi yang signifikan, dan menuntut teknologi deteksi yang canggih untuk mengikuti evolusi dan skalabilitas mereka yang cepat.

Bagaimana Pindrop Pulse berkontribusi dalam mengidentifikasi mesin TTS yang digunakan dalam serangan robocall Presiden Biden, dan apa implikasinya bagi deteksi deepfake di masa depan?

Pindrop Pulse memainkan peran kritis dalam mengidentifikasi ElevenLabs, mesin TTS yang digunakan dalam serangan robocall Presiden Biden. Dengan menggunakan teknologi deteksi deepfake canggih kami, kami menerapkan proses analisis empat tahap yang melibatkan penyaringan audio dan pembersihan, ekstraksi fitur, analisis segmen, dan skoring terus-menerus. Proses ini memungkinkan kami untuk menyaring frame nonspeech, mensampling audio untuk mereplikasi kondisi telepon yang khas dan mengekstrak fitur spektral-waktu yang rendah.

Dengan membagi audio menjadi 155 segmen dan memberikan skor liveness, kami menentukan bahwa audio tersebut secara konsisten buatan. Dengan menggunakan “fakeprints,” kami membandingkan audio dengan 122 sistem TTS dan mengidentifikasi dengan kemungkinan 99% bahwa ElevenLabs atau sistem serupa digunakan. Temuan ini divalidasi dengan kemungkinan 84% melalui Klasifikasi SpeechAI ElevenLabs. Analisis rinci kami mengungkapkan artefak deepfake, terutama dalam frasa dengan frikatif kaya dan ekspresi yang tidak umum untuk Presiden Biden.

Kasus ini menekankan pentingnya sistem deteksi deepfake yang skalabel dan dapat dijelaskan, yang meningkatkan akurasi, membangun kepercayaan, dan beradaptasi dengan teknologi baru. Ini juga menyoroti kebutuhan bagi sistem AI generatif untuk mengintegrasikan pengamanan terhadap penyalahgunaan, memastikan bahwa cloning suara hanya dilakukan dengan persetujuan dari individu yang sebenarnya. Pendekatan kami menetapkan standar untuk menangani ancaman media sintetis, menekankan pemantauan dan penelitian terus-menerus untuk tetap mendahului metode deepfake yang berkembang.

Laporan tersebut menyebutkan kekhawatiran yang signifikan tentang deepfake yang memengaruhi lembaga media dan politik. Bisakah Anda memberikan contoh insiden tersebut dan dampak potensialnya?

Penelitian kami telah menemukan bahwa konsumen AS paling khawatir tentang risiko deepfake dan klon suara di sektor perbankan. Namun, di luar itu, ancaman deepfake terhadap lembaga media dan politik juga merupakan tantangan yang signifikan. Di luar AS, penggunaan deepfake telah diamati di Indonesia (deepfake Suharto) dan Slovakia (deepfake suara Michal Šimečka dan Monika Tódová).

Tahun 2024 adalah tahun pemilihan yang signifikan di AS dan India. Dengan 4 miliar orang di 40 negara yang diharapkan untuk memilih, perkembangan teknologi kecerdasan buatan membuatnya lebih mudah untuk menipu orang di internet. Kami mengharapkan peningkatan serangan deepfake yang ditargetkan terhadap lembaga pemerintah, perusahaan media sosial, perusahaan media lainnya, dan populasi umum, yang dimaksudkan untuk menciptakan ketidakpercayaan terhadap lembaga kita dan menyebarkan informasi yang salah dalam wacana publik.

Bisakah Anda menjelaskan teknologi dan metodologi yang digunakan Pindrop untuk mendeteksi deepfake dan suara sintetis secara real-time?

Pindrop menggunakan berbagai teknologi canggih dan metodologi untuk mendeteksi deepfake dan suara sintetis secara real-time, termasuk:

• • Deteksi Liveness: Pindrop menggunakan pembelajaran mesin skala besar untuk menganalisis frame nonspeech (misalnya, keheningan, kebisingan, musik) dan mengekstrak fitur spektral-waktu yang rendah yang membedakan antara ucapan yang dihasilkan mesin dan ucapan manusia umum.
  • Pencetakan Sidik Jari Audio – Ini melibatkan membuat tanda tangan digital untuk setiap suara berdasarkan sifat akustiknya, seperti nada, nada, dan irama. Tanda tangan ini kemudian digunakan untuk membandingkan dan mencocokkan suara di seluruh panggilan dan interaksi.
  • Analisis Perilaku – Digunakan untuk menganalisis pola perilaku yang tampaknya tidak biasa, termasuk akses anomali ke berbagai akun, aktivitas bot yang cepat, pengintaian akun, penambangan data, dan panggilan robot.

• Analisis Suara – Dengan menganalisis fitur suara seperti karakteristik saluran vokal, variasi fonetik, dan gaya berbicara, Pindrop dapat membuat sidik jari suara untuk setiap individu. Setiap penyimpangan dari sidik jari suara yang diharapkan dapat memicu peringatan.

• Pendekatan Keamanan Multilapis – Ini melibatkan menggabungkan metode deteksi yang berbeda untuk mencross-verifikasi hasil dan meningkatkan akurasi deteksi. Misalnya, hasil pencetakan sidik jari audio mungkin dicross-referensi dengan analisis biometrik untuk mengkonfirmasi kecurigaan.
• Pembelajaran dan Adaptasi Terus-Menerus – Pindrop terus memperbarui model dan algoritmanya. Ini melibatkan mengintegrasikan data baru, memperhalus teknik deteksi, dan tetap mendahului ancaman yang muncul. Pembelajaran terus-menerus memastikan bahwa kemampuan deteksi kami meningkat seiring waktu dan beradaptasi dengan jenis serangan suara sintetis yang baru.

Apa yang dimaksud dengan Garansi Deepfake Pulse, dan bagaimana hal itu meningkatkan kepercayaan pelanggan terhadap kemampuan Pindrop untuk menangani ancaman deepfake?

Garansi Deepfake Pulse adalah garansi pertama dari jenisnya yang menawarkan penggantian terhadap penipuan suara sintetis di pusat kontak. Ketika kami berdiri di ambang perubahan besar dalam lanskap serangan siber, kerugian keuangan potensial yang diperkirakan meningkat ke $10,5 triliun pada 2025, Garansi Deepfake Pulse meningkatkan kepercayaan pelanggan dengan menawarkan beberapa keuntungan utama:

• Kepercayaan yang Ditingkatkan: Garansi Deepfake Pulse menunjukkan kepercayaan Pindrop terhadap produk dan teknologinya, menawarkan solusi keamanan yang dapat dipercaya kepada pelanggan saat melayani pemegang akun mereka.
• Penggantian Kerugian: Pelanggan Pindrop dapat menerima penggantian untuk peristiwa penipuan suara sintetis yang tidak terdeteksi oleh Suite Produk Pindrop.
• Peningkatan Terus-Menerus: Permintaan pelanggan Pindrop yang diterima melalui program garansi membantu Pindrop tetap mendahului taktik penipuan suara sintetis yang berkembang.

Apakah ada studi kasus yang menonjol di mana teknologi Pindrop telah berhasil memitigasi ancaman deepfake? Apa hasilnya?

Insiden Sekolah Menengah Pikesville: Pada 16 Januari 2024, sebuah rekaman muncul di Instagram yang diduga menampilkan kepala sekolah di Sekolah Menengah Pikesville di Baltimore, Maryland. Audio tersebut berisi komentar yang merendahkan tentang siswa dan guru kulit hitam, memicu badai kemarahan dan kekhawatiran serius.

Mengingat perkembangan ini, Pindrop melakukan penyelidikan komprehensif, melakukan tiga analisis independen untuk mengungkap kebenaran. Hasil penyelidikan kami yang menyeluruh menyebabkan kesimpulan yang nuansa: meskipun audio Januari telah diubah, itu tidak memiliki fitur pasti dari ucapan sintetis yang dihasilkan AI. Keyakinan kami dalam penentuan ini didukung oleh kepastian 97% berdasarkan metrik analisis kami. Temuan ini menekankan pentingnya melakukan analisis yang rinci dan objektif sebelum membuat deklarasi publik tentang sifat media yang dimanipulasi.

Di sebuah bank besar AS, Pindrop menemukan bahwa seorang penipu menggunakan suara sintetis untuk melewati autentikasi di IVR. Kami menemukan bahwa penipu menggunakan suara yang dihasilkan mesin untuk melewati autentikasi IVR untuk akun yang ditargetkan, memberikan jawaban yang benar untuk pertanyaan keamanan dan, dalam satu kasus, bahkan melewati kata sandi satu kali (OTP). Bot yang berhasil mengautentikasi di IVR mengidentifikasi akun yang layak ditarget melalui pertanyaan saldo dasar. Panggilan berikutnya ke akun-akun tersebut berasal dari manusia nyata untuk melakukan penipuan. Pindrop memperingatkan bank tentang penipuan ini secara real-time menggunakan teknologi Pulse dan berhasil menghentikan penipu.

Di sebuah lembaga keuangan lain, Pindrop menemukan bahwa beberapa penipu sedang melatih voicebot mereka sendiri untuk meniru sistem respons otomatis bank. Dalam apa yang terdengar seperti panggilan pertama yang aneh, sebuah voicebot menelepon ke IVR bank bukan untuk melakukan pengintaian akun, tetapi untuk mengulangi prompt IVR. Beberapa panggilan masuk ke berbagai cabang pohon percakapan IVR, dan setiap dua detik, bot tersebut mengulangi apa yang didengarnya. Sebuah minggu kemudian, lebih banyak panggilan teramati melakukan hal yang sama, tetapi kali ini, voicebot mengulangi frasa-frasa dengan suara dan gaya yang sama dengan IVR bank. Kami percaya bahwa seorang penipu sedang melatih voicebot untuk meniru IVR bank sebagai titik awal serangan smishing. Dengan bantuan Pindrop Pulse, lembaga keuangan tersebut dapat menggagalkan serangan ini sebelum kerusakan terjadi.

Eksperimen Deepfake Audio NPR Independen: Keamanan digital adalah perlombaan senjata yang terus berkembang antara penipu dan penyedia teknologi keamanan. Ada beberapa penyedia, termasuk Pindrop, yang telah mengklaim mendeteksi deepfake audio secara konsisten – NPR menguji klaim ini untuk menilai apakah solusi teknologi saat ini dapat mendeteksi deepfake audio yang dihasilkan AI secara konsisten.

Pindrop Pulse secara akurat mendeteksi 81 dari 84 sampel audio dengan benar, yang berarti tingkat akurasi 96,4%. Selain itu, Pindrop Pulse mendeteksi 100% dari semua sampel deepfake. Sementara penyedia lain juga dievaluasi dalam studi ini, Pindrop muncul sebagai pemimpin dengan menunjukkan bahwa teknologinya dapat secara andal dan akurat mendeteksi baik deepfake maupun audio asli.

Apa tren masa depan dalam penipuan berbasis suara dan keamanan yang Anda lihat, terutama dengan perkembangan teknologi AI yang cepat? Bagaimana Pindrop mempersiapkan diri untuk mengatasi hal ini?

Kami memperkirakan bahwa penipuan pusat kontak akan terus meningkat pada 2024. Berdasarkan analisis tingkat penipuan tahun-ke-tahun di seluruh vertikal, kami memperkirakan secara konservatif bahwa tingkat penipuan akan mencapai 1 dari setiap 730 panggilan, yang mewakili peningkatan 4-5% dari tingkat saat ini.

Sebagian besar peningkatan penipuan ini diharapkan memengaruhi sektor perbankan karena asuransi, perantara, dan segmen keuangan lainnya diharapkan tetap sekitar tingkat saat ini. Kami memperkirakan bahwa tingkat penipuan ini mewakili paparan penipuan sebesar $7 miliar untuk lembaga keuangan di AS, yang perlu dilindungi. Namun, kami antisipasi pergeseran signifikan, terutama dengan penipu yang menggunakan IVR sebagai lapangan uji. Baru-baru ini, kami telah mengamati peningkatan penipu yang secara manual memasukkan informasi pribadi (PII) untuk memverifikasi detail akun.

Untuk membantu melawan ini, kami akan terus memajukan solusi Pindrop saat ini dan meluncurkan alat dan teknik inovatif baru, seperti Pindrop Pulse, yang melindungi pelanggan kami.

Di luar teknologi saat ini, apa alat dan teknik baru yang sedang dikembangkan untuk meningkatkan pencegahan penipuan suara dan autentikasi?

Teknik pencegahan penipuan suara dan autentikasi terus berkembang untuk mengikuti kemajuan teknologi dan kesophistikan aktivitas penipuan. Beberapa alat dan teknik yang muncul termasuk:

• Deteksi Penipuan dan Investigasi Terus-Menerus: Menyediakan “tampilan kembali” sejarah terhadap contoh penipuan dengan informasi baru yang sekarang tersedia. Dengan pendekatan ini, analis penipuan dapat “mendengarkan” sinyal penipuan baru, memindai panggilan sejarah yang mungkin terkait, dan mengulangi skor panggilan tersebut. Ini memberikan perusahaan perspektif komprehensif dan terus-menerus tentang penipuan secara real-time.
• Analisis Suara Cerdas: Sistem biometrik suara tradisional rentan terhadap serangan deepfake. Untuk meningkatkan pertahanan mereka, teknologi baru seperti Tidak Cocok Suara dan Pencocokan Suara Negatif diperlukan. Teknologi ini menyediakan lapisan pertahanan tambahan dengan mengenali dan membedakan berbagai suara, pemanggil berulang, dan mengidentifikasi di mana suara yang terdengar berbeda mungkin merupakan ancaman.
• Deteksi Penipuan Awal: Teknologi deteksi penipuan yang memberikan sinyal penipuan yang cepat dan dapat diandalkan pada awal proses panggilan sangat berharga. Selain deteksi liveness, teknologi seperti analisis metadata operator, deteksi spoofing ID pemanggil, dan deteksi spoofing audio memberikan perlindungan terhadap serangan penipuan pada awal percakapan ketika pertahanan paling rentan.

Terima kasih atas wawancara yang luar biasa, untuk mempelajari lebih lanjut baca Laporan Kecerdasan dan Keamanan Suara Pindrop 2024 atau kunjungi Pindrop.