维杰·巴拉苏布拉马尼扬，Pindrop联合创始人兼CEO – 采访系列

维杰·巴拉苏布拉马尼扬是Pindrop的联合创始人兼CEO。他曾在Google、西门子、IBM研究院和英特尔担任过各种工程和研究职务。

Pindrop‘s解决方案正在为语音的未来铺平道路，通过为每次语音交互建立身份、安全和信任的标准。Pindrop的解决方案使用专利技术保护一些世界上最大的银行、保险公司和零售商，从每次呼叫和语音中提取智能。Pindrop的解决方案有助于检测诈骗者和验证真实客户，减少诈骗和运营成本，同时提高客户体验和保护品牌声誉。Pindrop是一家总部位于亚特兰大的私营公司，由维杰·巴拉苏布拉马尼扬博士、保罗·朱奇博士和穆斯塔克·阿哈马德博士于2011年创立，获得安德森·霍洛维茨、Citi Ventures、Felicis Ventures、CapitalG、GV、IVP和Vitruvian Partners的风险投资。有关更多信息，请访问pindrop.com。

从Pindrop的2024语音智能和安全报告中，我们可以得出什么结论，关于当前语音基于的欺诈和安全状况?

该报告对安全问题和未来趋势进行了深入分析，特别是在为金融和非金融机构提供服务的呼叫中心。报告中的关键发现包括:

• 呼叫中心欺诈的显著增加: 呼叫中心欺诈在过去两年中激增了60%，达到2019年以来的最高水平。到今年年底，预计每730个呼叫中心呼叫中就有一个是欺诈性的。
• 使用Deepfake的攻击者日益复杂: Deepfake攻击，包括复杂的合成语音克隆，正在增加，据估计对美国呼叫中心构成50亿美元的欺诈风险。这种技术被用来增强欺诈策略，例如自动化和大规模账户侦察、语音模仿、目标短信和社会工程学。
• 传统的欺诈检测和身份验证方法不起作用:公司仍然依赖于手动身份验证消费者，这种方法耗时、昂贵且无法阻止欺诈。3.5亿数据泄露的受害者，每年在身份验证上花费120亿美元，而又损失100亿美元，这些数字表明当前的安全方法不起作用。
• 需要新的方法和技术:生存检测对于打击恶意AI和增强安全至关重要。语音分析仍然很重要，但需要与生存检测和多因素身份验证相结合。

根据报告，67.5%的美国消费者担心银行业的Deepfake。您能否详细说明金融机构面临的Deepfake威胁类型?

通过电话渠道进行的银行欺诈正在增加，这是由于多种因素造成的。由于金融机构严重依赖客户来确认可疑活动，呼叫中心可能成为诈骗者的主要目标。诈骗者使用社会工程学策略来欺骗客户服务代表，劝说他们删除限制或帮助重置在线银行凭证。根据Pindrop的一个银行客户，36%的已识别的欺诈呼叫主要目的是删除由欺诈控制施加的限制。另一个Pindrop银行客户报告说，19%的欺诈呼叫旨在访问在线银行。随着生成式AI和Deepfake的兴起，这些攻击变得更加强大和可扩展。现在，车库里的一个或两个诈骗者可以创建任意数量的合成语音，并对多个金融机构发起同时攻击。这在消费者中造成了更高的风险和担忧，关于银行业是否准备好抵御这些复杂的攻击。

生成式AI的进步如何促进Deepfake的兴起，它们对安全系统提出什么具体的挑战?

虽然Deepfake并不是新鲜事物，但生成式AI的进步使它们在过去一年中成为一个强大的攻击手段。生成式AI使大型语言模型更加擅长创建可信的语音和语言。现在，自然听起来的合成语音（假语音）可以很便宜地以大规模创建。这些发展使Deepfake对每个人都可用，包括诈骗者。这些Deepfake挑战安全系统，通过使得诈骗攻击更加令人信服，传播虚假信息，并通过真实的模仿来实施金融欺诈。它们破坏了传统的身份验证方法，造成了重大的声誉风险，并要求先进的检测技术来跟上它们的快速演变和可扩展性。

Pindrop Pulse如何有助于识别总统拜登机器人呼叫攻击中使用的TTS引擎，它对未来Deepfake检测有什么影响?

Pindrop Pulse在识别总统拜登机器人呼叫攻击中使用的TTS引擎（ElevenLabs）方面发挥了至关重要的作用。使用我们先进的Deepfake检测技术，我们实施了一个四阶段分析过程，包括音频过滤和清洁、特征提取、段分析和连续评分。这个过程使我们能够过滤掉非语音帧（例如，沉默、噪音、音乐），提取低级别的光谱时间特征，以区分机器生成的语音和普通人类语音。

通过将音频分成155个段，并为每个段分配生存评分，我们确定音频是一致的人工生成的。使用“假指纹”，我们将音频与122个TTS系统进行比较，并以99%的可能性确定ElevenLabs或类似的系统被使用。这个发现通过ElevenLabs SpeechAI分类器以84%的可能性得到验证。我们的详细分析揭示了Deepfake伪造的特征，特别是在具有丰富的摩擦音和不常见的表达式的短语中。这个案例强调了我们可扩展和可解释的Deepfake检测系统的重要性，它们增强了准确性、建立信任并适应新技术。它还强调了生成式AI系统需要纳入防止滥用的保障措施，以确保语音克隆得到真实个人的同意。我们的方法为应对合成媒体威胁设定了一个基准，强调了持续的监测和研究，以保持领先于不断演变的Deepfake方法。

报告提到媒体和政治机构受到Deepfake的重大影响。您能否提供此类事件的例子及其潜在影响?

我们的研究发现，美国消费者最担心的是银行和金融部门的Deepfake和语音克隆威胁。但是，除了这些之外，Deepfake对我们的媒体和政治机构构成的威胁也提出了一个同样重大的挑战。在美国以外，Deepfake的使用也被观察到，例如印度尼西亚（苏哈托Deepfake）和斯洛伐克（米查尔·希梅卡和莫尼卡·托多娃语音Deepfake）。2024年是美国和印度的重要选举年，随着生成式AI技术的快速发展，人们可以轻松地欺骗互联网上的任何人。我们预计会出现针对政府机构、社交媒体公司、其他新闻媒体和普通公众的Deepfake攻击，这些攻击旨在制造对我们机构的不信任和在公共话语中传播虚假信息。

您能否解释Pindrop使用的检测Deepfake和合成语音的技术和方法?

Pindrop使用一系列先进的技术和方法来实时检测Deepfake和合成语音，包括:

• • 生存检测: Pindrop使用大规模机器学习来分析非语音帧（例如，沉默、噪音、音乐）并提取低级别的光谱时间特征，以区分机器生成的语音和普通人类语音
  • 音频指纹识别 – 这涉及为每个语音创建一个数字签名，基于其声学特性，例如音调、语调和节奏。这些签名然后用于比较和匹配不同呼叫和交互中的语音。
  • 行为分析 – 用于分析似乎不寻常的行为模式，包括异常访问各种账户、快速机器人活动、账户侦察、数据挖掘和机器人拨号。

• 语音分析 – 通过分析语音特征，例如声带特征、语音变异和说话风格，Pindrop可以为每个个体创建一个语音指纹。任何偏离预期语音指纹的变化都可能触发警报。

• 多层安全方法 – 这涉及组合不同的检测方法来交叉验证结果并增加检测的准确性。例如，音频指纹识别结果可能与生物识别分析交叉验证以确认怀疑。
• 持续学习和适应 – Pindrop不断更新其模型和算法，包括纳入新数据、改进检测技术和跟上新出现的威胁。持续学习确保检测能力随时间的推移而提高并适应新的合成语音攻击。

什么是Pulse Deepfake保修，它如何增强客户对Pindrop处理Deepfake威胁的能力的信心?

Pulse Deepfake保修是一种首创的保修，提供对呼叫中心中的合成语音欺诈的赔偿。随着我们站在网络攻击格局发生重大变化的边缘， 预计到2025年，潜在的经济损失将激增到10.5万亿美元，Pulse Deepfake保修通过提供几个关键优势来增强客户的信心:

• 增强信任: Pulse Deepfake保修表明了Pindrop对其产品和技术的信心，向客户提供了一个值得信赖的安全解决方案来服务他们的账户持有人。
• 损失赔偿: Pindrop的客户可以获得对未被Pindrop产品套件检测到的合成语音欺诈事件的赔偿。
• 持续改进: Pindrop客户通过保修计划收到的请求有助于Pindrop保持领先于不断演变的合成语音欺诈策略。

有没有值得注意的案例研究，表明Pindrop的技术成功地减轻了Deepfake威胁？结果是什么?

皮克斯维尔高中事件: 2024年1月16日，在Instagram上出现了一份据称来自马里兰州巴尔的摩皮克斯维尔高中的校长的录音。音频包含了对黑人学生和教师的侮辱性言论，引发了一场公众的愤怒和严重的担忧。

在这些发展的背景下，Pindrop进行了一项全面调查，进行了三次独立分析来揭露真相。我们彻底调查的结果得出了一个细致的结论:虽然1月的音频被修改，但它缺乏AI生成的合成语音的明确特征。我们对这一确定性的信心是基于我们的分析指标，达到97%的确定性。这个关键的发现强调了在公开声明合成媒体的性质之前，进行详细和客观分析的重要性。

在一家大型美国银行，Pindrop发现一名诈骗者正在使用合成语音来绕过IVR的身份验证。我们发现该诈骗者正在使用机器生成的语音来绕过IVR的身份验证，针对特定账户，并提供正确的答案来回答安全问题。在一次呼叫中，甚至通过了一次性密码（OTP）。成功通过IVR身份验证的机器人识别了有价值的账户，随后对这些账户进行了呼叫，以实施欺诈。Pindrop使用Pulse技术实时提醒银行，并能够阻止诈骗者。

独立NPR音频Deepfake实验: 数字安全是一个不断演变的欺诈者和安全技术提供者之间的军备竞赛。有几家提供商，包括 Pindrop，声称能够一致地检测音频Deepfake – NPR对这些说法进行了测试，以评估当前的技术解决方案是否能够一致地检测到AI生成的音频Deepfake。

Pindrop Pulse准确地检测到了84个音频样本中的81个，达到96.4%的准确率。此外，Pindrop Pulse检测到了100%的Deepfake样本。虽然其他提供商也在研究中被评估，但Pindrop脱颖而出，证明了其技术能够可靠地和准确地检测到Deepfake和真实音频。

您预见到语音基于欺诈和安全的未来趋势，特别是随着AI技术的快速发展？Pindrop如何应对这些挑战?

我们预计2024年呼叫中心欺诈将继续增加。根据今年到目前为止的欺诈率分析，跨各个行业，我们保守地估计欺诈率将达到每730个呼叫中有1个，代表着当前水平的4-5%的增加。

除了当前技术之外，哪些新工具和技术正在被开发，以增强语音欺诈预防和身份验证?

语音欺诈预防和身份验证技术不断演变，以跟上技术的进步和欺诈活动的复杂性。一些新兴的工具和技术包括:

• 持续欺诈检测和调查: 提供了一个历史的“回顾”过去的欺诈实例，结合现在可用的新信息。使用这种方法，欺诈分析师可以“倾听”新的欺诈信号，扫描可能相关的历史呼叫，并重新评分这些呼叫。这种方法为公司提供了对欺诈的持续和全面理解，实时进行。
• 智能语音分析: 传统的语音生物识别系统容易受到Deepfake攻击。为了增强他们的防御，需要新的技术，例如语音不匹配和负面语音匹配。这些技术提供了额外的防御层，通过识别和区分多个语音、重复呼叫者和识别可能构成威胁的不同听起来的语音。
• 早期欺诈检测: 能够快速可靠地提供欺诈信号的欺诈检测技术，在呼叫过程的早期至关重要。除了生存检测外，技术，如运营商元数据分析、呼叫者ID欺骗检测和基于音频的欺骗检测，提供了对欺诈攻击的保护，当防御最脆弱时，在对话的开始时。

感谢您这次精彩的采访，若要了解更多，请阅读Pindrop的2024语音智能和安全报告，或访问Pindrop。