Fraude de voix Deepfaked ayant permis un vol de 35 millions de dollars en 2020

Une enquête sur la fraude de 35 millions de dollars US à une banque aux Émirats arabes unis en janvier 2020 a révélé que la technologie de voix deepfaked avait été utilisée pour imiter la voix d’un directeur de société connu d’un gestionnaire de banque, qui a ensuite autorisé les transactions.

Le crime a eu lieu le 15 janvier de l’année dernière et est décrit dans une demande (PDF) des Émirats arabes unis aux autorités américaines pour obtenir de l’aide dans la recherche d’une partie des fonds détournés qui ont été envoyés aux États-Unis.

La demande indique que le gestionnaire de la succursale d’une banque victime aux Émirats arabes unis a reçu un appel téléphonique d’une voix familière, qui, combinée avec des e-mails d’un avocat nommé Martin Zelner, a convaincu le gestionnaire de distribuer les fonds, qui semblaient destinés à l’acquisition d’une société.

La demande indique:

‘Selon les autorités émiraties, le 15 janvier 2020, le gestionnaire de la succursale de la société victime a reçu un appel téléphonique qui prétendait provenir du siège de la société. L’appelant ressemblait au directeur de la société, donc le gestionnaire de la succursale croyait que l’appel était légitime.

‘Le gestionnaire de la succursale a également reçu plusieurs e-mails qu’il croyait provenir du directeur et liés à l’appel téléphonique. L’appelant a dit au gestionnaire de la succursale par téléphone et par e-mail que la société victime allait acquérir une autre société, et qu’un avocat nommé Martin Zelner (Zelner) avait été autorisé à coordonner les procédures d’acquisition.’

Le gestionnaire de la succursale a ensuite reçu les e-mails de Zelner, ainsi qu’une lettre d’autorisation de la part du (prétendu) directeur, dont la voix était familière à la victime.

Fraude de voix Deepfaked identifiée

Les enquêteurs émiraties ont ensuite établi que la technologie de clonage de voix deepfaked avait été utilisée pour imiter la voix du directeur de la société:

‘L’enquête émiratie a révélé que les défendeurs avaient utilisé la technologie de “voix profonde” pour simuler la voix du directeur. En janvier 2020, des fonds ont été transférés de la société victime à plusieurs comptes bancaires dans d’autres pays dans un schéma complexe impliquant au moins 17 défendeurs connus et inconnus. Les autorités émiraties ont retracé le mouvement de l’argent à travers de nombreux comptes et ont identifié deux transactions aux États-Unis.

‘Le 22 janvier 2020, deux virements de 199 987,75 USD et 215 985,75 USD ont été envoyés de deux des défendeurs aux numéros de compte de la banque Centennial, respectivement xxxxx7682 et xxxxx7885, situés aux États-Unis.’

Aucun autre détail n’est disponible concernant le crime, qui n’est que le deuxième cas connu de fraude financière basée sur la voix deepfaked. Le premier a eu lieu neuf mois plus tôt, en mars 2020, lorsque le directeur général d’une société énergétique britannique a été harcelé au téléphone par ce qui ressemblait à la voix de son patron, exigeant le transfert urgent de 220 000 euros (243 000 dollars), que l’employé a ensuite effectué.

Développement du clonage de voix

Le clonage de voix deepfaked implique la formation d’un modèle d’apprentissage automatique sur des centaines, voire des milliers d’échantillons de la “voix cible” (la voix qui sera imitée). La correspondance la plus précise peut être obtenue en formant la voix cible directement contre la voix de la personne qui parlera dans le scénario proposé, bien que le modèle soit “sur-ajusté” à la personne qui imitera la voix cible.

La communauté en ligne la plus active de développeurs de clonage de voix est le serveur Discord Audio Fakes, qui propose des forums pour de nombreux algorithmes de clonage de voix deepfaked tels que Google’s Tacotron-2, Talknet, ForwardTacotron, Coqui-ai-TTS et Glow-TTS, entre autres.

Deepfakes en temps réel

Puisqu’une conversation téléphonique est nécessairement interactive, la fraude de clonage de voix ne peut pas raisonnablement être réalisée avec des extraits de voix de haute qualité “cuits”, et dans les deux cas de fraude de clonage de voix, nous pouvons raisonnablement supposer que le locuteur utilise un cadre de deepfakes en temps réel.

Les deepfakes en temps réel sont devenus récemment l’objet de l’attention en raison de l’avènement de DeepFaceLive, une mise en œuvre en temps réel du paquet de deepfakes populaire DeepFaceLab, qui peut superimposer des célébrités ou d’autres identités sur des images de webcam en direct. Bien que les utilisateurs du serveur Discord Audio Fakes et du serveur Discord DeepFaceLab soient très intéressés par la combinaison de ces deux technologies en une seule architecture de deepfakes vidéo et voix en direct, aucun produit de ce type n’a encore émergé publiquement.