Connect with us

Le Véritable Danger des Modèles de Langage : Les Arnaques Propulsées par l’IA

Leaders d’opinion

Le Véritable Danger des Modèles de Langage : Les Arnaques Propulsées par l’IA

mm

Imaginez ceci : Vous êtes au travail, concentré sur une échéance serrée, lorsque vous recevez un appel d’un numéro de téléphone qui semble être celui de votre mère. La voix à l’autre bout du fil est incontestablement la sienne, calme et aimante, mais avec une pointe d’urgence inhabituelle. Elle vous dit qu’elle a rencontré de graves ennuis pendant ses vacances à Paris et a besoin de votre aide financière immédiatement pour régler les choses. Vous savez qu’elle est à Paris, et les détails qu’elle fournit, jusqu’au nom de son hôtel, rendent l’appel encore plus convaincant. Sans hésiter, vous transférez l’argent, pour découvrir plus tard que votre mère n’a jamais passé cet appel ; c’était un système d’IA avancé qui imitait parfaitement sa voix et fabriquait un scénario détaillé. Des frissons courent le long de votre épine dorsale lorsque vous réalisez ce qui vient de se passer.

Ce scénario, qui était autrefois de la pure fiction scientifique, est maintenant une réalité émergente. L’aube des technologies d’IA comme les grands modèles de langage (LLM) a apporté des progrès incroyables. Cependant, une menace significative plane : les arnaques propulsées par l’IA. Le potentiel d’arnaques sophistiquées propulsées par l’intelligence artificielle est une nouvelle menace à l’horizon du progrès technologique. Alors que les arnaques téléphoniques ont été une préoccupation depuis l’invention du téléphone, l’intégration généralisée de grands modèles de langage (LLM) dans tous les aspects de la communication numérique a considérablement élevé les enjeux. Alors que nous embrassons le potentiel de l’IA, il est crucial que nous renforcions également nos défenses contre ces menaces de plus en plus sophistiquées.

Le Paysage Actuel des Arnaques Téléphoniques

Les criminels ont tenté de tromper des individus insouciants pour leur faire transférer de l’argent ou divulguer des informations sensibles pendant des années, mais malgré la prévalence des arnaques téléphoniques, la plupart de ces arnaques sont relativement peu sophistiquées, s’appuyant sur des opérateurs humains lisant des scripts. Cependant, même avec cette limitation, les arnaques téléphoniques continuent d’être une entreprise criminelle lucrative.

Selon la Commission fédérale du commerce des États-Unis, en 2022 seul, les Américains ont perdu plus de 8,8 milliards de dollars en raison de fraudes, dont une partie importante est attribuée aux arnaques téléphoniques, ce qui signifie que même sous leur forme actuelle, moins avancée, beaucoup de ces tactiques fonctionnent encore sur des individus vulnérables. Que se passe-t-il lorsqu’elles évoluent ?

L’Avenir des Arnaques Propulsées par l’IA

Le paysage des arnaques téléphoniques est sur le point de subir un changement dramatique avec l’avènement de plusieurs technologies clés :

Grands Modèles de Langage (LLM)

Ces systèmes d’IA peuvent générer du texte similaire à celui des humains et engager des conversations naturelles. Lorsqu’ils sont appliqués aux arnaques, les LLM pourraient créer des scripts très convaincants et adaptatifs, rendant plus difficile pour les victimes potentielles d’identifier l’arnaque.

RAG (Retrieval-Augmented Generation)

Cette technologie permet aux systèmes LLM d’accéder et d’utiliser de vastes quantités d’informations en temps réel. Les arnaqueurs peuvent créer un profil d’une personne en fonction de ses informations publiques, telles que ses comptes sociaux. Ils peuvent également utiliser des techniques d’ingénierie sociale sur leurs amis et leur famille pour recueillir des informations plus approfondies. Cela leur donnera accès à des informations telles que l’identité de la cible, les informations sur son travail ou même ses activités récentes. Ils peuvent alors utiliser le RAG pour fournir aux LLM le contexte nécessaire, rendant leurs approches incroyablement personnalisées et légitimes.

Génération d’Audio Synthétique

Des plateformes comme Resemble AI et Lyrebird sont à la pointe de la création de voix réalistes générées par l’IA. Ces technologies sont capables de produire de l’audio personnalisé et similaire à celui des humains, qui peuvent être utilisés dans diverses applications, allant des assistants virtuels au service client automatisé et à la création de contenu. Des entreprises comme ElevenLabs poussent les limites plus loin en permettant aux utilisateurs de créer des voix synthétiques qui peuvent reproduire de près leur propre voix, permettant un nouveau niveau de personnalisation et d’engagement dans les interactions numériques.

Génération de Vidéo Synthétique

Des entreprises comme Synthesia démontrent déjà le potentiel de création de contenu vidéo réaliste avec des avatars générés par l’IA. Dans les années à venir, cette technologie pourrait permettre aux arnaqueurs d’imiter des amis ou des membres de la famille, ou de créer des personnages entièrement fictifs pour des appels vidéo, introduisant un niveau de réalisme physique précédemment impossible dans l’arnaque.

Lip-Syncing de l’IA

Des startups comme Sync Labs développent une technologie de lip-syncing avancée qui peut synchroniser l’audio généré avec des séquences vidéo. Cette technologie pourrait être utilisée pour créer des vidéos de deep-fake très convaincantes de personnalités historiques, de politiciens, de célébrités et pratiquement de tous les autres, brouillant encore plus la frontière entre la réalité et la déception.

La combinaison de ces technologies peint un tableau plutôt inquiétant. Imaginez un appel d’arnaque où l’IA peut adapter sa conversation en temps réel, armée d’informations personnelles sur la cible, et même basculer vers un appel vidéo avec une personne qui semble réelle dont les lèvres bougent en parfaite synchronisation avec la voix générée. Le potentiel de déception est truly énorme.

La Nécessité de Mesures de Sécurité Renforcées

Alors que ces arnaques propulsées par l’IA deviennent plus sophistiquées, les méthodes de vérification d’identité et d’authenticité devront suivre le rythme des progrès de l’IA. Il faudra des avancées réglementaires ainsi que technologiques pour maintenir la sécurité du monde en ligne.

Améliorations Réglementaires

Lois de Protection des Données Plus Sévères : La mise en œuvre de lois de protection des données plus rigoureuses restreindrait la quantité d’informations personnelles disponibles pour les arnaqueurs à exploiter. Ces lois pourraient inclure des exigences plus strictes pour la collecte de données, des protocoles de consentement des utilisateurs améliorés et des peines plus sévères pour les violations de données.

Nuage Privé pour les Modèles d’IA les Plus Puissants : Les réglementations pourraient exiger que les modèles d’IA les plus puissants soient hébergés sur des infrastructures cloud privées et sécurisées plutôt que d’être rendus ouvertement disponibles. Cela limiterait l’accès aux technologies les plus avancées, rendant plus difficile pour les acteurs malveillants de les utiliser pour des arnaques. (par exemple : https://security.apple.com/blog/private-cloud-compute/)

Collaboration Internationale sur la Réglementation de l’IA : Étant donné la nature mondiale de la technologie d’IA, une collaboration internationale sur les normes réglementaires pourrait être bénéfique. L’établissement d’un organisme mondial responsable de la création et de l’application de réglementations internationales sur l’IA pourrait aider à lutter contre les crimes liés à l’IA à travers les frontières.

Campagnes de Sensibilisation du Public : Les gouvernements et les organismes réglementaires devraient investir dans des campagnes de sensibilisation du public pour éduquer les citoyens sur les risques potentiels des arnaques d’IA et sur la façon de se protéger. La sensibilisation est une étape cruciale pour permettre aux individus et aux organisations de mettre en œuvre les mesures de sécurité nécessaires.

Les réglementations actuelles sur l’IA sont insuffisantes pour prévenir les arnaques, et le défi de la réglementation future est exacerbé par la nature open-source de nombreuses technologies puissantes. Cette ouverture permet à quiconque d’accéder et de modifier ces technologies pour ses propres fins. Par conséquent, aux côtés de réglementations plus strictes, des progrès dans les technologies de sécurité sont nécessaires.

Détection de Données Synthétiques

Détection d’audio synthétique : Alors que les arnaqueurs utilisent l’IA, nos défenses doivent également évoluer. Des entreprises comme Pindrop développent des systèmes alimentés par l’IA qui peuvent détecter l’audio synthétique en temps réel pendant les appels téléphoniques. Leur technologie analyse plus de 1 300 caractéristiques de l’audio d’un appel pour déterminer s’il provient d’une personne réelle ou d’un système d’IA sophistiqué.

Détection de vidéo synthétique : La détection de vidéo synthétique : tout comme l’audio, peut être manipulé par l’IA, posant des menaces significatives sous la forme de deepfakes et d’autres contenus vidéo synthétiques. Des entreprises comme Deepware sont à la pointe du développement de technologies pour détecter les vidéos synthétiques. La plateforme de Deepware utilise des algorithmes d’apprentissage automatique avancés pour analyser les incohérences subtiles dans les données vidéo, telles que des mouvements inhabituels, une éclairage irrégulier et des anomalies de pixels souvent présentes dans le contenu généré par l’IA. En identifiant ces disparités, la technologie de Deepware peut déterminer si une vidéo est authentique ou a été manipulée, aidant ainsi à protéger les individus et les organisations contre les arnaques et les campagnes de désinformation basées sur des vidéos sophistiquées.

Avancées dans l’Authentification

Il existe diverses méthodes en développement pour confirmer l’identité d’un utilisateur, et l’une ou plusieurs de ces méthodes deviendront courantes dans les années à venir pour rendre Internet plus sûr.

Authentification à deux facteurs pour les Conversations à Distance : L’authentification à deux facteurs (2FA) reste un élément fondamental de la communication sécurisée. Selon cette méthode, chaque appel téléphonique ou courriel déclencherait un message texte avec un code de vérification unique, similaire aux inscriptions par courriel actuelles. Bien que la 2FA soit efficace pour l’authentification de base, ses limites signifient qu’elle ne peut pas être uniquement comptée sur dans tous les contextes, nécessitant le développement de méthodes plus avancées pour assurer une sécurité globale d’Internet qui peut fonctionner en arrière-plan.

Authentification multifacteur basée sur le Comportement : Au-delà de la vérification de l’identité au début d’un appel, les systèmes de sécurité futurs pourraient analyser en continu le comportement tout au long d’une interaction. Des entreprises comme BioCatch utilisent la biométrie comportementale pour créer des profils d’utilisateurs en fonction de la façon dont les individus interagissent avec leurs appareils. Cette technologie peut détecter des anomalies dans le comportement qui pourraient indiquer qu’un arnaqueur utilise des informations volées, même s’il a réussi les vérifications d’authentification initiales.

Authentification Basée sur la Biométrie : Des entreprises comme Onfido sont à la pointe de la technologie de vérification d’identité basée sur la biométrie, offrant des outils de vérification d’identité alimentés par l’IA qui détectent les deepfakes sophistiqués et d’autres formes de fraude d’identité. Leur système utilise une combinaison de vérification de documents et d’analyse biométrique pour s’assurer que la personne à l’autre bout de l’appel ou de la vidéo est réellement celle qu’elle prétend être.

Authentification Basée sur les Connaissances Avancées : Allant au-delà des simples questions de sécurité, les systèmes d’authentification futurs pourraient incorporer des questions générées par l’IA de manière dynamique, basées sur l’empreinte numérique d’un utilisateur et sur ses activités récentes. Par exemple, Prove, une entreprise spécialisée dans l’identité centrée sur le téléphone, développe des solutions qui utilisent l’intelligence du téléphone et l’analyse comportementale pour vérifier les identités. Leur technologie peut analyser les modèles d’utilisation d’un appareil pour créer une « signature d’identité » unique qui est nettement plus difficile pour les arnaqueurs à reproduire.

Authentification Basée sur la Blockchain : La technologie blockchain offre une méthode décentralisée et inaltérable pour la vérification d’identité. Des entreprises comme Civic sont pionnières dans les systèmes de vérification d’identité basés sur la blockchain qui permettent aux utilisateurs de contrôler leurs informations personnelles tout en fournissant une authentification sécurisée. Ces systèmes créent un enregistrement vérifiable et inaltérable de l’identité d’une personne, idéal pour gérer les transactions à haut risque.

Conclusion

La convergence des LLM, du RAG, de la génération d’audio synthétique, de la génération de vidéo synthétique et du lip-syncing de l’IA est en quelque sorte une épée à deux tranchants. Alors que ces progrès ont un potentiel immense pour des applications positives, ils posent également des risques significatifs lorsqu’ils sont utilisés par les arnaqueurs.

Cette course aux armements permanente entre les experts en sécurité et les cybercriminels souligne la nécessité d’une innovation et d’une vigilance continues dans le domaine de la sécurité numérique. Nous pouvons travailler à exploiter les avantages de ces outils puissants tout en atténuant leur potentiel de nuisance seulement en reconnaissant et en nous préparant à ces risques.

Une réglementation complète, une éducation sur ces nouvelles formes d’arnaques, un investissement dans des mesures de sécurité de pointe et, peut-être plus important encore, une bonne dose de scepticisme de la part de chacun d’entre nous lors de l’interaction avec des entités inconnues en ligne ou par téléphone seront essentiels pour naviguer dans ce nouveau paysage.

Rishab Mehra est le CTO et co-fondateur de Pinnacle, une startup IA disruptrice dans le domaine de la performance mentale. Avec une solide expérience en vision par ordinateur et en apprentissage automatique, Rishab apporte une grande richesse d'expérience dans le domaine de l'intelligence artificielle.

Rishab's carrière comprend des recherches approfondies en vision par ordinateur pour la santé à l'Université de Stanford sous la direction de l'expert en IA de renom Fei-Fei Li. Ses travaux ont été publiés dans des revues prestigieuses telles que Nature et NeurIPS. Avant de fonder Pinnacle, Rishab a dirigé le développement de fonctionnalités pour Apple Intelligence et On-device Machine Learning chez Apple, où il a déposé plus de 20 brevets.

Un diplômé de Stanford avec un diplôme d'honneur en informatique, Rishab a réussi à lever un tour de financement pré-semence pour Pinnacle Intelligence.