Comment un outil d’IA de santé mentale a accidentellement découvert une détection précise de deepfake

Alors que le géant de la technologie Open AI lançait son modèle génératif de vidéo et d’audio Sora 2 en septembre 2025, les vidéos deepfake ont inondé les plateformes de médias sociaux, rendant le public de plus en plus familier avec un contenu hyper-réaliste potentiellement dangereux.

Bien que Open AI ait considéré le lancement responsable de Sora 2 comme une priorité absolue, affirmant qu’il donnerait aux utilisateurs « les outils et l’optionnalité d’être en contrôle de ce qu’ils voient dans leur fil » et le contrôle de leur ressemblance de bout en bout, une étude d’octobre 2025 a trouvé que le modèle produisait des vidéos à faux claim 80 % du temps.

Des vidéos qui imitaient des rapports de nouvelles sur un fonctionnaire électoral moldave détruisant des bulletins de vote à des scènes fabriquées d’un enfant détenu par des agents d’immigration ou d’un porte-parole de Coca-Cola annonçant que l’entreprise ne parrainerait pas le Super Bowl, les enjeux pour produire des informations erronées dans un monde interconnecté ne pourraient pas être plus élevés.

Au-delà de Sora : Vishing

Même avant que l’outil d’Open AI ne soit lancé, la création et la diffusion en ligne de fichiers deepfake étaient en augmentation. Selon un rapport de septembre 2025 de la société de cybersécurité DeepStrike, le contenu deepfake a augmenté de 500 000 en 2023 à 8 millions en 2025, dont la plupart étaient utilisés à des fins frauduleuses.

La tendance ne montre aucun signe de ralentissement ; la fraude AI aux États-Unis seul est prévu pour atteindre 40 milliards de dollars américains d’ici 2027.

Une telle augmentation n’est pas limitée à la quantité. Avec des outils comme Sora 2 et Google’s Veo 3, le contenu des visages, des voix et des performances de corps entièrement générées par IA sont désormais plus réalistes que jamais. Comme le signale le scientifique informatique et chercheur sur les deepfakes Siwei Luy, les modèles contemporains sont capables de produire des visages stables sans déformation ou distorsion, tandis que le clonage de voix a franchi un « seuil indiscernable ».

La vérité est que les deepfakes dépassent la détection. Ce que les sociétés de technologie vendent comme des outils amusants pour générer tout, des routines de gymnastique olympique aux paysages sonores sophistiqués, a également été utilisé par les criminels pour cibler les entreprises et les individus. Nothing dans le premier semestre 2025, les incidents de deepfake ont provoqué des pertes de 356 millions de dollars américains pour les sociétés et de 541 millions de dollars américains pour les individus.

La détection traditionnelle de deepfake – y compris l’identification des filigranes, des visages airbrushés et des vérifications de métadonnées – échoue. Et, comme les deepfakes de voix restent la deuxième forme la plus courante de fraude basée sur l’IA et de phishing de voix (vishing) a augmenté de 442 % en 2025, les conséquences sont déjà ressenties.

« Quelques secondes d’audio suffisent désormais pour générer un clone convaincant – avec une intonation naturelle, un rythme, une emphase, une émotion, des pauses et des bruits de respiration », a écrit Lyu.

La Science de l’Écoute des Humains

Kintsugi, une startup de santé qui développe une technologie de biomarqueurs vocaux basée sur l’IA pour détecter les signes de dépression clinique et d’anxiété. Leur travail a commencé à partir d’un principe apparemment simple : nous devons écouter les humains.

« J’ai créé Kintsugi à cause d’un problème que j’ai personnellement vécu. J’ai passé près de cinq mois à appeler mon fournisseur pour prendre rendez-vous pour une thérapie initiale, et personne n’a jamais rappelé. J’ai continué à essayer – mais je me souviens clairement que si c’était mon père ou mon frère, ils auraient arrêté longtemps avant moi », a déclaré le PDG Grace Chang lors d’une conversation avec Unite.AI.

La société californienne a été fondée en 2019 comme une solution à ce que Chang a décrit comme un « goulet d’étranglement de triage ». Le fondateur croyait que la détection de la gravité plus tôt et de manière passive pourrait aider les gens à obtenir le niveau de soins approprié plus rapidement. Et, grâce à Kintsugi Voice, les biomarqueurs vocaux identifient la dépression clinique et l’anxiété.

Les recherches abondent pour prouver l’utilisation réussie de l’analyse de la parole et de la voix basée sur l’IA comme biomarqueur pour les troubles de santé mentale. Un article de mai 2025, par exemple, a trouvé que les biomarqueurs acoustiques peuvent détecter les premiers signes de santé mentale et de neurodivergence, et a plaidé pour l’intégration des analyses de chant dans les milieux cliniques pour évaluer le déclin cognitif potentiel des patients.

Les mesures vocales, en fait, ont un taux de précision de 78 % à 96 % pour identifier les personnes atteintes de dépression par rapport à celles qui n’en sont pas, selon l’Association américaine de psychiatrie. Une autre étude a utilisé un test de fluence verbale d’une minute au cours duquel un individu a nommé autant de mots que possible dans une catégorie donnée – trouvant 70 % à 83 % de précision pour détecter si un sujet avait à la fois de la dépression et de l’anxiété.

Pour évaluer la santé mentale de leurs utilisateurs, Kintsugi demande un court extrait de parole, après quoi sa technologie de biomarqueur vocal analyse la hauteur, l’intonation, le ton et les pauses – des marqueurs trouvés pour être associés à des conditions telles que la dépression, l’anxiété, le trouble bipolaire et la démence.

Ce que Chang n’a pas initialement réalisé, cependant, c’est que la technologie avait débloqué l’un des défis les plus pressants de l’industrie de la sécurité : identifier ce qui fait que les voix humaines sont humaines.

De la Santé Mentale à la Cybersécurité

Alors qu’elle assistait à un sommet à New York à la fin de 2025, Chang a mentionné à un ami dans le domaine de la cybersécurité que l’expérimentation de son équipe avec des voix synthétiques avait été décevante.

« Nous explorions des données synthétiques pour augmenter la formation de nos modèles de santé mentale, mais les voix générées étaient si différentes de la parole humaine authentique que nous pouvions les distinguer presque 100 % du temps », a-t-elle déclaré.

« Il m’a arrêtée et a dit : « Grace – ce n’est pas un problème résolu en sécurité ». C’était le moment où tout a cliqué. Depuis, les conversations avec des sociétés de sécurité, des services financiers et des sociétés de télécommunications ont confirmé à quel point les attaques de voix deepfake sont en augmentation – et à quel point il est nécessaire de distinguer les voix humaines des voix synthétiques dans les appels en direct », a ajouté le PDG.

En avril de l’année dernière, le FBI a averti d’une campagne de messagerie vocale et textuelle malveillante qui se faisait passer pour des communications de hauts fonctionnaires américains et ciblait les anciens travailleurs du gouvernement et leurs contacts. Les grandes banques nationales aux États-Unis ont également été ciblées avec 5,5 tentatives de fraude de manipulation vocale par jour en moyenne, et le personnel hospitalier du Vanderbilt University Medical Center a signalé des attaques de vishing de la part d’impersonateurs se faisant passer pour des amis, des superviseurs et des collègues de travail.

Quoi qu’il en soit, les deepfakes n’ont pas initialement fait partie du travail de Kintsugi. Alors que l’équipe de la société utilisait des modèles standards comme Cartesia, Sesame et ElevenLabs pour expérimenter des voix synthétiques pour les agents de centre d’appel et les flux de travail sortants, la fraude de deepfake n’était pas leur objectif dans un marché encombré et accessible mettant en vedette des modèles comme Sora.

Les signaux humains qui indiquent l’authenticité de la voix, cependant, sont les mêmes biomarqueurs qui font qu’une personne est humaine. Indépendamment de la langue ou de la sémantique, Kintsugi Voice fonctionne avec le traitement du signal et la latence physique de la parole, capturant des temps subtils, des variations prosodiques, des charges cognitives et des marqueurs physiologiques qui reflètent la façon dont la parole est produite… et non ce qui est dit.

« Les voix synthétiques peuvent sonner fluide, mais elles ne portent pas les mêmes artefacts biologiques et cognitifs », a déclaré Chang. Le modèle de la société est régulièrement un performeur de premier plan en termes de précision de détection, en utilisant aussi peu que 3 à 5 secondes d’audio.

Kintsugi peut être révolutionnaire pour ceux qui luttent contre la santé mentale, en particulier dans les zones où obtenir un traitement avec des professionnels prend du temps et des ressources. De la même manière, sa technologie pose une révolution pour la détection de deepfake et la cybersécurité en général : la détection de l’authenticité et non la reconnaissance de deepfake.

L’Avenir Réside dans la Technologie Centrée sur l’Humain

La cybersécurité a longtemps été axée sur l’utilisation malveillante de la technologie ou les auteurs eux-mêmes. La découverte accidentelle de Kintsugi, cependant, mise sur l’humanité elle-même.

« Nous opérons sur une surface complètement différente : l’authenticité humaine elle-même. Les LLM ne peuvent pas détecter de manière fiable le contenu généré par les LLM, et les méthodes basées sur les artefacts sont fragiles. La capture de grands ensembles de données cliniquement étiquetés qui encodent la variabilité humaine réelle est coûteuse, lente et en dehors de l’expertise principale de la plupart des sociétés de sécurité — ce qui rend cette approche difficile à reproduire », a noté Chang.

L’approche de la startup suggère également un changement plus large : l’innovation interdomaine. Les premiers de la santé pourraient mener la charge dans la détection de vishing basée sur l’IA, tout comme les innovateurs de la technologie spatiale pourraient soutenir de nouveaux mécanismes de réponse d’urgence, ou les architectes de jeux et de planification urbaine.

En ce qui concerne Chang, elle prévoit de devenir une norme pour vérifier les humains réels et, éventuellement, les intentions réelles à travers les interactions vocales.

« Tout comme HTTPS est devenu une couche de confiance par défaut pour le Web, nous croyons que la « preuve d’humain » deviendra une couche fondamentale pour les systèmes basés sur la voix. Signal est le début de cette infrastructure », a-t-elle déclaré.

Alors que l’IA générative continue d’accélérer, les mesures de sauvegarde les plus efficaces pourraient provenir de la compréhension de ce qui fait que les humains sont… bien, humains.