Même un AI de base peut désormais écrire des actualités qui passent pour humaines

De nouvelles recherches indiquent que même de petits modèles d’IA locaux peuvent désormais écrire des actualités que les gens ne peuvent pas distinguer d’un véritable journalisme, en égalant les meilleurs systèmes, et laissant les lecteurs incapables de déterminer qui a écrit quoi.

Selon une nouvelle collaboration de recherche entre l’Allemagne et la France, les humains ne peuvent pas déterminer si un article de presse est écrit par un IA ou un humain – même lorsqu’il est écrit par des modèles open source qui peuvent être téléchargés et exécutés sur des ordinateurs de bureau relativement moyens.

Dans un autre signe que les petits IA sont en ascension, un sondage de 2 318 jugements collectés auprès de 1 054 participants dans un portail d’étude universitaire dédié a trouvé que les lecteurs humains ne pouvaient pas identifier la provenance d’un article à un niveau supérieur à celui du hasard, même lorsqu’il était produit par des modèles relativement modestes avec seulement sept milliards de paramètres, notamment Mistral et Llama variants:

Moyennes des scores de source et d’authenticité pour les LLM testés. Les 200 milliards de paramètres de GPT-4o ne dépassent pas massivement les 7B de paramètres des modèles plus petits. Ceux testés pour l’étude étaient Gemma 7B, Phi-3 Mini, LLaMA-2 13B, Mistral 7B, GPT-4o et GPT-3.5. Source

Les auteurs reviennent sur un sujet qu’ils ont examiné pour la première fois dans la publication de 2024 Blessing or curse? A survey on the Impact of Generative AI on Fake News. Les résultats eux-mêmes sont les résultats nouvellement publiés d’un projet plus large initialement annoncé en janvier, et utilisent le cadre de participation en ligne JudgeGPT des auteurs.

Puissance légère

Intitulé Can Humans Tell? A Dual-Axis Study of Human Perception of LLM-Generated News, et provenant de trois chercheurs de l’Université des sciences appliquées de Francfort et de l’unité de recherche IRISA de Nantes, la nouvelle étude fait une distinction importante entre les “fausses actualités” et les “actualités écrites par IA” (puisqu’il est possible que les fausses actualités soient écrites par des humains ou par un IA, et que ces deux aspects ne sont pas nécessairement synonymes).

Cependant, l’aspect le plus intéressant est peut-être la conclusion du document selon laquelle les petits modèles, notamment Mistral 7B et Gemma 7B, peuvent, avec seulement sept milliards de paramètres, rivaliser avec les modèles de type ChatGPT (4o) avec 200 milliards de paramètres:

‘Les modèles open-weight avec aussi peu que 7B de paramètres produisent du texte noté de la même manière que la sortie de GPT-4o, indiquant que la capacité à générer du texte indiscernable de l’humain n’est plus réservée aux modèles de pointe.’

Cependant, les “actualités générées par IA” peuvent représenter de nombreux types de collaboration humaine/IA, allant de la vérification orthographique à la défaillance totale de l’effort, et l’étude ne précise pas exactement quel type de contenu IA a été produit pour les tests (bien qu’elle décrive la méthodologie de production – voir ci-dessous).

Méthode

Pour les participants engagés dans la plateforme JudgeGPT, chaque fragment d’actualité a été évalué à l’aide d’un cadre à deux axes dans lequel ils ont fourni trois notations indépendantes sur des curseurs continus de 0 à 100:

L’interface graphique de la plateforme JudgeGPT, où les évaluateurs évaluent le matériel en fonction de l’attribution de la source; l’authenticité; et la familiarité avec le sujet. Veuillez vous référer au document source pour une meilleure résolution.

Le jugement de source a capturé si un passage semblait écrit par une machine ou par un humain; le jugement d’authenticité, si cela était perçu comme faux ou légitime; et la familiarité avec le sujet, à quel point le lecteur connaissait le sujet.

Des échelles continues ont été utilisées au lieu d’une échelle de Likert, pour capturer les degrés de certitude plus précisément, et pour supporter l’analyse statistique, y compris la corrélation de Pearson et le regroupement.

Les fragments de texte générés par machine ont été produits par le cadre RogueGPT des auteurs, l’architecture d’alimentation pour JudgeGPT. RogueGPT orchestre les contributions de six grands modèles de langage (LLM): ChatGPT-4; ChatGPT-3.5; ChatGPT-4o; LLaMA-2 13B; Gemma 7B; et Mistral 7B.

La sollicitation basée sur les personnages a été utilisée pour générer les textes, et les générations d’IA étaient ancrées dans des sujets d’actualité réels, et ont été vérifiées par des humains.

Inversement, les fragments écrits par des humains ont été échantillonnés à partir de “sources d’information établies” et de bases de données non spécifiées.

Les auteurs observent:

‘L’ensemble des stimuli est intentionnellement biaisé vers les fragments d’origine machine (∼98%), avec des éléments d’origine humaine servant d’ancres de calibration.

‘Ce choix de conception reflète la focalisation de l’étude sur la variation intra-IA (à travers les modèles) plutôt que sur la comparaison humain-IA; les participants ne sont pas informés du taux de base, et les résultats de détection presque aléatoires [résultats] sont maintenus lorsqu’ils sont analysés sur l’ensemble d’origine humaine seul.’

Les participants ont d’abord donné leur consentement éclairé et ont rempli un questionnaire démographique couvrant l’âge, l’éducation, l’orientation politique et la familiarité avec l’IA, après quoi ils ont évalué la séquence de fragments d’actualité.

Chaque personne a examiné entre 5 et 87 éléments, avec une médiane de 12, tandis que l’ordre de présentation était aléatoire, et l’affectation du modèle était équilibrée entre les participants, pour réduire les biais. La plateforme a enregistré les trois notations de curseur aux côtés du temps de réponse et d’un identifiant anonyme, permettant de relier les jugements individuels aux facteurs de fond.

Les auteurs prennent soin de souligner que l’échantillon était biaisé vers les participants éduqués d’Europe, avec 68 % ayant un diplôme universitaire, et 74 % basés en Europe – un biais que le document note comme une limitation pour une généralisation plus large.

Tests

Les tests sont divisés en cinq types de résultats: la distinction entre le texte généré par machine et le texte écrit par un humain; la comparaison de la détection entre différents LLM; l’examen de l’effet de l’expertise de domaine par rapport à l’orientation politique sur la précision; l’identification de stratégies de réponse distinctes parmi les participants; et le suivi de la façon dont la précision change au fil des évaluations répétées, en raison de la fatigue:

Résumé des cinq résultats principaux issus de 2 318 jugements sur 1 054 participants, montrant que la détection humaine du texte écrit par un IA est restée au niveau du hasard pour tous les modèles, que la précision était liée à l’expertise de domaine plutôt qu’à l’orientation politique, que les participants se sont regroupés en profils de confiance distincts, et que les performances ont diminué après environ 30 évaluations, en raison de la fatigue cognitive.

Le test n’a montré aucune différence significative au-dessus du hasard dans les scores de source entre les conditions, apparemment indiquant que les participants ne peuvent pas distinguer le texte généré par IA du contenu écrit par un humain:

Répartitions des scores de source et d’authenticité pour les fragments d’origine machine et humaine montrent un chevauchement important, sans séparation significative entre les deux conditions, et les tests statistiques – indiquant que les participants ne pouvaient pas distinguer de manière fiable le texte généré par IA du contenu écrit par un humain.

Pour le deuxième aspect, comme le montre le graphique au début de l’article, l’échec de la détection n’a pas varié en fonction du modèle, car les sorties de tous les LLM se sont regroupées autour de jugements au niveau du hasard, sans différences significatives entre eux. Même les petits systèmes open-weight tels que Mistral 7B et Gemma 7B ont été notés de la même manière que GPT-4o, indiquant que le texte indiscernable de l’humain peut ne plus être limité aux plus grands modèles.

Pour le troisième aspect, la précision était plus fortement liée à l’expertise de domaine qu’à l’orientation politique, car la familiarité avec les fausses actualités a correllé avec de meilleures évaluations, tandis que les opinions politiques n’ont montré aucun effet significatif, suggérant que les compétences analytiques apprises peuvent être plus importantes que l’idéologie:

Résultats de la troisième ligne d’investigation montrant que l’orientation politique n’a eu aucun effet significatif sur l’attribution de la source ou la notation d’authenticité, avec seulement des tendances faibles et non significatives, tandis que l’autodéclaration de familiarité avec les fausses actualités a été associée à une plus grande précision dans les deux axes. Cela suggère que la compétence analytique basée sur l’expérience a été un plus fort prédicteur de performance que la position idéologique. Veuillez vous référer au document source pour une meilleure résolution.

La quatrième découverte a montré que les participants se sont regroupés en deux styles de réponse distincts identifiés comme ‘Sceptiques’ – qui ont attribué une confiance faible à travers le contenu, quelle que soit son origine – et ‘Croyants’ – qui ont maintenu une base de confiance plus élevée.

Enfin, en ce qui concerne le cinquième objectif, une analyse de jugements séquentiels a montré que les participants sont initialement devenus meilleurs dans la tâche, avec une précision améliorée au cours des premières 15-20 évaluations, car ils s’adaptaient au format:

Moyennes mobiles des scores d’attribution de la source et d’authenticité à travers la séquence d’évaluations des participants montrent une brève phase d’amélioration initiale, car les utilisateurs semblent s’adapter à la tâche pendant les 15-20 premiers éléments, suivie d’un déclin constant dans les deux mesures après environ 30 évaluations. Veuillez vous référer au document source pour une meilleure résolution.

Cependant, cet effet a été de courte durée, car les performances ont commencé à diminuer après environ 30 éléments, les participants attribuant de plus en plus de contenu comme faux – un changement interprété comme une fatigue cognitive, suggérant des limites claires sur la durée pendant laquelle les approches de détection peuvent rester efficaces dans la pratique.

Ceci peut constituer une preuve empirique que, épuisés par la perspective de distinguer les fausses actualités des vraies, les actualités écrites par un IA des actualités écrites par un humain, nous tendons à nous fier à l’hypothèse que les actualités sont écrites par un IA et/ou sont fausses (ce qui n’est pas nécessairement la même chose). Ceux qui considèrent cela comme « paresseux » et qui pensent que les gens devraient faire leurs propres recherches pour vérifier une éventuelle fausse actualité pourraient être intéressés à apprendre qu’une étude de 2024 a indiqué que cela ne fait que rendre les problèmes pires.

Les auteurs suggèrent que l’échec du jugement humain constaté dans les résultats indique que nous devons peut-être confier ces questions à des technologies de provenance cryptographique telles que l’initiative C2PA menée par Adobe. D’autres solutions possibles mentionnées sont le cadre OriginLens des auteurs, et un autre projet impliquant les auteurs appelé CRED-1.

Les auteurs concluent:

‘Les humains peuvent-ils distinguer? Notre étude à deux axes de 2 318 jugements sur six familles de LLM fournit une réponse empirique claire: ils ne le peuvent pas.

‘Le texte généré par machine est indiscernable de l’écriture humaine, quelle que soit la taille du modèle ou la famille, l’expertise de domaine prédit la précision de détection plus fortement que l’orientation politique, les participants adoptent des stratégies de confiance distinctes, et la fatigue cognitive limite la détection prolongée.

‘Ces résultats soutiennent un passage d’une détection au niveau de l’utilisateur à des contre-mesures au niveau du système, y compris la provenance du contenu, les indicateurs de confiance adaptatifs et les interventions d’immunisation limitées.’

Conclusion

L’aspect inquiétant de cet article est le réseau de soutien de projets et de documents que les auteurs – ou certains des auteurs, selon le travail – ont créés ou ont une main dans; et il aurait certainement été éclairant de pouvoir étudier des échantillons de texte généré par IA et humain qui ont produit ces résultats, afin de mieux comprendre le type de sortie que la méthodologie de génération décrite produit.

Cependant, il est intéressant de noter que les modèles open-weight, open source peuvent être comparés aux géants API tels que la série ChatGPT – peut-être que la tâche en question n’est pas si difficile, et qu’un modèle de 200 milliards de paramètres est surdimensionné pour de telles tâches? Nous devrions en savoir un peu plus sur les échantillons de source d’IA et humaine soumis pour répondre à cette question.

Entre-temps, selon le site canirun.ai, Mistral 7B (qui était plus ou moins à égalité avec ChatGPT-4o dans les tests) ‘fonctionne bien’ sur une NVIDIA RTX 3080 avec 16 Go de VRAM, et fonctionne ‘correctement’ sur une 3060 avec 6 Go de VRAM – ce qui n’est pas les cartes graphiques les plus récentes ou les meilleures en jeu*. Donc, quiconque qui veut élaborer sa propre méthodologie pour la soumission d’échantillons peut apparemment participer à ces expériences également.

* Gemma 7B n’est pas répertoriée sur le site.

Publié pour la première fois jeudi 9 avril 2026