Les modèles d’IA préfèrent l’écriture humaine à l’écriture générée par l’IA

Selon une nouvelle recherche, ChatGPT et des modèles similaires montrent désormais une préférence claire pour les textes qu’ils croient avoir été écrits par des humains, même lorsque cette croyance est erronée. Le simple fait de qualifier un texte de “créé par l’homme” dispose les modèles d’IA à le favoriser – et, ironiquement, ils pourraient apprendre ce préjugé de nous.

Les notions d’authenticité, de provenance et d’expérience humaine partagée pourraient jouer un rôle plus important dans l’assaut de l’IA sur le secteur de l’écriture créative que ce qui a été apparent jusqu’à présent: des tests menés pour une nouvelle étude à Princeton ont révélé que de nombreux modèles de langage ouverts et fermés, y compris ChatGPT, préfèrent ce qu’ils croient être des textes “générés par l’homme”.

Même lorsque les étiquettes sur les échantillons d’écriture ont été inversées, les modèles d’IA et les participants humains ont continué à trouver des défauts dans le texte écrit par l’IA, échoant les mêmes critiques qu’ils avaient faites lorsqu’il était correctement étiqueté.

Les chercheurs pensent que la raison en partie peut être que l’hostilité croissante des humains envers l’IA générative, qui semble se manifester par de nouveaux et intéressants événements chaque jour, pourrait se répercuter sur les systèmes d’IA eux-mêmes. Notant à quel point l’IA déteste l’écriture de l’IA encore plus que les humains, ils déclarent*:

‘Les 13 modèles d’IA que nous avons testés ont démontré un biais de 34,3 points de pourcentage par rapport aux 13,7 points de pourcentage des humains, les rendant 2,5 fois plus sensibles aux indices d’attribution que nos évaluateurs humains.

‘Cette amplification est logique une fois que nous reconnaissons que les modèles contemporains sont des évaluateurs formés à la préférence. L’alignement par apprentissage par renforcement à partir de la rétroaction humaine (RLHF) enseigne explicitement aux modèles à traiter les jugements humains comme leur référence, installant ainsi une priorité d’apprentissage.

‘Les modèles apprennent que se conformer aux préférences humaines est récompensé, créant ainsi une sycohancie où ils échoient les attitudes attendues des utilisateurs plutôt que de fournir une évaluation indépendante.’

Les résultats s’appliquent au domaine de l’écriture créative, les chercheurs utilisant des histoires d’un auteur français distingué comme échantillons de données; et ils indiquent que les préjugés humains contre l’IA pourraient, dans l’équilibre, surpasser tout progrès quantitatif dans la construction du langage que les grands modèles de langage (LLM) peuvent produire à mesure qu’ils évoluent – et que l’étiquette “IA” est peut-être en train de signifier “inauthentique”, “ersatz” et même “de seconde classe” dans ce domaine.

De nombreuses raisons sont liées à la pratique et à l’utilisation culturelles: l’article indique que la créativité est souvent décrite en termes de nouveauté, de valeur et de typicité, c’est-à-dire à quel point quelque chose semble nouveau; à quel point il est apprécié par les experts; et à quel point il convient à sa catégorie. Lorsqu’un passage est étiqueté comme écrit par l’homme, les traits de genre familiers sont récompensés comme précieux; lorsqu’il est étiqueté comme généré par l’IA, les mêmes traits sont rejetés comme non originaux.

En effet, révéler la source entraîne une réévaluation du mérite de l’œuvre, façonnée par des hypothèses sur la façon dont elle a été créée. Une fois que l’auteur de l’IA est divulgué, les lecteurs rejettent instinctivement la possibilité de découverte ou d’intention individuelle derrière la production.

L’article indique*:

‘Dans la plupart des arts, il n’y a pas de référence pour “assez créatif”, ce qui rend les indices de provenance des primes puissantes qui peuvent déplacer quel critère semble le plus saillant: la maîtrise de l’artisanat ou la nouveauté flagrante, l’accessibilité ou la difficulté.

‘Parce que les observateurs infèrent souvent le processus à partir du produit, la provenance influence les jugements sur la façon dont quelque chose a été créé ainsi que sur ce que c’est: les mouvements conservateurs peuvent être crédités comme un artisanat humain, mais rejetés comme “simple génération” à partir d’un modèle’.

Treize modèles, dont des variantes de ChatGPT, Claude, Gemini et Mistral, ont participé aux côtés de lecteurs humains, tous notant les histoires de manière plus favorable lorsqu’on leur a dit qu’elles étaient créées par l’homme, les LLM montrant plus de biais que les humains.

L’idée que les modèles d’IA puissent avoir absorbé un préjugé contre leur propre production soulève des questions sur l’origine de ce biais. Puisque l’écriture de l’IA n’est pas toujours facile à identifier, toute association négative formée pendant la formation provient probablement d’exemples qui sont explicitement étiquetés, que ce soit à travers la couverture médiatique du contenu de l’IA, ou des articles auto-déclarés générés par l’IA dans les publications principales.

Le nouvel article est intitulé Tout le monde préfère les écrivains humains, y compris l’IA, et provient de deux auteurs du Centre des humanités numériques de Princeton. Le travail est accompagné d’une publication de données connexe sur Zenodo (avec une publication GitHub citée dans l’article, mais le référentiel n’était pas actif au moment de la rédaction).

Méthode

Pour explorer comment l’attribution affecte et façonne les perceptions de style et de créativité, les auteurs ont utilisé Exercices de style, un travail excentrique de 1947 de Raymond Queneau qui réécrit une simple anecdote dans 99 styles différents. L’histoire suit un homme qui monte dans un bus, se dispute avec un autre passager et reçoit plus tard des conseils de mode d’un ami.

Bien que littéraire à l’origine, cette structure anticipe les transformations basées sur les invites dans les modèles de langage modernes, où les utilisateurs demandent des réécritures dans des tons, des voix ou des registres spécifiques. Ce processus a été autrefois surnommé transstylisation – un encadrement maintenant échoé dans la recherche en IA dans le contexte de Style Transfer. Alors que la plupart des méthodes computationnelles ciblent des changements fonctionnels tels que des changements de sentiment ou une désintoxication, les réécritures de Queneau visent à des contrastes stylistiques notables.

À partir d’une traduction anglaise populaire de l’œuvre de Queneau, trente exercices ont été sélectionnés qui préservaient la narration tout en couvrant une large gamme de styles. Cela comprenait des formes contraintes telles que alexandrines et lipogrammes, des changements de registre tels que noble ou abusive, des déplacements narratifs tels que rétrograde et hésitation, et des distorsions ludiques impliquant des spoonerismes, des onomatopées ou du latin de cuillère:

Exemples de l’étude montrant comment GPT-4 a réécrit les histoires de Queneau dans différents styles littéraires, appariés avec les descriptions de style que les évaluateurs humains et IA ont vus pendant les tests. Source: https://arxiv.org/pdf/2510.08831

Puisque les expériences de Queneau sont difficiles à classer, ces catégories ne sont que des regroupements approximatifs, avec l’intention non de tester la reconnaissance ou la conformité au genre, mais plutôt de créer des conditions diverses sous lesquelles (les lecteurs humains) et les modèles pourraient révéler leurs préjugés.

Pour produire des contreparties écrites par l’IA pour chaque style sélectionné, les chercheurs ont utilisé des invites délibérément minimales. Chaque modèle a reçu la version la plus simple de l’anecdote de Queneau (le premier exercice, Notation), ainsi qu’une brève instruction pour la réécrire dans un style spécifique, tel que Réécrivez l’histoire comme une version de science-fiction. Cette approche a permis aux invites de refléter l’esprit des transformations originales de Queneau, tout en laissant le modèle interpréter librement le style.

Double vision

La première étude menée par les auteurs a utilisé GPT-4o pour générer toutes les variantes de style, puisqu’il s’agissait du modèle le plus avancé disponible à l’époque. L’utilisation d’un seul modèle a assuré des sorties cohérentes, permettant d’isoler l’effet des étiquettes d’attribution, que l’étude a cherché à tester.

Les sorties n’ont pas été éditées pour le style ou le ton, à l’exception de l’encadrement tel que Voici la version réécrite.

Dans la deuxième étude, le processus de génération a été répété sur treize grands modèles de langage: Qwen 2.5 72B Instruct, Mistral Nemo, Mistral Medium 3, Llama 4 Maverick, Llama 3.3 70B Instruct, Gemini 2.5 Flash, GPT-4o Mini, GPT-4o, GPT-3.5 Turbo Instruct, DeepSeek RI (0528), DeepSeek Chat v3 (0324), Cohere Command R (08-2024), Claude Sonnet 4, et Claude 3.5 Haiku.

Chaque modèle a reçu les mêmes instructions et a produit ses propres versions des trente exercices, ce qui a permis aux chercheurs de tester si les effets d’attribution se maintenaient sur différents auteurs IA, plutôt que d’être liés à un seul modèle.

Données et tests

Les chercheurs ont présenté les mêmes paires d’histoires à différents groupes de personnes, mais ont modifié les étiquettes pour voir à quel point le nom de l’auteur influençait les opinions: un groupe n’a vu aucune étiquette d’auteur, seulement des étiquettes ‘A’ et ‘B’. Le deuxième groupe a vu les noms corrects, avec une version marquée comme écrite par un humain et l’autre marquée comme écrite par GPT-4o.

Un troisième groupe a vu les noms inversés, avec l’histoire ‘IA’ marquée comme ‘humaine’ et la version ‘humaine’ marquée comme ‘IA’:

Aperçu de l’étude 1. Les juges humains et IA ont comparé 30 paires d’histoires, chacune contenant une version écrite par Queneau et une par GPT-4. Les juges ont été divisés en trois groupes: un n’a vu aucune étiquette d’auteur; un a vu les étiquettes correctes; et un a vu les étiquettes inversées – une configuration conçue pour tester dans quelle mesure les noms d’auteurs influencent les opinions sur le style d’écriture.

Étude 1

Les chercheurs ont divisé les 30 styles créés en ensembles plus petits, chaque participant à l’étude voyant seulement cinq styles, et chaque style testé sous les trois configurations d’étiquetage.

Chaque participant n’a vu qu’une configuration d’étiquetage: le groupe aveugle n’a vu aucune mention de l’IA, tandis que les autres groupes ont vu soit les étiquettes d’auteur correctes, soit les étiquettes inversées. L’attribution de groupe, l’ordre des histoires et le placement gauche-droite ont tous été aléatoirisés.

Les modèles d’IA ont suivi le même processus, recevant le même mélange de styles et le même mélange aléatoire. Chaque test a été effectué trois fois par modèle pour s’assurer que les résultats étaient cohérents, permettant ainsi de comparer les réactions humaines et IA aux étiquettes d’auteur.

L’étude 2 a utilisé les mêmes trois configurations d’étiquetage que précédemment, mais a élargi le test pour inclure les 420 histoires générées à partir des 14 modèles de langage LLM mentionnés précédemment. Chaque modèle a évalué chaque histoire sous chaque condition d’étiquetage, produisant 1 260 décisions par modèle, et aboutissant à 17 596 évaluations valides:

Résultats de l’étude 1. Les juges humains et IA ont tous montré un biais basé sur les étiquettes d’auteur. Lorsque aucune étiquette n’a été affichée (Aveugle), les préférences étaient presque égales; lorsque les étiquettes correctes ont été affichées (Étiquette ouverte), les deux groupes ont préféré le texte écrit par l’homme; et lorsque les étiquettes ont été inversées (Contrefactuel), les deux groupes ont basculé pour préférer le texte qu’ils croyaient être humain – et cet effet a été beaucoup plus fort dans les modèles d’IA que chez les humains. Les barres d’erreur représentent les intervalles de confiance à 95%.

Au cours de toutes les 13 modèles, le modèle a correspondu au biais humain, mais était beaucoup plus fort: sans étiquette, les systèmes d’IA ont noté les histoires humaines et IA à peu près également, choisissant le texte IA 49,4 % du temps; lorsque l’étiquette IA était visible, cette préférence a chuté fortement à 29,8 %, montrant une dévaluation claire du travail IA reconnu; et lorsque le même texte était étiqueté comme humain, la préférence a augmenté à 64,1 %.

La différence entre les deux conditions d’étiquetage était de 34,3 %, ce qui signifie que les modèles d’IA ont changé leur préférence beaucoup plus que les humains lorsque les étiquettes ont été inversées. De plus, les modèles ont été très cohérents sur plusieurs exécutions, confirmant que le biais était stable et non aléatoire.

Pour vérifier si le biais était causé par le libellé des étiquettes plutôt que par l’auteur du texte, les chercheurs ont effectué deux tests supplémentaires: l’un a utilisé des étiquettes qui faisaient que l’IA semblait plus impressionnante; et l’autre a utilisé des termes neutres tels que ‘écrit par l’IA’ et ‘écrit par l’homme’.

Les deux ont montré le même biais, et même lorsque les modèles d’IA produisaient la même réponse chaque fois, le biais persistait, indiquant que le biais est causé par le type d’étiquette (‘humain’ ou ‘IA’), plutôt que par les mots exacts utilisés.

Étude 2

La deuxième étude a trouvé le même biais pro-humain sur les 13 modèles d’IA, quelle que soit l’architecture ou le fournisseur;

Biais d’attribution pour chacun des 13 modèles d’IA: les barres représentent les tailles d’effet avec des intervalles de confiance à 95 %, et la ligne rouge marque la référence humaine. Tous les modèles ont montré un biais plus fort que les humains, avec de petites différences entre eux.

Chaque modèle a préféré les histoires étiquetées comme écrites par l’homme, avec des effets plus forts que ceux observés chez les humains. Même après avoir supprimé le cas le plus extrême, le biais moyen est resté plus de deux fois plus important que la version humaine, suggérant que l’effet n’est pas un dysfonctionnement dans un modèle, mais un trait partagé des LLM en général.

Conclusion

Bien que, comme le note l’article, des études antérieures aient montré que l’IA peut produire des écrits égaux ou même meilleurs que ceux des humains, les auteurs soulignent que dans la littérature, la valeur accordée à l’auteur et à l’authenticité est une convention ancienne et profondément enracinée:

‘Lorsque GPT-4o Mini rejette l’approche “créative et humoristique” de Queneau comme “exagérée” sous l’étiquette d’attribution IA, tout en la louant sous l’étiquette d’attribution humaine, il révèle implicitement comment ces étiquettes déclenchent des hypothèses selon lesquelles aucun processus psychologique authentique n’a eu lieu.

‘Les indices de provenance font revenir le processus dans ce qui pourrait autrement être un jugement basé uniquement sur le produit: “la simple génération” est acceptable pour un artisan humain (jugé comme un artisanat habile), mais suspecte pour un modèle (jugé comme une recomposition algorithmique).’

Les LLM ne sont pas encore fiables pour la recherche factuelle non supervisée, même si une surveillance attentive peut encore les rendre productifs – mais l’écriture créative basée sur les LLM pourrait faire face à un avenir plus incertain, si les œuvres créatives générées par l’IA deviennent stigmatisées à travers une désapprobation publique plus large de l’empiètement de l’IA sur les domaines humains, plutôt que sur le mérite littéraire.

Les implications des résultats de ces études sont considérablement affectées par la disposition des entreprises et des utilisateurs individuels à être honnêtes sur le fait que l’IA a contribué ou non à leur production. Dans certains cas, une réticence à admettre un tel usage peut avoir plus à voir avec le piratage du droit d’auteur corporate qu’avec la crainte que le public n’accepte les œuvres créatives générées par l’IA.

Cependant, des solutions juridiques, financières et politiques sont possibles (même si très difficiles) en ce qui concerne le droit d’auteur. Que l’on puisse rendre les gens capables d’apprécier les œuvres créatives de l’IA qui n’ont pas d’esprit humain unique et relatif à leur disposition – cela peut être une perspective encore plus difficile.

* Veuillez vous référer à l’article source pour les citations intégrales supprimées. Selon les besoins, celles-ci seront incluses dans l’article.

Publié pour la première fois lundi 13 octobre 2025