Contexte de l’étude

Un groupe de chercheurs américains a récemment mis à l’épreuve la capacité des lecteurs à distinguer un texte rédigé par un être humain d’un texte issu d’une intelligence artificielle. L’objectif était de mesurer les préférences réelles lorsqu’on présente les mêmes histoires, mais en manipulant l’information sur leur origine. Les résultats, publiés dans la revue Scientific Reports, ont révélé une tendance inattendue : les participants ont souvent attribué de meilleures notes aux récits générés par ChatGPT, surtout lorsqu’ils pensaient qu’ils provenaient d’un auteur humain.

Méthodologie

Les scientifiques ont sélectionné trois nouvelles nouvelles publiées dans des revues littéraires reconnues et ont demandé à ChatGPT de produire trois textes de même longueur et de même thématique. Au total, plus de 2 500 participants ont été recrutés pour trois expériences distinctes. Dans la première, on a présenté un seul texte à chaque sujet, en indiquant soit la vérité, soit un mensonge sur son origine. Dans les deux expériences suivantes, chaque participant a lu deux histoires – l’une humaine, l’autre artificielle – sans connaître leur provenance, puis a dû deviner qui était l’auteur.

Résultats surprenants

Les évaluations de qualité et d’immersion (ou « absorption ») ont été systématiquement supérieures pour les productions de ChatGPT. L’effet était encore plus prononcé lorsque les participants croyaient que le texte était le fruit d’un écrivain humain. En revanche, la capacité à identifier correctement l’auteur IA était très limitée : seulement 40 % des réponses étaient justes dans le deuxième test, et un peu plus de 50 % dans le troisième, soit à peine mieux que le hasard.

Pourquoi les lecteurs sont‑tels trompés ?

Selon la principale investigatrice, Deena Weisberg de l’Université Villanova, les participants affichent un biais favorable aux œuvres perçues comme humaines. Cette préférence reflète une croyance profonde que la créativité authentique nécessite des émotions, une expérience de vie et un sens de l’empathie que l’on attribue exclusivement aux humains. Ainsi, même lorsque le texte provient d’une machine, le simple fait de croire qu’il est humain conduit à une évaluation plus généreuse.

L’impact de la connaissance de l’IA

Un autre volet de l’étude a montré que les personnes déclarant une bonne maîtrise des outils d’intelligence artificielle étaient nettement plus aptes à repérer les productions de ChatGPT. Chaque point supplémentaire sur l’échelle d’alphabétisation à l’IA augmentait la probabilité de détection de 14 % à 33 % selon les expériences. Les chercheurs ont identifié des indices récurrents dans les textes de l’IA, tels que l’usage excessif de tirets de pensée ou de constructions du type « il ne s’agit pas seulement de X, mais aussi de Y ».

Ces découvertes soulèvent des questions importantes pour les écrivains, les éditeurs et les plateformes de diffusion de contenu. Si les algorithmes peuvent désormais produire des récits qui rivalisent, voire surpassent, ceux des auteurs humains aux yeux du public, la perception du « vrai » auteur pourrait évoluer rapidement. En même temps, la capacité à reconnaître les signatures de l’IA dépend largement de l’exposition et de la formation du lecteur, ce qui suggère que l’éducation aux technologies émergentes devient un enjeu culturel majeur.

Source: https://scientias.nl/mensen-lezen-liever-een-verhaal-van-chatgpt-en-dan-vooral-als-ze-denken-dat-het-door-een-mens-is-gescheven/

Related Articles