Une expérience qui renverse les attentes
Des chercheurs de l’Université Villanova ont mené une série d’expériences pour savoir si les lecteurs pouvaient distinguer un texte rédigé par un humain d’un texte produit par l’intelligence artificielle ChatGPT. Trois histoires littéraires, publiées dans des revues reconnues, ont été comparées à trois récits créés par le même modèle. Au total, plus de 2 500 participants ont été sollicités, répartis sur trois protocoles distincts.
Le premier test : la vérité annoncée ou cachée
Dans le premier volet, 1 682 volontaires ont reçu un texte en sachant, ou non, s’il était issu d’un humain ou d’une IA. La moitié des informations étaient exactes, l’autre moitié trompeuses. Après lecture, ils ont évalué la qualité narrative et le degré d’immersion ressentis.
Les deux tests suivants : identification à l’aveugle
Les deux expériences suivantes ont présenté à chaque participant un texte humain et un texte IA, sans indication d’origine. Les sujets devaient deviner qui était l’auteur et, parallèlement, répondre à un questionnaire sur leur familiarité avec les outils d’IA et leurs connaissances littéraires.
Résultats surprenants
Les récits générés par ChatGPT ont obtenu des scores supérieurs en termes de qualité perçue et d’absorption du lecteur. L’effet est encore plus prononcé lorsque les participants croient que le texte provient d’un humain, même si l’auteur réel est l’IA. Cette illusion révèle un biais favorable aux productions humaines, même lorsqu’elles sont en réalité artificielles.
La capacité à identifier correctement une œuvre d’IA était très limitée : seulement 39,9 % des réponses étaient justes dans le deuxième test, et 52 % dans le troisième, soit à peine mieux que le hasard.
Le rôle de la connaissance de l’IA
Les participants qui se déclaraient plus familiers avec les systèmes d’intelligence artificielle étaient nettement meilleurs pour repérer les textes générés par ChatGPT. Chaque point supplémentaire sur l’échelle d’auto‑évaluation de la maîtrise de l’IA augmentait la probabilité de bonne identification de 14 % à 33 % selon le test. En revanche, le niveau de culture littéraire n’a eu aucun impact significatif.
Les chercheurs attribuent cette différence à la reconnaissance de schémas typiques de l’IA, comme l’usage récurrent de constructions du type « il ne s’agit pas seulement de X, mais aussi de Y » ou l’emploi excessif de tirets de pensée.
Interprétations et implications
Deena Weisberg, responsable de l’étude, explique que les participants accordent inconsciemment une plus grande valeur aux textes qu’ils pensent être humains, même si la réalité montre que les productions d’IA peuvent surpasser les créations humaines en termes de fluidité et de cohérence narrative. Cette préférence reflète un préjugé culturel qui sous‑estime les capacités créatives de l’intelligence artificielle.
Les résultats suggèrent que, à mesure que les modèles de langage se perfectionnent, le public devra développer une littératie numérique plus fine pour discerner l’origine des contenus. Une meilleure compréhension des mécanismes de l’IA pourrait réduire les malentendus et permettre une utilisation plus éclairée de ces outils dans la création littéraire.
En définitive, l’étude montre que les lecteurs sont prêts à adopter les récits d’IA, à condition qu’ils les perçoivent comme authentiques. Cette dynamique ouvre la porte à de nouvelles formes de collaboration entre humains et machines dans le domaine de l’écriture.
