Peut‑on vraiment détecter les textes générés par IA ?

  • Il est très difficile, aujourd’hui, de savoir si un texte est produit par un humain ou par une intelligence artificielle, malgré des avancées législatives qui vont dans le sens d’un affichage de son usage.

  • Certains logiciels monétisent cette difficulté et proposent de détecter les textes produits par une IA, mais leur fiabilité reste difficile à prouver.
  • Si le règlement européen sur l’IA, l’IA Act, promet plus de transparence sur les contenus générés par IA, la majorité des utilisateurs, par défaut, tient pour authentiques les textes ainsi produits.

Les textes générés par intelligence artificielle (IA) ouvrent une situation nouvelle : relevant à leur manière du régime de la post-vérité par leur indifférence à toute catégorisation, ces textes ne sont ni vrais ni faux, ni authentiques ni falsifiés. Nulle autorité ne s’aviserait de s’en porter garant. Les firmes productrices des chatbots se contentent des mentions comme « Peut comporter des erreurs » et autres formules d’un vague précautionneux imitées des industries du tabac ou de l’agroalimentaire.

Prenons l’exemple de l’édition. Un nouveau problème d’authentification se pose aux journalistes comme aux éditeurs de journaux ou de livres. Comment savoir si un manuscrit reçu est l’œuvre d’un humain ou le produit d’une IA ? Cette question met évidemment en jeu la crédibilité des auteurs comme celle des éditeurs.

En amont, les IA ont été entraînées non seulement à partir de données personnelles et de documents en accès libre, mais aussi de textes sous droits. Couvert par un commode « secret industriel » ce pillage initial, euphémisé en fair use, ou « usage équitable », n’a pas été compensé par les quelques droits d’usage négociés discrètement par les éditeurs les plus importants.

Désormais, cependant, l’édition se doit en outre d’évaluer la part prise par l’IA dans les textes qui lui sont soumis pour publication. À la suite de divers scandales, les éditeurs tentent de rassurer leur public en publiant des recommandations destinées aux auteurs.

Or, pour les grands éditeurs scientifiques anglo-saxons, l’usage de l’IA générative ne remet pas en cause l’authenticité des manuscrits soumis : elle doit simplement apparaître dans les remerciements – ce qui est déjà lui reconnaître une personnalité, comme si elle était devenue une collègue. En somme, cet usage semble accepté, bon gré mal gré.

IA et littérature

Dans le domaine de la création littéraire, la notion d’auteur (humain) reste privilégiée. Ainsi, en 2024, la romancière japonaise Rie Kudan reçut le prestigieux prix Akutagawa pour un roman d’anticipation, mais suscita des critiques quand elle révéla malicieusement avoir eu recours à l’IA – pour 5 % du texte seulement assura-t-elle. Comme une prophétie autoréalisatrice, son roman décrit les effets de l’IA sur la société à venir.

Depuis, les jurys semblent plus suspicieux, mais parfois à leur détriment. Gagnant du prix Commonwealth de la meilleure nouvelle, Jamir Nazir dut rendre sa récompense. Mais après un long procès, et sur la foi « de brouillons, d’ébauches, de plans, de documents horodatés et de notes », il eut gain de cause en juillet 2026 et le montant de son prix fut même doublé à titre de dédommagement.

Les indices stylistiques restent d’autant plus conjecturaux que les humains et les IA imitent réciproquement leur langage, par un effet mimétique de code-switching (alternance codique, ndlr) pour les premiers et, pour les IA, par « un alignement » programmé qui les conduit à se régler sur les propos que leur adressent leurs utilisateurs.

La détection de l’IA par l’IA ?

Pour lever les doutes, on a alors recours à des logiciels d’IA spécialisés dans la détection – en application peut-être d’un adage de Mark Zuckerberg, qui affirme que l’IA peut réparer les dommages qu’elle cause, comme jadis la lance d’Achille pouvait magiquement guérir les blessures. Et de fait, les doutes semés par les textes artificiels se sont assez épaissis pour donner matière à un nouveau secteur économique voué à la détection des IA, et que nous nommerons l’« industrie du soupçon ». Elle parvient à monétiser la confusion semée par les textes artificiels.

Dans ce domaine, la firme la plus importante reste Pangram, fondée en 2018. Son directeur, Max Spero, presse les éditeurs de « modérer strictement le contenu généré par IA » (« strictly moderate AI-generated content ») et n’a pas hésité à dénoncer nommément des journalistes, notamment ceux du New York Times. Les accusations, reprises par The Atlantic, suscitèrent une polémique qui s’assourdit toutefois quand James Taranto, dans le Wall Street Journal, montra que les mêmes articles, soumis à Pangram, obtenaient des scores différents à divers moments de la journée.

À l’heure actuelle du moins, les logiciels d’IA destinés à détecter les textes artificiels sont tout aussi opaques et trompeurs que ceux qui ont produit ces textes. Ils se contentent d’aligner des pourcentages : par exemple, le témoignage encore inédit, l’Expérience humaine, de Thierry Crouzet, soumis par son auteur au logiciel Justdone, serait écrit à 61 % par une IA. Il s’interroge : « Je ne serais qu’à 39 % humain ? » Il lui suffit d’ailleurs de soumettre son texte à d’autres outils de détection pour voir varier son pourcentage d’humanité…

Comme ces pourcentages sont calculés à partir d’indices opaques, ces logiciels ne font pas mieux que les lecteurs suspicieux, mais somme toute pire, car ils présentent des conjectures comme des résultats et multiplient ainsi les faux positifs comme les faux négatifs. Aussi, craignant sans doute des injustices et surtout des procès, de grandes universités, comme Austin, Yale, Berkeley ou le MIT, ont décidé d’interdire l’usage des détecteurs d’IA.

Une humanisation artificielle ?

Cependant leur succès ne se dément pas, car l’on prend volontiers les sorties machines pour des résultats. Et outre, ces détecteurs d’IA reposent sur des technologies duales et proposent benoîtement de maquiller les textes générés par IA pour les « humaniser » et se garantir ainsi des accusations, qu’elles soient justifiées ou non.

Ainsi Justdone propose : « Préservez l’authenticité de vos écrits en identifiant les contenus générés par l’IA. Précision de 99,8 %. » Grammarly, pour sa part, « détecte et corrige le contenu généré par IA » et se présente comme un logiciel « d’humanisation ». Inutile de souligner le paradoxe d’une originalité machinale promue par des slogans comme : « Rendez votre texte 100 % original. »

Le recours à une humanisation artificielle ne trahirait-il pas une démission éthique ? Il fait en tout cas les affaires des entreprises de détection, et l’on comprend mieux pourquoi le directeur de Pangram dénonçait des « coupables » : l’intimidation devenait telle que des auteurs en viennent à utiliser son IA pour se prémunir de l’accusation d’avoir utilisé l’IA…

La confusion s’accroît ainsi. Par exemple, accusé par Pangram de publier 41 % de posts longs et 30 % de posts courts générés par IA, le grand réseau professionnel LinkedIn a mis en place un bouton qui permet à ses utilisateurs de marquer les textes qu’ils suspectent de la mention désobligeante AI slop. C’est un moyen d’entraîner son propre détecteur d’IA, mais par des conjectures qui restent incontrôlables. La perplexité s’accroît encore quand on s’avise que LinkedIn met obligeamment à disposition de ses abonnés premium un générateur de textes, et que sa maison mère est actionnaire d’OpenAI.

En somme, on ne saurait s’en remettre aux détecteurs d’IA, puisqu’ils conservent toute l’opacité des chatbots qu’ils sont censés caractériser.

Lire la suite

 

 

Directeur de recherche, Centre national de la recherche scientifique (CNRS)

 

 

Source : The Conversation 

 

 

 

Diffusion partielle ou totale interdite sans la mention : Source www.kassataya.com

Articles similaires

Bouton retour en haut de la page