À quoi reconnaît-on un texte écrit par une IA ?

Enseignants, éditeurs et recruteurs se demandent de plus en plus si un texte a été écrit avec une IA. Il y a 2 façons d'y répondre : lire les marques que les modèles laissent dans leurs textes, ou confier le texte à un détecteur automatique. Cette explication porte sur les textes ; les images relèvent d'autres méthodes. Les études citées portent sur l'anglais : nous n'avons pas trouvé de relevé équivalent pour le français.

Kobak et ses coauteurs ont compté les mots de 15 millions de résumés d'articles biomédicaux publiés de 2010 à 2024 dans la base PubMed. Après l'arrivée de ChatGPT, fin 2022, certains mots sont devenus bien plus fréquents que leur tendance ne le laissait attendre : en 2024, « delves » l'est 28 fois plus, « underscores » 13,8 fois et « showcasing » 10,7 fois. À partir de cet excès, les auteurs estiment qu'au moins 13,5 % des résumés de 2024 sont passés par un modèle de langage, pour la rédaction ou la relecture, et jusqu'à 40 % dans certains sous-ensembles de revues ou de pays.

Les contributeurs de Wikipédia en anglais tiennent une liste des marques qu'ils rencontrent dans les modifications faites avec une IA. Elle cite des mots (« delve », « pivotal », « tapestry », « testament », « underscore »), le remplacement de « is » par « serves as », les parallélismes du type « not X, but Y », l'usage répété des listes de 3 éléments, les titres de section avec une majuscule à chaque mot, et une section finale sur les « défis » du sujet, construite toujours sur le même modèle. La liste précise qu'un mot isolé ne prouve rien : c'est l'accumulation de ces marques, dans une modification faite après 2022, qui compte.

Les assistants ne laissent pas tous les mêmes marques. Sun et ses coauteurs ont entraîné un classifieur sur des réponses de 5 assistants, ChatGPT, Claude, Grok, Gemini et DeepSeek : il retrouve l'assistant d'origine dans 97,1 % des cas, quand le hasard en donnerait 20 %. Les marques tiennent au vocabulaire et à la construction plus qu'à la forme : après une paraphrase par un autre modèle, le classifieur a encore raison dans 91,4 % des cas, et dans 91,8 % après une traduction en chinois. Il tombe à 58,1 % quand le texte est résumé.

Un détecteur rend un score pour un seul texte, ce qui est plus difficile que de compter des fréquences sur des millions. En 2023, Liang et ses coauteurs ont soumis à 7 détecteurs répandus des textes écrits par des humains : 91 rédactions du TOEFL, l'examen d'anglais des non-anglophones, recueillies sur un forum chinois, et 88 rédactions d'élèves américains de 8e année, l'équivalent de la quatrième. Les détecteurs ont classé à tort 61 % des rédactions du TOEFL comme écrites par une IA, en moyenne, contre 5 % des rédactions américaines. 18 des 91 rédactions du TOEFL ont été signalées par les 7 détecteurs, et 89 par au moins un. Les auteurs l'expliquent par un vocabulaire plus simple et plus prévisible : après un enrichissement du vocabulaire de ces rédactions, le taux d'erreur tombe à 12 %.

Turnitin, éditeur d'un détecteur destiné à l'enseignement, annonçait en juin 2023 un taux de faux positifs inférieur à 1 % au niveau du document, pour les documents contenant au moins 20 % de texte d'IA, et, au niveau de la phrase, une probabilité d'environ 4 % qu'une phrase signalée soit en fait écrite par un humain ; 54 % des phrases signalées à tort sont voisines d'un passage réellement écrit par une IA. Ces taux sont ceux de l'éditeur, sans vérification extérieure publiée.

Pour nous, au Projet Celsius, les marques des textes d'IA sont réelles et mesurables, mais elles se mesurent sur des corpus ou entre assistants connus. Un mot ou une tournure ne prouve rien sur un texte isolé, car les humains les emploient aussi, et ceux qui écrivent le plus simplement sont les plus souvent accusés à tort. Un score de détecteur ne suffit pas, à lui seul, à fonder une sanction.