L’IA peut-elle vraiment détecter l’IA ? (🎤 Thomas Jacquesson, Lucide AI)

Thomas Jacquesson: [0:01] Si vous demandez à Claude ou ChatGPT si un texte a été produit par une IA ou pas, dans la réalité, il n'en a aucune idée. Thomas Jacquesson: [0:11] Il n'est pas entraîné pour ça, il ne sait pas. Il se trompe 40-45% du temps en général, donc une fois sur deux, c'est-à-dire fiabilité zéro. Monde Numérique : [0:29] Comment savoir si un texte a été écrit par intelligence artificielle ? La question est au cœur de l'actualité en ce moment avec la polémique autour du livre « C'était ça ou mourir » de l'écrivain québécois Télison Aurélien. Et c'est une question qui se pose aussi au quotidien pour des tas de documents professionnels ou dans le monde de l'enseignement. Alors, au fond, comment fonctionne un détecteur d'IA et surtout, est-ce que c'est vraiment fiable ? C'est ce que j'ai voulu savoir en interrogeant l'un d'entre eux. Bonjour Thomas Jackson. Thomas Jacquesson: [0:57] Bonjour Jérôme. Monde Numérique : [0:58] Vous êtes président de Lucid AI qui se présente comme le détecteur d'IA made in France le plus fiable. Alors, qu'est-ce que ça permet d'abord ? Qu'est-ce que ça permet votre outil exactement ? Thomas Jacquesson: [1:11] En fait, c'est très simple. L'idée, c'est de vérifier si un texte a été généré par une IA, tout ou en partie, ou bien si c'est un humain qui est à l'origine du texte. Monde Numérique : [1:25] D'accord, donc on va sur le site, on fait un copier-coller ou bien on upload le fichier et ensuite c'est quasiment instantané, c'est ça ? Thomas Jacquesson: [1:34] Oui, voilà, c'est l'affaire de quelques secondes. On va montrer un verdict global pour l'ensemble du document ou du texte. Et ensuite, on va aussi, dans la version payante, surligner les différents passages qui sont considérés comme étant le plus marqués par une patte d'intelligence artificielle. Monde Numérique : [1:54] Bon, alors vous me voyez arriver avec mes gros sabots. Avant de vous demander si c'est fiable, je vais vous demander d'abord comment ça marche. Est-ce que vous pouvez nous expliquer un peu comment ça fonctionne ? Thomas Jacquesson: [2:03] Oui, je ne sais pas si vous avez fait le test vous-même, mais si vous demandez à Claude ou ChatGPT si un texte a été produit par une IA ou pas, dans la réalité, il n'en a aucune idée. Il n'est pas entraîné pour ça, il ne sait pas. et nous, on a fait une petite étude, d'ailleurs qu'on publiera prochainement, mais il se trompe 40-45% du temps en général, donc une fois sur deux, c'est-à-dire fiabilité zéro. Donc ça, c'est déjà pour tout ce qui est IA, on va dire, native. Monde Numérique : [2:40] C'est-à-dire, vous voulez dire, quand on demande à l'IA, si un texte a été écrit par l'IA, quoi ? Thomas Jacquesson: [2:44] Exactement. Monde Numérique : [2:46] Même si ça a été écrit par lui-même ? Thomas Jacquesson: [2:49] Oui. Enfin, s'il l'a en mémoire, il pourra toujours dire que voilà. Mais si je prends deux comptes différents, que je fais créer le texte par un compte et que je le copie-colle dans l'autre compte, ça ne fonctionnera pas non plus. Donc, ce qu'ont fait les premiers détecteurs IA, et encore certains aujourd'hui, c'est qu'ils ont créé en fait des sortes de fichiers de règles en se basant, en analysant en fait quantité de texte générée par des IA. C'est vrai que souvent, on peut retrouver des façons de faire, des façons de rédiger, de s'exprimer de l'IA. Il y a deux exemples assez populaires. Il y a le tiré quadratin, le M-dash en anglais. Monde Numérique : [3:31] C'est ce tiré qui est à mi-hauteur et qui est plus long même que ce qu'on fait manuellement. Thomas Jacquesson: [3:36] Exactement donc ça c'est il est vrai que c'est très utilisé par par les ias il ya un autre exemple c'est dans la manière de s'exprimer le ce n'est pas si c'est ça toujours en essayant de faire voilà des dd, une comparaison ce que ça n'est pas ce que c'est ce genre ce genre de phrases là c'est très ya, donc les premiers détecteurs qui était relativement fiable on en parlera après, faisaient ça en fait, ils soumettaient plein de règles et en se basant sur ces règles, on était en mesure de plus ou moins dire si un texte était de l'IA. Ce que font les meilleurs détecteurs aujourd'hui, en fait, on entraîne une IA, avec des centaines de milliers de textes tout en connaissant à chaque fois l'origine du texte. Donc, on lui dit « ce texte, c'est de l'IA, ce texte, c'est humain, ce texte, c'est IA, ce texte, c'est de l'U. » En faisant ça des centaines de milliers de fois, on arrive finalement à entraîner une IA de sorte à ce qu'elle soit assez fiable, on en parlera juste après, et avoir une IA finalement qui cette fois-ci est capable de répondre à la question ce texte est-il généré avec une IA ? Monde Numérique : [4:56] Ok, donc on n'est pas sur de l'analyse, je veux dire, il n'y a pas de marque secrète à l'intérieur d'un texte généré par IA, il n'y a pas de watermark comme on dit ? Thomas Jacquesson: [5:06] Non. Monde Numérique : [5:09] Mais c'est vraiment sur la structure du texte lui-même que vous vous basez. Thomas Jacquesson: [5:16] Oui, et ce qui est intéressant, c'est qu'aucun humain n'est vraiment capable d'expliquer pourquoi un texte est-il. Et l'IA elle-même, qui a pourtant appris, n'est pas capable vraiment de l'expliquer, de dire c'est précisément ce critère-là, là, dans la manière de rédiger, qui fait que j'ai su. C'est simplement qu'il y a vu 10 millions de textes humains, 10 millions de textes machines, et est capable de faire la distinction, mathématiquement si je puis dire, mais il n'y a pas un effet de style en particulier qui déclenche à chaque fois, il n'y a pas un watermark. Monde Numérique : [5:52] C'est un ensemble de paramètres en fait, un ensemble de choses. Mais est-ce que ça marche sur un texte très court par exemple ? Thomas Jacquesson: [6:02] Ah ben ça c'est justement, ça c'est une des faiblesses des détecteurs d'IA, c'est que ça ne marche pas très bien sur des textes courts. La précision va vraiment drastiquement se réduire si un texte ne fait pas au moins, je dis au bas mot, 300, 400 mots. Si on est sur des commentaires sur les réseaux sociaux, des petites choses comme ça, ou juste un extrait, un paragraphe d'un livre ou d'une dissertation, Ça sera très difficile de dire si c'est de l'IA ou pas parce qu'il n'y a pas assez de matière à analyser finalement pour formuler un verdict fiable. Monde Numérique : [6:41] Alors, en ce qui concerne ce livre, qui fait polémique, ou en tout cas qui soulève beaucoup de questions en ce moment et ces dernières semaines, on a parlé principalement du détecteur Pamgram, qui est un concurrent à vous, américain, qui assure que c'est de l'IA, en tout cas en ce qui concerne les passages qui l'ont été soumis. Vous-même, vous avez, je crois, soumis le livre ou une partie du livre. Vous dites aussi que c'est de l'IA, mais il y a d'autres détecteurs. Il y a notamment un qui s'appelle Killbot qui dit que non. Comment expliquer ces divergences ? Thomas Jacquesson: [7:14] C'est les méthodes d'entraînement, selon moi. Je ne connais pas la méthode d'entraînement de Killbot. Néanmoins, je connais la mienne. Et à mon avis, je ne sais pas, je pense que Killbot fonctionne avec ce fameux fichier de règles qu'on avait évoqué précédemment. Qui serait le tiré cadratin, certaines formulations assez typiques. Monde Numérique : [7:45] Vous voulez dire que les plus basiques ? Thomas Jacquesson: [7:48] Je pense qu'il y a des chances qu'il soit plus basique. Je pense aussi qu'une alternative serait qu'il ait été moins entraîné sur des écritures, au style similaire à celui de l'auteur en question. Donc c'est possible qu'il n'arrive pas à faire le distinguo. Néanmoins, je tiens quand même à dire que tous les détecteurs peuvent se tromper, y compris Lucide, y compris Pangram, y compris Prilbot et tous les autres. Monde Numérique : [8:19] Quel est votre taux de réussite ou votre taux de ce qu'on appelle les faux positifs, c'est-à-dire les moments où il dit que c'est de l'IA alors que c'est pas de l'IA ? Thomas Jacquesson: [8:27] Oui, absolument. Nous, on a un taux général de bonne réponse, sans parler juste des faux positifs, mais qui est autour de 97%. Ça varie un petit peu, je n'ai pas les chiffres en tête exacts selon le registre d'écriture. Il y a certains registres qui vont scorer un peu moins bien, certains registres un peu mieux. Et en termes de faux positifs on est en dessous d'un pour cent donc vous. Monde Numérique : [8:52] Vous êtes catégorique d'une certaine manière, le livre a été écrit par hier. Thomas Jacquesson: [8:58] Je ne le formulerai pas comme ça, parce que c'est un petit peu difficile, c'est aussi un sujet clairement sensible. Ce que je peux dire, c'est que notre détecteur, qui est relativement fiable, pense qu'effectivement, c'est de lire. Et en fait, ce qu'on a essayé de faire, nous, dans notre étude, pour reprendre l'histoire, c'est un compte anonyme sur Twitter qui a posté une capture d'écran du résultat de Pangram. Nous on a voulu aller un peu plus loin pour éliminer les biais parce qu'en fait, un cas comme ça soumis à pangram c'est très bien mais il faut le soumettre il faut soumettre plein d'autres textes, qui pourraient éventuellement expliquer pourquoi cet auteur là a été catégorisé comme il ya, est ce que en fait il va catégoriser plein d'auteurs comme il ya voilà c'est un peu ça la question qu'on se posait du coup ce qu'on a fait c'est on a, on a analysé aussi les top ventes de l'année le but là c'est donc les top ventes de littérature, le but là c'était d'éliminer un peu un espèce de biais qui pourrait de récence c'est à dire que est ce que la manière dont on écrit aujourd'hui ressemble davantage à des codes, de manière d'écrire de lia donc on a réussi à évacuer au moins en partie ce biais, parce qu'aucun autre ouvrage dans les top ventes. Thomas Jacquesson: [10:24] N'a été identifié comme généré par l'IA. Thomas Jacquesson: [10:28] Et il y a deux autres biais qu'on a voulu éliminer, c'est le style d'écriture. Donc si on regarde un peu le livre en question, c'est une écriture très brute, c'est ce qu'on appelle de la littérature blanche. Il n'y a pas de fioriture, on fait des phrases courtes, on saute des lignes, c'est assez particulier. Monde Numérique : [10:51] Mais c'est un style que l'auteur utilisait déjà dans d'autres écrits précédemment ? Thomas Jacquesson: [10:56] Oui, tout à fait. Monde Numérique : [10:56] Et qui n'ont pas été détectés comme de l'IA ? Thomas Jacquesson: [10:59] Absolument. Et c'est aussi un style que d'autres auteurs utilisent et qui, en l'occurrence, n'ont pas non plus été détectés dans notre analyse comme de l'IA. Et enfin, il y a un dernier biais qu'on a voulu éliminer parce que, tristement, j'ai envie de dire, il y a toute une partie, de l'emballement qui tourne autour de la question, disons-le clairement, que c'est un auteur noir. et du coup beaucoup de gens, ont l'air ravis que ça tombe sur un auteur noir et dans le même temps beaucoup de gens disent ah bah vous avez testé un auteur noir comme par hasard mais pas d'auteur blanc oui, oui il ya toute une polémique une polémique effectivement on a aussi voulu analyser d'autres auteurs avec on va dire un héritage culturel, similaire à celui de l'auteur accusé, et là non plus on n'a pas trouvé trace d'IA. Monde Numérique : [12:06] Mais ce que je veux dire c'est que, si l'auteur a quand même un style qui est très particulier il avait déjà des écrits comme ça ce livre est dans le même style, c'est dans la même veine pourquoi est-ce que dans un cas ce serait pas de l'IA et dans l'autre ce serait de l'IA ? C'est la question à laquelle vous ne savez pas répondre en fait. Thomas Jacquesson: [12:27] Oui parce qu'en fait comme je vous le disais un peu plus tôt on n'est pas en mesure d'expliquer ce qui fait qu'un texte est de l'IA ou pas, c'est fou ça quand même oui je comprends que ça puisse paraître assez dingue, mais c'est entre guillemets il n'y a que l'IA qui est capable de faire cette catégorisation il faudrait peut-être faire des. Monde Numérique : [12:49] Recherches de reverse engineering pour comprendre. Thomas Jacquesson: [12:52] Ouais c'est peut-être quelque chose qu'on pourrait essayer de faire à l'avenir effectivement mais aujourd'hui je ne suis pas capable de vous dire ce qui fait que ce texte en particulier a reçu ce verdict si je peux dire. Monde Numérique : [13:06] Mais on a dit aussi que tous les écrits de style non commun, on va dire, risquaient plus facilement de tomber sous le coup et d'être considérés comme de l'IA. Thomas Jacquesson: [13:17] Oui, c'est très juste. Ça fait partie des faiblesses des détecteurs d'IA. En fait, pour qu'un détecteur d'IA soit juste à 100%, c'est très simple. Il faudrait qu'on absorbe tous les écrits de l'histoire de l'humanité. Il faudrait que la langue elle-même cesse d'évoluer qu'on parle toujours pareil, et en plus il faudrait, c'est peut-être le plus dur il faudrait que les IA elles-mêmes cessent d'évoluer on n'est pas parti pour, même s'il y a des discussions donc, toutes ces petites choses-là, ce sont des biais qui font qu'un détecteur d'IA ne sera selon moi jamais à 100% parce que la langue évolue en permanence ça pourra pas l'être parce que la langue évolue constamment, parce que, parce qu'on n'a pas accès à tous les écrits de l'histoire du monde et du coup l'auteur peut toujours dire voilà. Monde Numérique : [14:15] On peut toujours contester les résultats du détecteur d'ailleurs. Thomas Jacquesson: [14:19] Ils le font je pense qu'ils ont raison de le faire, je ne pense pas malheureusement qu'on aura le vrai fin mot de l'histoire là-dessus parce que 99% de fiabilité c'est génial mais c'est pas 100% et de l'autre côté, comment prouver, Qu'on n'a pas utilisé l'IA, c'est aussi un vrai sujet. Monde Numérique : [14:44] Alors, c'est un peu le problème. Finalement, est-ce que ces détecteurs d'IA ne créent pas une suspicion qui sera utilisée pour un oui, pour un non ? Thomas Jacquesson: [14:52] Oui, tout à fait. Monde Numérique : [14:53] Dans tous les domaines. Là, on parle de littérature, mais vous, j'imagine que vos clients, ce n'est pas seulement des auteurs ou ce n'est pas seulement le monde de l'édition. Ça peut troubler tout le monde. Thomas Jacquesson: [15:03] Alors, tout à fait. Je pense qu'il y a un doute qui va s'installer en chacun de nous, quand on va consommer un contenu ou utiliser un site. Ce que je pense fondamentalement, c'est que dans le cas des écrits, ce qui est intéressant, c'est ensuite d'aller challenger la personne qui a écrit. S'il y a quelque chose qui indique qu'il y a une forte probabilité qu'un texte a été rédigé par l'IA, il faut aller challenger la personne qui l'a écrit, lui poser des questions, aller creuser. Pour moi, c'est un indice, ce n'est pas une preuve. Et typiquement, dans le cas, nous, on a pas mal de personnes dans le monde de l'éducation qui utilisent notre outil. On recommande fortement d'aller interroger l'étudiant, l'élève qui a pu qui a pu, qui a peut-être utilisé l'IA, du moins d'après-détecteur ok, est-ce qu'en fait vous connaissez vraiment votre sujet est-ce que vous l'avez bossé est-ce que parce que finalement il y a eu des cas terribles. Monde Numérique : [16:13] Dans l'éducation notamment et il y en a régulièrement de jeunes qui rendent des devoirs on les soupçonne d'avoir utilisé l'IA et qui disent mais pas du tout. Thomas Jacquesson: [16:22] Et d'ailleurs c'est assez marrant parce que nous on a pas mal d'étudiants qui utilisent aussi notre outil et on a les deux catégories, on a ceux qui ont utilisé l'IA et qui veulent voir si ça se voit, mais on a aussi d'utiliser votre outil. Monde Numérique : [16:40] Pour vérifier son propre texte pour ne. Thomas Jacquesson: [16:42] Pas avoir. Monde Numérique : [16:42] De mauvaises surprises après. Thomas Jacquesson: [16:44] Absolument et on a aussi ceux qui n'ont pas utilisé l'IA mais qui ont peur que ça soit quand même de l'IA. Ça, c'est terrible. Les deux existent. Le doute, malheureusement, a été installé par cette arrivée d'une technologie qu'on ne maîtrise pas très bien et qui fait beaucoup de choses. Monde Numérique : [17:02] Voilà. Et sans compter que si on a utilisé l'IA et qu'on passe un texte dans votre détecteur qui nous dit « non, je ne suis pas à 50% d'IA », on va peut-être s'arranger pour changer un peu, un tiré par-ci, une tournure par-là pour que ça ne ressemble pas à de l'IA. Thomas Jacquesson: [17:16] Oui, alors notre outil est quand même aussi bien entraîné sur la notion de texte mixte, c'est comme ça qu'on appelle ça chez nous, donc si vous changez l'intégralité du texte, en fait vous l'avez écrit. Monde Numérique : [17:32] Mais si vous changez des parties, ça renvoie à toute la notion même de création. Est-ce qu'un texte dont le premier G a été généré par l'IA, mais qu'on réécrit à sa sauce et qu'on assume, etc., ben finalement, est-ce que c'est pas un texte qu'un humain a écrit, en fait ? Thomas Jacquesson: [17:48] Alors, je pense que oui. Néanmoins, c'est pas forcément un texte qu'un humain a compris. Monde Numérique : [17:54] Ça, c'est plus grave. Thomas Jacquesson: [17:58] Et c'est quand même un exercice difficile de réécrire tout, parce qu'en fait, on le lit, le texte. Donc, redire la chose différemment, avec d'autres tournure. Franchement, autant l'écrire soi-même dès le départ, parce que ça prendra moins de temps à mon avis. Mais j'aimerais, en tout cas, sur la fiabilité, le fait qu'on ne peut jamais savoir à 100%, Pour autant, je considère que les détecteurs d'IA sont quand même, en tout cas pour les meilleurs, extrêmement fiables. Et moi, il y a une comparaison que les anciens fondateurs de Lucie, les anciens propriétaires, m'avaient faite. Monde Numérique : [18:39] Oui, puisque vous avez racheté cette compagnie. Vous êtes le président et pas le fondateur. Thomas Jacquesson: [18:46] Il m'avait fait une comparaison. Le détecteur d'IA, c'est un peu comme le détecteur de fumée. Donc parfois on fait griller du pain ou voilà, le détecteur de fumée se déclenche il avait tort mais on est quand même allé voir donc c'est vraiment cette notion de, il faut pas prendre ça comme une preuve absolue par contre il faut aller essayer Thomas Jacquesson: [19:08] de vérifier il y a des cas où c'est difficile de vérifier. Monde Numérique : [19:11] Il faut une levée de doute en fait ouais encore une question, on a vu toujours à propos de cette affaire sur les réseaux sociaux, tout le monde s'improvise expert, exégète de l'auteur, spécialiste en débuscage de l'IA, etc. Et donc, il y en a beaucoup de gens qui s'amusent. Et notamment, il y a un phénomène, c'est, le truc qui consiste à passer un vieux texte dans un détecteur, le vôtre ou un autre, y compris soit un texte qu'on a écrit soi-même, soit je vais passer un poème de Victor Hugo, par exemple, et le détecteur dit oui, oui, c'est de l'IA. Comment expliquer ça ? Thomas Jacquesson: [19:48] Alors, déjà, beaucoup de gens disent avoir passé tel texte. Sur la capture d'écran, on ne voit pas forcément le texte. Je tiens aussi à dire que si vous faites, c'est une petite manipulation un peu technique, mais dans votre navigateur, vous pouvez cliquer droit, aller dans les paramètres, dans le code de la page et modifier ce qui est affiché sur la page pour beaucoup de sites. On peut aussi faire des fausses captures d'écran. Néanmoins ça nous est arrivé nous notamment pendant. Thomas Jacquesson: [20:24] L'entraînement de la dernière version de notre modèle d'accuser à tort des écrivains des textes anciens, et en fait c'est vraiment il y a deux choses c'est un il faut un texte assez long donc, un poème c'est pas toujours facile ça peut être court comme je le disais tout à l'heure Il n'y a presque pas assez de matière pour rendre un verdict fiable. D'ailleurs, nous, comme nos concurrents, on affiche un indice de confiance qui est fortement basé sur la longueur du texte qui a été fourni. Donc, première chose. Deuxième chose, c'est aussi une question d'entraînement. Donc, il faut entraîner ces modèles sur des écrits anciens. Non pas parce que ça a un véritable intérêt, C'est-à-dire que là, c'est juste quelqu'un qui teste pour essayer de voir si le modèle se trompe. Donc, ça n'a pas une application réelle pour nos utilisateurs. C'est juste quelqu'un qui veut vérifier la fiabilité. Mais justement, pour des questions d'image, de réputation, c'est important de bien entraîner ces modèles aussi sur des textes qui sont écrits dans une langue qu'on ne pratique plus, dans un style qu'on ne pratique plus. Donc, c'est vraiment une question d'entraînement finalement. Monde Numérique : [21:40] Merci beaucoup Thomas Jackson, président de Lucide et AI. Thomas Jacquesson: [21:44] Merci à vous Jérôme.