🇫🇷🇨🇦 Debrief Transat – Suicide assisté par IA : OpenAI peut-il vraiment protéger les plus vulnérables ?

Jérôme : [0:06] Salut Bruno Guglielminetti à Montréal. Bruno : [0:08] Salut Jérôme Colombain à Paris. Jérôme : [0:10] Ravi de te retrouver comme chaque semaine à la fois dans ton podcast, mon carnet, et dans Monde Numérique. On parle de l'actu de la semaine et Bruno, la semaine dernière, on parlait de ce drame, un jeune homme de 16 ans qui s'est suicidé après s'être confié à ChatGPT. Jérôme : [0:27] Cette affaire a évolué, il se passe plein de choses et déjà, il y a eu d'autres faits divers du même genre. et surtout, et c'est de ça dont on va parler, OpenAI a décidé de réagir. Bruno : [0:40] Oui, c'est intéressant. Il faut croire qu'ils nous ont entendus. C'est comme ça que j'ai fait la nouvelle. C'est certain. Mais donc, OpenAI a annoncé que d'ici la fin de l'année, il y aurait en place une mécanique qui permettrait d'assurer une meilleure sécurité, des jeunes utilisateurs ou des personnes qui seraient plus fragiles que d'autres, donc des outils qui sont offerts par OpenAI. Ça veut donc dire, entre autres, évidemment, tout un côté machine au niveau des réponses de chat GPT et compagnie, mais de l'autre côté aussi, quelque chose qui est plus, j'allais dire, plus fonctionnel, c'est-à-dire la possibilité pour les parents d'avoir un accès aux comptes des plus jeunes. Évidemment, s'ils partagent, s'il y a un lien entre les comptes, et donc de pouvoir suivre un peu les discussions lorsque ça vient sur des sujets plus délicats. Alors, évidemment, c'est une bonne nouvelle, mais bon, il faudra voir comment ça va se faire. Jérôme : [1:33] Oui, voilà. Parce que l'accès aux comptes, bon, alors on retrouve un peu la même problématique que ce qu'on a connu avec l'accès à Internet d'une manière générale, avec l'accès aux réseaux sociaux plus précisément. Finalement, on voit qu'aujourd'hui, ça s'est complètement déplacé sur les chatbots d'intelligence artificielle, puisqu'il y a eu ces suicides dont on parlait, donc des gens qui se confient à ChatGPT. Et Chad GPT qui, visiblement, dans un premier temps, essayent un peu de les dissuader et de leur remonter le moral, mais très vite, on arrive à embrouiller l'intelligence artificielle et elle en vient, dans certains cas, quasiment à encourager, à cautionner, etc. Et c'est là que c'est dramatique. Mais est-ce que tu n'as pas l'impression que cette histoire et cette réaction d'Open&Hive est tout à fait louable ? Ils ont fait un long billet de blog pour expliquer qu'ils prenaient la faire très au sérieux et tout. Mais est-ce qu'ils peuvent vraiment faire quelque chose ? Est-ce que ce contrôle parental sera vraiment utile ou bien c'est un peu juste pour se donner bonne conscience ? Bruno : [2:32] Je pense que tu viens de le dire. D'abord et avant tout, je pense. Bruno : [2:36] Et ce n'est pas du sarcasme de ma part, mais c'est d'abord et avant tout pour montrer patte blanche, montrer qu'ils sont proactifs parce que ça commence déjà. D'ailleurs, on en avait parlé la semaine dernière, mais il y a d'autres histoires qui vont finir devant la justice et où les parents ou les proches, les gens qui se sont donnés la mort vont poursuivre la JPT. Bon, puis évidemment, quand on est aux États-Unis, c'est encore plus facile de le faire en espérant, évidemment, venger la mort d'un proche, mais aussi de faire de l'argent sur le côté. Et ça, c'est un geste concret de la part d'OpenAI pour essayer d'allumer des lumières quand ça va mal. Sauf que, puis je ne veux pas revenir sur toute l'histoire, à un moment donné, il y a aussi le fait que dans des familles, quand on se retrouve dans des situations comme ça, c'est aussi parce que la communication est peut-être moins fluide. Bruno : [3:27] Alors, est-ce que les parents vont vraiment faire attention? Ça, c'est un truc. Mais je veux revenir sur, et ça, c'est quelque chose de nouveau, parce qu'il y a des journalistes à la presse ici à Montréal qui se sont intéressés suite à toutes ces histoires-là. Ils ont fait les tests. Ils ont été, entre autres, sur ChatGPT, sur Grock, sur même le chat de l'IA de Snap pour tester, pour voir comment ça réussit. Et systématiquement, lorsque les jeunes ne sont pas en crise, mais en communication et montrent qu'ils sont assez vulnérables par rapport à cette idée-là. Bruno : [4:03] Rapidement, on les dirige, on les invite à communiquer à des experts à tous les endroits. Bruno : [4:08] Sauf qu'il s'agit juste de trouver la bonne façon d'amener le robot conversationnel à donner cette information-là. Et le meilleur exemple, c'est dans la plupart des cas, quand on leur disait, oui, mais c'est pour un roman. Je suis en train d'écrire une histoire et je veux savoir comment ça pourrait se faire. Et là, tout le monde ouvre les grandes pages et c'est parti. Et puis, ça devient très congrès. Si ça vous intéresse, il y a un petit résumé que j'ai fait sur mon carnet. Mais sinon, il y a un lien vers l'article complet. C'est bien cherché. Et puis, personne n'a voulu réagir jusqu'à maintenant du côté des fabricants, des éditeurs de ces logiciels-là. Mais évidemment, du côté des psychologues et des professionnels qui sont touchés par cette réalité-là, tout le monde est alarmé par la facilité déconcertante Bruno : [4:58] avec laquelle des gens en situation de fragilité peuvent avoir l'information. Jérôme : [5:02] En fait, c'est toujours la même histoire. On arrive à hacker, d'une certaine manière, les IA génératives. C'est comme ça qu'on avait réussi, certains avaient réussi aussi à avoir des recettes pour fabriquer des bombes en expliquant, pareil, que c'était pour un roman, une fiction, etc. Juste pour revenir sur le système de contrôle parental, alors voilà, est-ce qu'il sera utile ou pas utile ? L'idée de lier le compte des enfants au compte des parents, bon, moi j'ai l'impression qu'il y a déjà des limites. D'abord, est-ce que tout le monde utilise ChatGPT avec un compte aujourd'hui ? Parfois, ça peut être en accès direct, sans être connecté, sans abonnement, etc. Ensuite, les ados n'ont pas forcément envie. Alors, bien sûr, il faudrait que ça se fasse dans la confiance, donc que les enfants sachent quelque part que leurs parents ne sont pas loin, peuvent intervenir. Mais comme tu le disais, s'il y a une situation de détresse dans une famille, ils vont tout faire au contraire pour se cacher. Donc, c'est quand même très, très compliqué. J'ai vu que ça pourrait aller éventuellement jusqu'à, dans des cas extrêmes, jusqu'à prévenir les forces de l'ordre. Jérôme : [6:14] Mais bon, ça paraît là encore un peu étrange. Et puis, il y a aussi autre chose, il y aurait la possibilité de choisir un modèle, un LLM, en fait, qui soit adapté spécifiquement à l'âge de l'enfant. Et donc, ça rejoint un peu ce que tu disais, c'est le fait déjà que le chatbot ne dise pas n'importe quoi et ne parte pas dans tous les sens. Rappelons qu'a priori... En principe, je crois qu'on n'a pas le droit de créer un compte Chagipiti en dessous de 13 ans en plus. Bruno : [6:45] Ça, c'est la loi américaine qui ne permet pas à un enfant, j'allais dire un individu, mais un enfant de 13 ans et moins, de se brancher, peu importe. Pour se brancher, ça prend la permission des parents, mais sinon, c'est impossible pour un jeune officiellement de se brancher. Jérôme : [7:01] En tout cas, si on prend un peu de recul, c'est étonnant, c'est incroyable, mais finalement, c'est toujours les mêmes problèmes qui se posent. J'ai l'impression, je pense qu'OpenEye n'avait pas forcément prévu, n'avait pas vu ça arriver. Bruno : [7:14] C'est les problèmes de la société qui se portent dans le numérique. Jérôme : [7:17] Oui, bien sûr. Mais avec cette particularité, parce que le fait de prendre ChatGPT ou un autre pour un confident et allant jusqu'à des confidences quasi psychologiques, c'est une vraie tendance, c'est un vrai phénomène. Bruno : [7:32] Tu me parlais de ça. Il y a des psychologues qui font même appel à ChatGPT, mais même en consultation. Jérôme : [7:39] Exactement. C'est incroyable. On savait qu'il y avait des gens qui prenaient ChatGPT pour un psy, mais on apprend qu'il y a aussi des psys qui utilisent ChatGPT comme des espèces de coachs pour les aider. C'est une histoire assez incroyable. En fait, c'est le MIT Technology Review qui raconte ça. C'est une personne qui était en conversation, en consultation avec son psychothérapeute en visio. Et le psy a fait une mauvaise manie, puis il a partagé son écran. Et là, la personne a vu qu'il était en train de copier-coller toutes ces questions dans le chat GPT et qu'il lui formulait les réponses que le chat GPT lui conseillait. Donc, c'est assez incroyable. Mais est-ce que c'est vraiment étonnant ? Je veux dire, on est tous tentés, quel que soit notre métier aujourd'hui, même si on a des compétences professionnelles, de se faire aider. En fait, c'est ça, se faire aider par l'IA. Mais celle-là, on ne l'avait pas vue arriver quand même. Bruno : [8:35] Non, puis imagine la surprise du patient, de la patiente qui voit ça à l'écran. Pouf! Sa conversation, puis tu vois que c'est un gars qui est en train de conseiller son psychologue. Là, tu te poses des questions sur les capacités de ton psychologue. C'est en train essentiellement de relayer ce qu'elle lui a dit. Il n'y a même plus de partie critique par rapport à plus. Jérôme : [8:54] Après, tous les métiers ont parfois besoin de se référer à des sources, à des aides, à des choses. Tu vas voir un avocat, ça a beau être un professionnel du droit, il va peut-être à un moment ouvrir des codes pour aller vérifier certaines choses, etc. Parce que ce n'est pas une intelligence artificielle, typiquement. Et aujourd'hui, il peut être amené à utiliser des outils d'IA pour vérifier ses connaissances, ce qui n'enlève rien à ses compétences. Mais ça pose quand même des questions. Et puis après, on peut se demander si finalement, les gens qui vont beaucoup, les professionnels, quel que soit le secteur, qui auront tendance à s'en remettre trop à l'intelligence artificielle, est-ce que ça ne va pas, quelque part, dégrader les compétences ? Jérôme : [9:42] Enfin bon, ça c'est un gros dossier. Bruno : [9:44] Oui, mais tu me fais penser avec cette nouvelle-là, il y a une étude qui est sortie d'IBM cette semaine qui disait qu'au Canada, il y a 79% des gens, des employés de bureaux, donc au Canada, je ne sais pas en France ou ailleurs dans le monde, mais il y a 79% des employés de bureaux au Canada qui utilisent l'intelligence artificielle. Mais là-dessus, il y en a seulement un quart qui utilise l'intelligence artificielle du bureau, de leur employeur. Jérôme : [10:11] Le château et l'œil. Bruno : [10:12] Oui, et donc là, c'est le problème de l'IA fantôme qui arrive dans le décor. Et il y avait, je lisais le détail, il y avait 97 % des travailleurs qui affirment que l'IA améliore leur productivité. Et même que 80 % des gens qui disent que ça libère carrément du temps. Et dans une autre étude que j'ai vue passer cette semaine et dont je parle dans mon carnet, Je voyais que des enseignants l'an dernier qui avaient étudié l'intelligence artificielle arrivaient à économiser six heures d'enseignement ou de travail administratif par semaine. Jérôme : [10:47] Bien sûr. Bruno : [10:47] Il y a énormément d'économies, mais le problème, c'est la sécurité. Et l'information qu'on met dans une IA qui n'est pas encadrée par l'organisation dans laquelle on travaille. C'est vraiment là, les entreprises, c'est un cauchemar. Un peu comme à l'époque quand c'était le « bring your own device » où tu amenais ton téléphone cellulaire ou ton propre ordinateur portable. Au début, c'était affreux, puis les entreprises ont dû régler le problème. Jérôme : [11:11] Alors nous, en France, mon cher Bruno, on va avoir une IA spéciale pour les enseignants. Bruno : [11:18] Quelle fierté! Quelle fierté! Jérôme : [11:21] Bon, évidemment, ça commence à faire des vagues. C'est Elisabeth Borne, l'ancienne première ministre, qui a annoncé ça. Il va y avoir un LLM développé spécialement pour les enseignants. Alors, ça fait grincer des dents parce que ça va coûter... Ça représente un budget de 20 millions d'euros et l'enseignement n'est pas au mieux de sa forme. Cela dit, il faut faire quelque chose. Je veux dire, on est quoi ? Trois ans après Tchadjipiti. Il est urgentissime que le monde enseignant se saisisse de ça. Donc, je pense qu'il faut craquer quelques millions quand même pour cette histoire-là. Donc, un LLM spécial pour les enseignants, je ne sais pas exactement à quoi il va ressembler. Qu'est-ce que ça veut dire ? En fait, l'idée, on la devine, c'est d'arriver à avoir un modèle qui soit spécifiquement entraîné pour répondre aux besoins des enseignants. Et les chiffres que tu citais pour le Canada, ils se retrouvent aussi un peu en France parce que dès à présent, avant même d'avoir cet outil officiel, il y a déjà, selon une étude récente, 70% des enseignants qui utilisent déjà l'intelligence artificielle principalement pour préparer leurs cours. Jérôme : [12:24] Donc c'est qu'il y a un besoin, il y a une nécessité. Jérôme : [12:27] Mais j'espère que le scénario qui arrive ne sera pas celui qu'on connaît déjà et qu'on a vu dans les entreprises. C'est-à-dire que finalement, tout le monde utilise Chagipiti, Claude, Copaylott en douce, sans le dire au patron. Le jour où l'entreprise dit bon ben ok, vous voulez de l'IA, on va vous mettre une IA rien que pour vous, on l'a développée exprès c'est une IA maison et tout, et là ils la mettent en place et c'est un carnage, parce qu'elle n'est pas du tout au niveau, elle n'est pas aussi bonne et finalement personne ne s'en sert il s'est passé la même chose avec les moteurs de recherche en France, et là c'est un scénario qu'on voit arriver aussi avec l'IA dans les entreprises, donc je ne promets pas forcément un très bel avenir à cette IA. Jérôme : [13:10] Spéciale enseignant cela dit, juste un mot encore parce que ça t'intéressera peut-être de savoir que cette année, chez nous, les enfants ont fait leur première rentrée scolaire spéciale IA, d'une certaine manière, parce que désormais, il va y avoir des cours, d'intelligence artificielle obligatoires en classe de quatrième et en seconde. Vous avez ça, vous, au Québec et au Canada ? Bruno : [13:32] C'est quel âge, environ ? Jérôme : [13:34] Il ne faut pas me demander ça parce que je suis assez nul, moi, dans ce... Seconde, on s'approche du lycée. Sous-titrage ST' 501. Bruno : [13:43] Donc, c'est des adolescents. Jérôme : [13:45] Oui, c'est ça. Oui, c'est des adolescents. Bruno : [13:47] Non, on n'a pas encore ça. Évidemment, il y a des professeurs ou des enseignants à ce niveau-là qui y vont de temps en temps avec un petit peu d'initiative, mais il n'y a pas encore un vrai cadre dans lequel c'est enseigné chez nous. Jérôme : [14:00] Aux États-Unis, il y a des choses qui se passent. Ça a été une décision présidentielle. Bruno : [14:07] Ça, qui a été annoncé. Jérôme : [14:08] Oui, ça a été une décision présidentielle. Bruno : [14:09] Mais ceux qui sont encore plus dans l'avance, c'est la Chine, parce que ça a été annoncé qu'à partir de septembre, et ça, l'annonce a été faite avant le printemps dernier, aux primaires, ils allaient renseigner, ils allaient commencer à donner des rudiments aux enfants, imagine. Jérôme : [14:23] C'est dingue, hein? Mais là, je voyais un article qui disait qu'aux États-Unis, ça devrait même concerner des élèves de maternelle. Ça me paraît un peu bizarre, hein? Bruno : [14:31] Je ne serais pas surpris. Jérôme : [14:33] Maternelle à la terminale, c'est-à-dire tous les élèves. Bruno : [14:34] Et d'autant plus que la plupart des gros éditeurs d'intelligence, d'outils d'intelligence artificielle financent maintenant les associations professionnelles d'enseignants et aussi les syndicats américains. Alors, t'imagines que l'IA va passer comme du beurre dans la poêle dans leur cours. Jérôme : [14:54] Du beurre dans la poêle, comme c'est beau, c'est magnifique. Bruno : [14:56] Mais pour revenir à ce qui est en train de se faire en France, permets-moi de souhaiter au moins juste une chose. Jérôme : [15:02] Oui. Bruno : [15:02] C'est que les gens qui vont développer ce LLM-là pour les enseignants français, ils vont au moins avoir des rencontres avec Mistral pour ne pas réinventer la roue. Parce que Mistral, depuis le temps, on en parle à l'occasion, bon, puis on sait qu'Apple est en train de regarder pour l'acheter, mais les gens de Mistral, ils ont développé un savoir-faire pour intégrer ces solutions-là et les personnaliser au sein d'organisations européennes. Et là, je ne peux pas croire que tout ce savoir-faire-là ne pourrait pas servir à être adapté au monde de l'éducation. Quand on réinvestisse et qu'on réinvente la roue, c'est une bonne façon de faire Bruno : [15:40] des économies. Je lance ma bouteille à l'eau. Jérôme : [15:42] De toute façon, ce qui se passe, je pense qu'aujourd'hui, plus personne ne réinvente entièrement la roue. Ils prennent des briques sur étagères et il y a plein d'outils en open source. Ensuite, tu peux personnaliser en fonction des applications. C'est ce que font même beaucoup d'entreprises. On ne réinvente pas entièrement, on ne réentraîne pas entièrement des modèles. Après, c'est juste du fine-tuning pour l'adapter spécifiquement à telle ou telle situation. Bruno : [16:10] On verra dans six mois sur quoi ils se sont basés. Jérôme : [16:13] On leur parle dans six mois. Bruno, de quoi parles-tu cette semaine dans ton carnet? Bruno : [16:19] Écoute, je parle d'intelligence artificielle et de santé avec les gens de Eddie Hart. Et je parle aussi avec David Smadja. Je ne sais pas si ça dit quelque chose. C'est un médecin français. On l'a vu beaucoup sur les plateaux des télés françaises à l'époque de la pandémie de la COVID. Parce que c'est lui qui tentait, en tout cas sur certaines antennes, tentait d'expliquer l'effet des vaccins et comment l'impact de la maladie sur le système respiratoire. Et là, lui, évidemment, il a été pris dans la tourmente et la tempête de la désinformation. Et là, il est parti en cavale pour essayer de ramener, c'est mes paroles, c'est pas les siennes, et le bon sens aux propos qui ont à voir avec le monde de la médecine, de la recherche, des chercheurs, des scientifiques sur les réseaux sociaux. Et donc, je fais une longue entrevue avec lui. C'est assez intéressant sur sa perception de la communication aujourd'hui sur les réseaux sociaux. Alors, ça, ça va être ça. Et puis, sinon, on va parler aussi avec quelqu'un. Ça, c'est un scoop. Jérôme : [17:27] On va parler de quelque chose avec quelqu'un, c'est ça? Bruno : [17:29] Oui, ça, c'est un scoop. Je te l'ai l'anompe. Mais donc, c'est un ancien maire d'un arrondissement à Montréal qui est en train de travailler sur une formule qui va aller chercher. Il y a 12 villes qui participent à ça au Québec, mais il est en train de se faire la même chose en France. mais ça, je ne peux pas te donner trop d'informations là-dessus. Mais donc, on va faire de la mutualisation de données pour gérer le risque d'enlever autant de la météo, autant des forces de la nature, et donc développer des cahiers de solutions pour faire de la prévention, et tout ça qui va carburer avec l'intelligence artificielle pour faire du gros calcul scientifique. Jérôme : [18:14] Magnifique. Bruno : [18:14] C'est assez intéressant comme histoire. Jérôme : [18:16] Génial. Bruno : [18:17] Et Jérôme, toi, de ton côté, de quoi tu parles cette semaine? Jérôme : [18:20] Alors, cette semaine, écoute, évidemment, ça ne te surprendra pas. Je parle également d'intelligence artificielle. C'est exactement le sujet qu'on vient d'évoquer, en fait. Je parle d'IA dans les entreprises, parce que les entreprises françaises sont en retard dans l'adoption de l'IA. Il y a un chiffre de l'INSEE qui dit qu'à peine 10% des entreprises. Jérôme : [18:40] Ont adopté des solutions d'intelligence artificielle, alors qu'on sait évidemment tous les bénéfices en termes de productivité, de compétitivité que ça va apporter. Mais les entreprises sont un peu désemparées, elles ne savent pas quels outils adopter, pourquoi faire, quels risques, quelles sont les conséquences, etc. Et j'en parle avec un spécialiste de la question qui s'appelle Salim Nassur, qui dirige une entreprise qui aide les entreprises moyennes et grandes à franchir le pas, justement. Donc, on aborde un peu tous les aspects de ces questions-là. C'est un vrai, vrai sujet, à la fois économique, sociétal, etc. Et puis, je parle de cybersécurité, autre sujet lié aux entreprises. C'est très B2B, Monde Numérique, cette semaine, mais ça intéressera aussi les particuliers. Avec Benoît Grunemwald de EZ, on fait un peu le bilan de ce qui s'est passé cet été. Il y a eu plein de cyberattaques, plein de fuites de données. C'est aussi à la fois parce qu'on est peut-être un petit peu moins prudent, quoique on commence à avoir un peu l'habitude, mais c'est surtout que les pirates sont de plus en plus performants notamment grâce à l'intelligence artificielle et ils s'attaquent vraiment à nous c'est-à-dire que ce n'est plus tellement les vulnérabilités sur la machine mais c'est vraiment des outils qui permettent de nous manipuler de faire de la manipulation mentale en fait On. Bruno : [20:02] Est dans l'ingénierie humaine. Jérôme : [20:03] Dans l'ingénierie humaine, l'ingénierie sociale, etc. Donc on fait le point sur tout ça et sur les dernières saloperies que nous ont bricolées que nous bricolent les cyberattaquants et les pirates informatiques. Voilà, c'est le programme de Monde numérique cette semaine. Bruno : [20:23] Jérôme, pour les gens qui nous écoutent en audio, on les invite à poursuivre chacun de notre côté. Et puis sinon, on se retrouve la semaine prochaine. Jérôme : [20:31] À la semaine prochaine. Salut Bruno. Ciao, ciao.