🎤 World Models : l’alternative européenne aux LLM ? (Benjamin Rey & Arthur Chevalier, Presage)

Benjamin Rey / Arthur Chevalier: [0:01] Il faut voir le cloud comme un peu un jeu de Lego où on peut construire une Benjamin Rey / Arthur Chevalier: [0:05] architecture à base de services qu'on vient empiler. Et depuis l'arrivée des IA génératives, on s'est dit que c'était une bonne idée de laisser accès à ces Lego à des IA. Et ce qu'on observe, c'est que ça peut casser très très fort. L'idée d'un world model, c'est que comme il comprend les conséquences de ses actions, il est capable de simuler l'état de cette pile de Lego après avoir pris une action. Et donc le but, c'est qu'il est très bien capable de comprendre ce qui va faire tomber cette pile ou ce qui va la faire tenir en place. Monde Numérique : [0:42] Bonjour Benjamin Rey et Arthur Chevalier. Benjamin Rey / Arthur Chevalier: [0:45] Bonjour. Monde Numérique : [0:46] Vous êtes respectivement CEO et CTO de Presage, qui est une start-up française de deep tech. Donc, on est vraiment sur du dur. Vous allez nous expliquer ça en détail. Vous êtes spécialisé dans ce qu'on appelle les World Models. Qu'est-ce que c'est, les World Models ? Qui commence, Arthur ? Benjamin Rey / Arthur Chevalier: [1:07] Je vais y aller. Monde Numérique : [1:09] Donc, le CTO. Benjamin Rey / Arthur Chevalier: [1:10] C'est ça. Un World Model, pour faire très simple, et pour faire une analogie très, très simple, c'est une intelligence artificielle qui est capable de comprendre les conséquences de ses actions. C'est une intelligence qui évolue au sein d'un monde mais qui comprend les lois de ce monde c'est comme un physicien par rapport à un LLM qui serait plus prédicteur de mots mais qui ne comprend pas forcément toutes les lois du monde qui l'entourent. Monde Numérique : [1:36] Benjamin Aré ? Benjamin Rey / Arthur Chevalier: [1:38] Moi, j'irais un petit peu plus loin. Je pense que le LLM, c'est un interprète qui est très bon dans ce qu'il fait. Quand le world model va, lui, aller bien plus dans ce monde et dans la compréhension de ce monde et de sa complexité, avant de prendre une action. Monde Numérique : [1:56] Alors, les world models, on a commencé à en parler grâce à une personnalité, une figure française, qui est Yann Lequin, ex-directeur scientifique de Meta, qui vient de revenir, si on peut dire, en France pour créer sa start-up. Et il a clairement annoncé que lui allait travailler sur les World Models. Est-ce qu'on a l'impression qu'il y a une espèce de flamme ? Il y a quelque chose qui démarre ? Il y a une espèce de dynamique autour des World Models qui est en train de prendre forme ? Benjamin Rey / Arthur Chevalier: [2:26] Oui, je pense que quand une personnalité comme Yann Lequin décide de rentrer à Paris, et de le dire ouvertement, je pense que ça crée des chemins. Je pense qu'il y a deux chemins qui sont en train de se créer dans l'IA. Il y a l'IA générative qui se développe énormément encore aujourd'hui aux US et puis il y a un chemin qui est en train de se créer en Europe et plus précisément à Paris, donc on est chanceux d'avoir cette localisation-là. Sur les World Models, où il y a encore beaucoup de recherches à faire, où il y a encore des papiers dont l'origine est bien évidemment adressée à Yann Lequin il y a plus de dix ans. Mais aujourd'hui, on rentre un peu plus précisément dans l'applicatif de ces World Models. Et donc, en tout cas, je suis Presage, on pense qu'il y a un chemin à prendre. Il y a une géographie aussi qui est différente. On sait que l'Europe a toujours pensé différemment par rapport aux grandes technologies. Et on pense que ce World Models-là et cette technologie-là a toute sa place en Europe. Monde Numérique : [3:20] On peut dire que c'est un peu de l'alternative à l'IA générative telle qu'on la connaît aujourd'hui ? Benjamin Rey / Arthur Chevalier: [3:23] Oui, je pense que c'est une alternative. Il faut quand même voir ça aussi comme un complément. Comme disait Benjamin, il est important de noter que les LLM sont quand même une très bonne technologie, alors coûteuse en termes d'énergie, il faut le rappeler. Monde Numérique : [3:35] Voilà, c'est ça. Est-ce qu'il faut les opposer, ces deux technologies, en fait ? Benjamin Rey / Arthur Chevalier: [3:38] Je pense, sur un terrain, oui. On n'a pas besoin de LLM pour faire tout ce qu'on en fait. Les LLM, comme disait Benjamin, sont une très bonne interface, comme à la genèse de l'interface graphique à l'époque. Les LLM permettent à l'humain de bien mieux communiquer avec la machine. Ça ne veut pas dire que le LLM est si intelligent que ça. L'interface est très bonne, mais pourquoi ne pas voir un LLM faisant office d'interface qui ensuite parle à des world models qui sont bien plus intelligents et qui comprennent les choses bien mieux. Monde Numérique : [4:05] Donc le world model, pour qu'on comprenne bien, et c'est ce qu'a toujours expliqué Yann Lequin, c'est une meilleure représentation du monde. C'est-à-dire que le LLM, il comprend le monde à travers des transcriptions textuelles. Donc en fait, il ne comprend rien. il fait de la statistique pour mettre les mots les unes à les autres mais l'ambition du world model c'est vraiment de donner à la machine une représentation du monde physique avec les lois de la physique si je fais tomber une pierre elle va s'écraser par terre etc c'est exactement ça. Benjamin Rey / Arthur Chevalier: [4:32] Ça va même un cran plus loin, c'est pas qu'on lui donne comme contexte les représentations des lois physiques c'est que lors de son entraînement elle les comprend, c'est comme si un LLM devait générer des images si on parle de génération d'images et va générer une pomme qui tombe le World Model, lui, comprend pourquoi la pomme tombe et il a dû la prendre lors de son entraînement. Donc on comprend que c'est une intelligence beaucoup plus poussée et on peut l'adapter à des cas beaucoup plus concrets comme le médical, le cloud en l'occurrence pour nous, les voitures autonomes qui seraient beaucoup plus intelligentes dans les actions qu'elles peuvent prendre. Monde Numérique : [5:04] C'est un peu la promesse d'ailleurs pour les voitures autonomes, ça m'entend beaucoup. Alors vous, vous appliquez les World Models au cloud, donc c'est technico-technique, on est dans les bas-fonds d'Internet si on peut dire. Très concrètement, ça veut dire quoi ? Benjamin Rey / Arthur Chevalier: [5:22] En fait, ça veut dire que ce qu'on observe actuellement du cloud, c'est qu'il y a beaucoup de choses à surveiller. Il y a la cybersécurité, évidemment, il y a la consommation énergétique, le prix de ces infrastructures. et surtout bien construire ces infrastructures. Il faut voir le cloud comme un peu un jeu de Lego où on peut construire une architecture à base de services qu'on vient empiler. Et depuis l'arrivée des IA génératives, on s'est dit que c'était une bonne idée de laisser accès à ces Lego à des IA. Et ce qu'on observe, c'est que ça peut casser très très fort. L'idée d'un world model, c'est que comme il comprend les conséquences de ses actions, il est capable de simuler l'état de cette pile de Lego après avoir pris une action, et donc le but, c'est qu'il est très bien capable de comprendre ce qui va faire tomber cette Benjamin Rey / Arthur Chevalier: [6:07] pile ou ce qui va la faire tenir en place. Et donc on est beaucoup plus safe d'un point de vue action prise par une IA et surtout il y a une compréhension beaucoup plus fine parce que comparé à un LLM qui est capable de juste générer du texte comme quoi il aurait compris par exemple des principes de cybersécurité, là on a vraiment une intelligence qui est capable de les comprendre et donc d'agir en conséquence, voire de réagir vis-à-vis de choses qu'elle observe. Monde Numérique : [6:30] Donc, les solutions que vous développez sont destinées à quoi ? À aller gérer les infrastructures cloud à la place d'êtres humains, en fait ? Benjamin Rey / Arthur Chevalier: [6:38] On a beaucoup de pistes. On a des pistes pour gérer, justement, et accompagner des humains. Je pense que c'est bien d'avoir tout le temps, quand même, des humains. Mais on va être capable, avec ce genre d'intelligence, de simuler énormément d'actions très, très rapidement. Il faut aussi noter, par exemple, que les World Models sont beaucoup plus rapides. Là où un LLM prend quelques secondes pour répondre, un world model un des notes fondationnelles est capable de répondre en 3 millisecondes quel sera l'état du cloud après avoir pris une action à une heure un jour une semaine. Benjamin Rey / Arthur Chevalier: [7:06] Donc il faut aussi noter ça on n'a pas de coût à l'inférence c'est à dire quand on veut demander une prédiction là où le LLM est capable de faire énormément de calculs donc ça consomme moins et c'est beaucoup plus lent pour les LLM pardon ça consomme moins et c'est beaucoup plus rapide pour les world models et par rapport à ta question Jérôme s'il y a toujours besoin d'humains pour gérer les infras je pense qu'aujourd'hui les personnes qui gèrent les infras avec l'arrivée de l'agentique sur les infras etc. Créent beaucoup de stress sur les infras parce que ça émène énormément d'autonomie de par la prise de décision de ces agents et aujourd'hui les équipes tech perdent du contrôle par rapport à ça, il faut savoir que une IA par définition va agir à H24 sur l'infra en prenant des décisions complètement autonomes et on sait pas forcément ce qu'elle fait exactement, on va pas savoir quand c'est que ça va casser et quand ça casse on sait pas forcément où c'est à casser et quelle est la cause de cette casse. Donc nous, on pense qu'aujourd'hui, les infrastructures sont tellement complexes Benjamin Rey / Arthur Chevalier: [8:02] à gérer qu'elles ne peuvent plus être gérées que par des humains. Et donc, en fait, ce qu'on fait, et en tout cas, notre volonté, c'est d'apporter plus de contrôle à ces humains-là et donc, en fait, plus de confort dans leur métier qui évolue énormément ces temps-ci. Monde Numérique : [8:17] Juste un petit mot pour qu'on comprenne bien, parce que tout le monde n'est pas expert du cloud. Parce qu'en fait, qu'est-ce qu'il faut faire pour maintenir du cloud, c'est-à-dire des data centers ? Benjamin Rey / Arthur Chevalier: [8:26] En fait, il y a deux parties. Il y a le data center qui est une partie très physique. C'est les serveurs sur lesquels on va installer les machines. On va simplifier. Et il y a la partie cloud qui a pour promesse qu'on peut virtualiser, c'est-à-dire acheter de la machine ou du calcul virtuellement. Monde Numérique : [8:46] Ce que font toutes les entreprises aujourd'hui, les startups, etc. Benjamin Rey / Arthur Chevalier: [8:49] Exactement. Monde Numérique : [8:50] Voilà, elles ont besoin d'un service. Et tac, elles louent de l'espace et de la technologie derrière. Benjamin Rey / Arthur Chevalier: [8:56] C'est ça, on peut louer de l'espace, on peut louer du réseau, on peut louer du calcul, on peut louer des ordinateurs qu'on a comme devant nous ici, mais qui seraient totalement virtuels dans le cloud. Le souci que ça apporte, c'est qu'il faut configurer tous ces services, il faut s'assurer que personne n'essaie de rentrer dedans, donc les aspects plus cybersécurité. Tout ça, ça a un coût, c'est bien de pouvoir louer du stockage, mais il faut savoir que la promesse du cloud, c'est un peu la promesse de l'infini. Bon alors c'est pas vraiment vrai, on sait bien qu'il y a des limites, notamment avec les GPU au vu de l'entraînement des LLM, mais par exemple du stockage, on peut y stocker tout, mais si tout le monde commence à stocker tout ce dont il a besoin, ça commence à coûter très cher. Donc les entreprises ont un besoin de vérifier tout ça, d'observer ce qui se passe et de contrôler tout ça. La problématique c'est que par exemple si on prend juste un système de stockage, on peut avoir jusqu'à une trentaine de paramètres, et il faut l'observer. Benjamin Rey / Arthur Chevalier: [9:49] Tous les jours, alors au moment du lancement on va devoir configurer ce service, donc il faut prendre des choix parmi plein de paramètres, et ensuite il faut regarder comment il se comporte, quelle est l'évolution du stockage, quel est le type de disque dur, on va dire, qu'on veut utiliser, Est-ce qu'il y a des données qu'on peut payer un peu moins cher en les mettant dans des archives plutôt que dans des stockages qui sont plus à chaud, c'est-à-dire qu'on utilise plus souvent ? Et là, on parle d'un seul service. Si on parle d'Amazon, par exemple, ils ont plus de 150 services à disposition. On peut même parler à des satellites via leur service. Donc, tout ça nécessite une expertise très forte. La problématique qu'évoquait Benjamin, c'est que tout va très vite. Une fois que l'infrastructure est en place, elle est publique ou privée, mais elle vit. Et donc, il faut des gens pour monitorer tout ça. Les humains vont dormir, les IA, elles, autonomes, peuvent prendre des décisions même la nuit. Ce qui pose une grosse question. Monde Numérique : [10:36] Oui, une grosse question, c'est-à-dire de quoi ? De perte de responsabilité. Benjamin Rey / Arthur Chevalier: [10:40] De contrôle ? Exactement, qu'il y a la question du contrôle ou la question de la confiance qu'on peut apporter à un système qui va décider jusqu'à acheter des services la nuit quand il n'y a pas ou peu de supervision. Monde Numérique : [10:52] Oui, ça arrive aussi. Et puis avec les décalages horaires, etc. Alors, vous venez de faire une levée de fonds de 1,2 million d'euros chez Presage. Donc, grosses ambitions. C'est quoi, justement, vos ambitions ? Vous vous adressez à qui ? Pour offrir quel service ? Benjamin Rey / Arthur Chevalier: [11:08] Comme tu le dis, c'est une grosse ambition. Nous, on est très tournés, du coup, B2B, comme on a pu l'évoquer. Et l'idée, c'est d'accélérer sur notre modèle Cloud One. Donc, on a recruté pour ça déjà deux personnes, une data scientiste et un lead engineer. Donc en fait, ce précide est là pour... On va dire attiser le feu et commencer à déployer très rapidement ce premier modèle qui sera du coup très vite appliqué, auprès de nos clients parce que nous on a cette particularité c'est qu'on ne fait pas de la recherche en isolation mais une recherche très appliquée au monde du réel et notre ambition c'est d'apporter ces word models au sein des infrastructures pour justement aider les équipes et les utiliser au maximum donc en fait cette première levée elle est juste pour lancer nos travaux pour amorcer la pompe pour amortir la tente et très vite après on aura des ambitions très parisiennes pour le développement d'équipe très riche mais. Monde Numérique : [12:09] Vous avez mais vous avez déjà des clients c'est déjà en service chez des clients. Benjamin Rey / Arthur Chevalier: [12:13] On a vas-y on a un fort partenariat un coeur chevalier oui qu'on a qu'on a signé en tout début d'année avec une entreprise qui était très intéressée par nos services donc c'est un partenariat fort, qui contient à la fois l'entraînement de ses modèles l'utilisation de ces modèles et le partage de données, on a d'autres partenariats qui vont très vite arriver avec des boîtes françaises et des boîtes américaines, pour lesquelles on va mettre justement en pratique ces world models l'ambition est forte à tel point qu'on estime à la fin du premier trimestre qu'on aura déjà des modèles en fonctionnement chez des clients, et ensuite aller beaucoup plus loin en rajoutant de la fonctionnalité, donc comme je disais rajouter la compréhension de la cybersécurité le coût, la consommation énergétique par exemple. Mais également, on a pour ambition, plus tard, en parlant d'année, d'aller beaucoup plus loin que le cloud. On a tout le process pour pouvoir entraîner ce genre de modèles et on peut les appliquer à beaucoup d'autres verticales. Monde Numérique : [13:14] Par exemple ? Benjamin Rey / Arthur Chevalier: [13:15] Pourquoi pas aller les adresser ? On peut parler de voitures autonomes par exemple. Monde Numérique : [13:18] De voitures autonomes ? Benjamin Rey / Arthur Chevalier: [13:19] C'est ça, on parlait de Diane Lequin, il vient de rentrer au conseil d'administration d'une startup qui fait ça. Qui développent des world models pour améliorer les voitures autonomes par une vraie compréhension de comment se situe le monde autour de la voiture. Benjamin Rey / Arthur Chevalier: [13:33] On peut parler de world models dans le domaine médical, dans le domaine du BTP. On peut l'appliquer vraiment à tous les domaines où on peut représenter un monde autour d'un agent qui serait autonome. Et donc, ça comprend énormément de choses. Monde Numérique : [13:46] Quelle différence avec les jumeaux numériques ? Benjamin Rey / Arthur Chevalier: [13:50] Alors, c'est très, très proche. on peut on peut rapprocher les deux dans le sens où un world model en fait utilise comme des jumeaux numériques pour comprendre le monde qui l'entoure alors on peut l'entendre sur des données très très réelles, le world model a une représentation du monde qui l'entoure comme un jumeau numérique mais est capable de simuler les états futurs là où un jumeau numérique n'en est pas très capable ou moins capable de par le fait qu'un jumeau numérique en fait va simuler les étapes qui suivent mais ne comprend pas vraiment les lois ou alors il faut les écrire à la main là où le world model les comprend et donc il est beaucoup plus puissant dans sa façon de raisonner et de décider quelle action il faut mener. Monde Numérique : [14:32] Alors bon c'est des concepts qui sont quand même complexes, qui ne sont pas à la portée du premier venu, mais si on comprend bien, on revient sur ce qu'on a déjà évoqué souvent, cette notion de réseaux neuronaux, et tout se passe au niveau du réseau neuronal, notamment l'expertise de Yann Lequin, c'est ça ? Benjamin Rey / Arthur Chevalier: [14:52] C'est ça, exactement. Le World Model est un assemblage de réseaux neuronaux et d'autres architectures. On peut aller très loin, mais ça serait très technique pour simplifier fortement. C'est un réseau neuronal la différence se situe sur ce qu'on lui fait apprendre on ne lui fait pas apprendre la prochaine étape ou le prochain mot comme un LLM, on lui fait apprendre l'état du monde suivant suite à une action et donc ça change beaucoup de choses dans sa façon de comprendre les choses on. Monde Numérique : [15:24] Peut dire que les world modèles sont plus intelligents que les LLM. Benjamin Rey / Arthur Chevalier: [15:27] Oui en tout cas c'est notre conviction nous on le voit parce qu'on travaille au quotidien, Et au départ, nous aussi, on avait fait reposer cette technologie sur les LLM et on a vu très vite, finalement, son plafond de verre. Et aujourd'hui, dans ce que font Arthur, Hamza et Anna, qui constituent l'équipe recherche chez nous, on voit cette capacité-là à être beaucoup plus rapide, beaucoup plus intelligente dans sa façon de comprendre les choses. Donc oui, nous, on le voit au quotidien. Monde Numérique : [15:59] D'accord. Et c'est pour ça que c'est ce qui fait dire à Yann Lequin, d'ailleurs, que c'est un propos qui est un peu dérangeant, entre guillemets. Il dit que, grosso modo, la folie de la Silicon Valley autour des LLM va dans le mur, est une aberration. Benjamin Rey / Arthur Chevalier: [16:17] En fait je pense que la Silicon Valley fait beaucoup du LLM parce que ça a été une belle première marche, très grosse marche pour mener à de l'intelligence plus conséquente je pense qu'il y a une course chez certaines personnes qui est à l'intelligence en tant que telle, est-ce qu'on peut créer une intelligence artificielle aussi intelligente qu'un humain, on se situe dans un cadre beaucoup plus appliqué où on essaie on n'essaie pas d'aller chercher une intelligence la plus proche de l'intelligence humaine possibles, on essaie de rendre un système suffisamment intelligent pour qu'il puisse aider les gens et donc là typiquement dans le cloud on, On pense fortement que les world models sont bien plus intelligents que les IA génératives, de par le fait qu'une IA générative fait semblant d'être intelligente. Elle est capable de recracher, de comprendre du texte, mais elle ne comprend pas le fondement de ce qu'elle va recracher. Il faut quand même bien comprendre ce concept sur l'aspect génératif, d'où certaines personnes qui vont dire que les LLM ne sont pas intelligents, mais très créatifs. Là où les world models, de par le fait qu'ils doivent comprendre les lois du monde qui l'entoure, emportent tout de suite une intelligence plus conséquente ? Est-ce qu'on peut appeler ça une intelligence humaine ? Je laisse la question aux experts qui font de la recherche très poussée dedans, mais c'est un très gros sujet. Monde Numérique : [17:32] On va laisser le sujet aux philosophes et aux... Benjamin Rey / Arthur Chevalier: [17:34] C'est ça. Monde Numérique : [17:35] Mais quand même, cela dit, les LLM ne cessent de faire des progrès et ils font aujourd'hui des choses qu'on ne pensait pas qu'ils soient capables de faire un jour, et notamment des exemples pris par Yann Lequin où il explique que, LLM ne peut pas comprendre, par exemple, qu'on a déplacé un objet sur une table, etc. Et aujourd'hui, ils peuvent le faire. Donc, est-ce que ce n'est pas, finalement, là, je vous pousse un peu dans vos retranchements, mais est-ce que les World Models, ce n'est pas un peu un rêve de scientifique face à une technologie LLM qui n'est pas parfaite, certes, mais qui est tellement boostée aujourd'hui à coût de milliers de GPU et à coût de centaines de milliards de dollars, que finalement, même imparfait, elles risquent d'atteindre des sommets ? Benjamin Rey / Arthur Chevalier: [18:21] Il faut s'apercevoir qu'il y a un plafond de verre avec les LLM. Certes, les LLM sont intelligents, on a des LLM toujours plus puissants, boostés à coups de milliards. Il faut aussi observer que même à coups de milliards, il n'y a pas une entreprise rentable qui fabrique des LLM. On verra où ça finit. Monde Numérique : [18:38] Oui, mais ça, c'est l'aspect commercial, on va dire. Benjamin Rey / Arthur Chevalier: [18:40] Exactement. Monde Numérique : [18:40] On n'est pas sur l'aspect scientifique ? Benjamin Rey / Arthur Chevalier: [18:43] Certes, je pense que l'aspect commercial fait beaucoup dans un produit. Il y a beaucoup d'expériences qui ont été géniales, mais qui n'ont pas réussi de par l'infaisabilité commerciale. Les LLM ont un plafond de verre. Même s'ils peuvent « comprendre » qu'un cube a été déplacé sur une table, en fait, ils ne le comprennent pas. Ils vont savoir générer les images qui suivent. Maintenant, la problématique. Par exemple, on va prendre un exemple très simple. J'envoie une balle contre un mur. Le LLM va voir le mur, va voir la balle et va faire rebondir la balle. Là où le world model est beaucoup plus puissant c'est que si je commence à filmer un mur puis je tourne la caméra sur le côté on ne voit plus le mur, mais j'en vois une balle le world model va comprendre que la balle doit revenir physiquement, là où le LLM peut complètement halluciner c'est pour ça qu'on voit encore des cartoons où les gens passent à travers les granges où on voit des choses qui physiquement sont impossibles le world model amène cette compréhension physique du monde et donc on peut dire ou estimer sur cette partie là qu'il est plus intelligent, Et peut-être rebondir aussi sur les impacts écologiques qu'ont les LLM, si on les dissocie justement du plan de la recherche. Il y a aussi un chemin de se dire, on peut faire de l'IA différente, qui amène peut-être à des résultats bien plus importants en termes de compréhension, et surtout qui consomment beaucoup moins. Parce qu'on peut injecter des milliards et des milliards et des milliards sur les LLM, mais quand on voit ce que ça consomme, je crois que c'est Luc Julia qui disait, je ne pense pas qu'on ait besoin d'un LLM pour savoir quel temps il fait à Nice ou à Monaco demain. Benjamin Rey / Arthur Chevalier: [20:11] Ou alors pour faire des starter packs, etc. Je pense qu'il doit avoir cet IA, et c'est là où l'Europe aussi est très forte, c'est de penser différemment les choses. On verra qui sera la plus forte, mais en tout cas, je pense qu'on ne peut pas dissocier l'aspect scientifique d'un world model parce que finalement, c'est là où on veut l'amener et c'est là où il doit faire sens. Mais aussi, il faut bien comprendre qu'à un moment donné, peu importe tous les milliards qu'on va mettre sur ces technologies-là qui sont aujourd'hui les mêmes, on sait que les ressources derrière qu'il faut pour entraîner ces modèles, pour les soutenir, etc., c'est juste, à un moment donné, impossible. Je pense qu'il y a une autre façon de faire les choses, et souvent ça vient du vieux continent que se passent ces choses-là. Donc voilà, je pense qu'il y a l'aspect scientifique et il y a l'aspect aussi un peu sociétal que doivent avoir les IA sur notre monde aujourd'hui. Monde Numérique : [20:56] Selon vous, les World Models, ça pourrait être la troisième voie et la voie européenne en matière d'intelligence artificielle ? Benjamin Rey / Arthur Chevalier: [21:03] Oui, je pense. De toute manière, comme on disait. Monde Numérique : [21:06] Donc si on est en retard dans les LLM, au fond, ce n'est pas grave parce qu'on va se rattraper dans les World Models. Benjamin Rey / Arthur Chevalier: [21:10] Exactement. En fait, la recherche dans les LLM est finie. Je pense qu'on peut aller jusqu'à dire ça. Un LLM n'ira pas plus que générer une image ou un texte. Les World Models vont pouvoir faire avancer la médecine, les voitures autonomes dans le monde réel et pas juste générer du texte sur un téléphone. Alors oui, maintenant, on a un cowork et on peut faire envoyer des mails à son LLM. Ça ne le fait pas sortir dans le monde réel. Donc, un world model qui comprend les lois qui se passent dans le monde réel sera forcément plus utile. Et la grosse différence, c'est qu'un world model n'a pas besoin de consommation d'énergie à l'inférence quand on veut faire une prédiction. C'est-à-dire que c'est l'équivalent d'envoyer un SMS pour simuler quelque chose. Là où, comme c'est Benjamin, demain, on va exploser en termes de nécessité d'énergie et de matériel pour entraîner des LLM qui, effectivement, prédisent la météo aussi bien qu'un météorologue. Benjamin Rey / Arthur Chevalier: [22:02] Donc, il n'y a pas forcément besoin. Les World Models sont une alternative viable. Ça n'empêche pas qu'on peut avoir les deux en parallèle. Les World Models ne pourront pas faire de l'interfaçage comme permet un LLM. Je pense qu'il faut réduire la valeur sur l'LLM, les garder pour faire l'interface avec des systèmes plus intelligents, plus autonomes. Monde Numérique : [22:20] Et plus frugaux. Benjamin Rey / Arthur Chevalier: [22:21] Et bien plus frugant si on peut renverser la marmite et passer de 80-20 à 20-80 ce serait intéressant je pense, 80% de LLM et 80% de World Model. Monde Numérique : [22:33] Oui, d'accord. Et ça pourrait tourner en local sur un smartphone, etc. Benjamin Rey / Arthur Chevalier: [22:37] Oui, bien sûr. Oui, complètement. Monde Numérique : [22:39] Mais ça ne suffit pas en termes d'interface. Il faudra un petit chatbot en plus pour qu'on puisse communiquer avec le World Model. Benjamin Rey / Arthur Chevalier: [22:45] Si on veut utiliser un chatbot, une interface graphique fait très bien l'affaire. Encore une fois, on retourne presque dans le commercial. Ça dépend quel est l'interfaçage avec un client potentiel. En termes d'utilisation, il faut savoir que les World Model sont bien plus faciles à entraîner, nécessite beaucoup moins de données à entraîner, et nécessite moins d'énergie à l'entraînement, aucune énergie à l'inférence. Monde Numérique : [23:07] Pourquoi est-ce que ça nécessite moins de données, en réalité ? Benjamin Rey / Arthur Chevalier: [23:12] Parce que la façon dont c'est fabriqué, et ce qu'on veut lui faire apprendre, est beaucoup moins complexe. Par exemple, un des papiers, de 2016-2017, si je ne dis pas de bêtises, qui montre comment on peut utiliser un world, model pour faire de la vidéo et entraîner un robot à préempter des objets et à les déplacer donc on est vraiment dans le monde réel, il leur a fallu un million d'heures YouTube ce qui peut ressembler beaucoup mais encore une fois il faut regarder le nombre de données pour faire de la génération de textes et vidéos un million d'heures pour faire entraîner ce world model sur la compréhension des lois physiques et de l'image et il leur a fallu en lui montrant. Monde Numérique : [23:53] Des vidéos c'est ça. Benjamin Rey / Arthur Chevalier: [23:54] ? juste un million d'heures et ensuite il a fallu 62 heures de vidéos avec les actions pour que le modèle comprenne comment un robot se déplace et préembe les objets. 62 heures de vidéos. Là où on a besoin de semaines entières pour générer du texte et on a besoin de 3 secondes pour répondre par requête à un LLM. Donc en fait, la quantité de données est vraiment moindre parce que ça va prendre mieux et une fois qu'il est entraîné, c'est fini. On peut le stocker sur un téléphone. Ça devient plus une question de stockage que de calculs. Monde Numérique : [24:25] Mais si l'entraînement est fini, il ne sera pas en mesure de se mettre à jour avec des connaissances et autres ? Vous allez me dire que ce n'est pas l'objet ? Benjamin Rey / Arthur Chevalier: [24:36] En fait, pas forcément. Si, par exemple, prenons l'analogie d'un joueur de NBA. Un joueur de NBA, avant de rentrer dans une équipe ou même de changer d'équipe, d'aller chez Maverick, il sait très bien jouer au basket. Il a été entraîné à jouer au basket toute sa jeunesse. Maintenant, il change de club. La seule chose qu'il doit apprendre, c'est les tactiques du club les règles du club et peut-être un peu l'esprit d'équipe et la culture du club mais en fait il sait jouer au basket on n'a pas besoin de leur entraîner sur comment, mettre un ballon dans un panier donc c'est du fait à conduire on sait à conduire une voiture. Monde Numérique : [25:10] Après on s'adapte aux véhicules c'est tout. Benjamin Rey / Arthur Chevalier: [25:12] Exactement et donc on parle enfin de tuning qui pourrait se faire même sur le téléphone lié aux données utilisateurs ça apporte un autre gros sujets qui peuvent être des sujets de souveraineté où par exemple on est très bien capable de faire apprendre, comment marche le monde à un work model et ensuite de l'appliquer à des données très spécifiques, très clients qu'il ne veut pas faire sortir chez lui parce que ça ne consomme presque rien quand on a besoin de 62 heures pour faire apprendre à un modèle vidéo comment marche un robot, on peut très bien faire ça chez un client et donc ne faire sortir aucune donnée. Monde Numérique : [25:43] Merci beaucoup messieurs Benjamin Rey et Arthur Chevalier de la société Presage