🎤 L'humeur de Luc Julia - Les IA génératives sont mortes

Speaker0: [0:01] Moi, je suis persuadé que les IA génératives telles qu'elles sont aujourd'hui sont mortes. Ce n'est pas la peine de continuer dans cette course. Je pense que c'est possible qu'on utilise des trucs plus frugaux. Je pense que c'est vraiment possible. Music: [0:14] Music Speaker1: [0:20] Bonjour Luc Julia. Speaker0: [0:21] Bonjour Jérôme. Speaker1: [0:22] Ravi de t'accueillir dans Monde Numérique. Et donc, comme tu as accepté de le faire, on va se retrouver une fois par mois. Pour commenter l'actualité, notamment l'actualité de l'intelligence artificielle, car c'est ta spécialité. Speaker1: [0:36] Alors, on peut dire que l'année a quand même commencé sur les chapeaux de roue, avec la prise de fonction d'Elon Trump. Speaker0: [0:45] Oui, c'est lui. L'absence révélateur. Speaker1: [0:48] Et puis, on parlera de deep-sync aussi. Voilà, moi, j'aimerais avoir ton regard, ton coup d'œil. Tu vis entre la France et les États-Unis. Tu suis ça de très près. Et notamment, l'annonce du projet Startgate. Qu'est-ce que ça t'inspire, Luc ? Speaker0: [1:00] Ça m'inspire une dérive qui est malheureusement celle que je craignais pour les IA génératives, mais c'est une dérive qui n'a pas commencé aujourd'hui, parce qu'en gros, pour parler du projet lui-même, c'est un projet de data center, beaucoup de data center. Et donc, on ne sait pas exactement comment ils vont être alimentés, mais on sait que ça va utiliser beaucoup de ressources, que ce soit de l'électricité, donc ça va émettre beaucoup de CO2. Enfin, exactement ce qu'aime Trump, c'est le même truc que dig dig dig, je ne sais plus ce qu'il a dit, pour aller chercher du pétrole et pour aller chercher tout ça. Speaker0: [1:37] On va juste démultiplier ces choses-là qui vont utiliser beaucoup de ressources, non seulement potentiellement du pétrole pour créer de l'électricité, du charbon même peut-être, pourquoi pas, mais aussi de l'eau, ce qui est un de mes problèmes essentiels quand on parle de ces data centers. C'est une aberration parce qu'il faudrait aller exactement dans notre direction, qui est une direction de frugalité. Mais malheureusement, depuis un an, un an et demi à peu près, c'est la direction que OpenAI, pour ne pas le citer, c'est dans cette direction qu'ils veulent aller, qu'ils doivent aller. Parce que pour eux, c'est plus, plus, plus. Ils veulent développer plus de trucs plus gros avec plus de données. Alors que c'est compliqué parce que des données, il n'y en a plus beaucoup. Donc ça, c'est un des problèmes. Mais ils veulent développer ces gros data centers. Et je ne sais pas si tu te rappelles, il y a à peu près un an, il y a exactement un an en fait, au mois de février 2024, il y avait Sam Altman qui se promenait un peu dans les médias pour raconter qu'il cherchait un trillion américains, donc un billion. Speaker0: [2:38] De dollars qui est deux fois plus ce que demande Startgate. D'ailleurs, il ne disait pas un, il disait 5. Il disait 5 billions. D'accord ? Donc, dix fois plus que Startgate veut avoir. Après, il faut prendre les chiffres, parce que ce qui est intéressant, c'est les chiffres. On sait que Trump ment en permanence. C'est du classique. Et là, il nous annonce un truc à 500 milliards. Donc, il dit Startgate, un projet à 500 milliards. Très bien. Et après, on s'aperçoit que ces 500 milliards, c'est vraiment 100 milliards. Donc déjà, c'est un peu moins. Speaker0: [3:18] Après, on s'aperçoit que ces 100 milliards, ils sont donnés, entre guillemets, financés par quatre boîtes. Open AI, évidemment, aux 19 milliards. Après ça, il y a, comment s'appellent-ils nos amis japonais, là ? Softbank. Softbank, 19 milliards. Oracle, 7 milliards. Et un fonds qui est, ce n'est pas Katari, mais qui est du Middle East, quelque part, qui amène lui-même aussi à peu près 7 milliards. Si je sais compter sur mes doigts, ça fait 52 milliards. On est loin du compte. C'est encore la moitié des 100 milliards. D'accord ? Donc déjà, de toute façon, les chiffres, ça ne va pas. Les chiffres, ça ne ligne pas du tout. Et en plus de ça, si on regarde bien, les 19 milliards d'Open Air, si on ne prend que ça, les 19 milliards d'Open Air, ils viennent d'où ? Ça va être compliqué quand même. Ils ont levé en tout 20 milliards. L'année dernière, ils en ont perdu 5. Donc là, encore une fois, je compte sur mes doigts, je n'ai pas 19. Et cette année, en 2025, ils comptent en perdre 14 milliards. Donc ils vont certainement, ils sont obligés de lever de toute façon, ça c'est clair, mais bon, ça veut dire quoi ? Ça veut dire que c'est du grand n'importe quoi. Il n'y a pas les sous. Et pour une fois, alors tu me connais, je ne suis pas le genre de gars qui est très d'accord en général avec Elon Musk. Speaker1: [4:32] Non, pas vraiment. Speaker0: [4:33] Mais pour une fois, Elon Musk a raison. D'accord ? Parce qu'il a dit la première chose qu'il a dit juste après l'annonce de Startgate, et ça montre une petite distension avec Trump déjà là, il a dit le lendemain même, il a dit les gars c'est super, mais il n'y a pas les sous. En fait, il n'y a pas les financements. D'accord ? Donc il y a un problème de financement, c'est sûr. Il y a un problème de ce que c'est, d'accord ? Donc, cette extension de ces data centers. Et puis, il y a des trucs rigolos aussi dans l'histoire. Bon, à part les sous, il y a l'histoire aussi de, ça va créer 100 000 emplois. D'accord ? 5 000 emplois américains. C'est ce qu'a dit Trump. En fait, comme je t'ai dit, ce n'est pas un projet nouveau, parce que c'est ce que voulaient lancer déjà OpenAI et Altman l'année dernière. Mais ils ont commencé les travaux, en fait, de ce truc-là. Il y a le premier data center qui est en train d'être fait aujourd'hui au Texas. Et la presse locale du Texas annonce que le premier data center va créer 57 emplois. 57 emplois. Alors, tu compares aux 100 000, tu te dis, ça va faire non. D'accord ? Donc, ils se sont tous un peu fourvoyés dans ce machin-là. Sonne, là, le président de Softbank, lui, il est à fond parce qu'il veut faire copain-copain avec Trump. Il n'a pas les sous non plus. Speaker0: [5:53] Musk dit qu'il a 10 milliards en tout. Et donc, il dit qu'il va en mettre 19. Après, il dit qu'il va en mettre 50. Il dit qu'il va en mettre 100, d'ailleurs. Donc, il dit n'importe quoi. Enfin, on est rentré dans un monde ou c'est la fête de je ne sais pas quoi, mais c'est du grand n'importe quoi. Et donc, ça m'inquiète énormément parce que du coup, la bourse le lendemain, ils étaient contents, ils se sont réjouis. Pas le seul lendemain, par contre. Speaker0: [6:19] Parce que le seul lendemain, qu'est-ce qui s'est passé ? Speaker1: [6:21] Deep-sick. Speaker0: [6:22] Alors, deep-shit, comme je dis moi, mais bon, ça ne pense que ça m'amuse. Mais deepseack. Et donc, deepseack, c'est quoi ? Deepseack, c'est donc cette IA qui n'a rien coûté, 6 millions pour faire un truc qui est équivalent en performance à un OpenAI, aux dernières générations d'OpenAI, qui ont mis des centaines de millions pour le créer. Donc le modèle est au moins aussi bon qu'OpenAI, et même à l'inférence, il ne coûte rien. Parce qu'OpenAI, aujourd'hui, l'abonnement est à 20 dollars par mois, l'abonnement de Deepshit, c'est 50 cents par mois. Speaker1: [7:01] Donc l'inférence, c'est-à-dire l'utilisation du modèle. Speaker0: [7:03] Voilà, au moment où tu l'utilises, c'est 50 cents par mois, ce qui est bon, donc extraordinaire. Alors bon, après, il faut se calmer, il faut regarder tranquillement, il faut se demander où est la vérité. Parce que bon, ça vient de Chine, c'est toujours un peu compliqué, ce qui vient de Chine. Et donc, ici, il y a certainement du vrai dans le fait qu'ils n'ont pas dépensé beaucoup de sous. On ne sait pas si M. Xi a donné un peu d'argent. On ne sait pas exactement. Speaker1: [7:33] Donc, le gouvernement, tu veux dire ? Speaker0: [7:36] Le gouvernement, M. le Président Xi. S'il a donné des sous ou pas. Donc, s'ils ont bénéficié des infrastructures chinoises et donc, du coup, qu'ils n'ont pas forcément payé. On ne sait pas si les 50 cents, c'est du dumping. D'accord ? Donc, il y a plein de choses qui sont un peu bizarres. Et puis là, maintenant, aujourd'hui, évidemment, on commence à se demander si les modèles n'ont pas été un peu copiés. Speaker1: [7:59] Et voilà, c'est ce que dit OpenAI, qu'en fait, ça a été entraîné par ce qu'on appelle « distillation », et donc, ça revient à une forme de plagiat. C'est ça, qu'est-ce que c'est, la distillation ? Speaker0: [8:11] En gros, la distillation, tu prends un modèle existant, alors les modèles sont plus ou moins open source, alors pas tous. Les modèles d'OpenAI, ils ne sont pas vraiment open source. Donc, c'est pour ça que c'est un peu bizarre que ce soit les modèles d'OpenAI, mais ça peut être, quand tu as un modèle open source tu peux le prendre et tu peux changer quand tu as l'open source, tu as non seulement les données et tu as les algorithmes donc tu sais comment le modèle est créé et tu sais avec quelles données ils sont créés et donc tu peux toi rajouter tes propres données ou enlever des données pour pouvoir le changer un tout petit peu, on appelle ça aussi du fine tuning donc on raffine en quelque sorte le modèle mais tu pars de quelque chose d'existant, c'est assez coûteux parce que quand ça coûte des millions de dollars c'est quand même assez coûteux, mais c'est beaucoup moins coûteux que de partir de zéro. D'accord ? Donc, c'est ça. Là, comme c'est un modèle qui n'est pas open source a priori, donc le distilling, c'est qu'on prendrait tout ce qui est, en fait, les réponses déjà toutes faites et on ferait répondre le système à plein plein de questions et on récupérerait les réponses pour créer le modèle. C'est-à-dire que tu le crées à partir, tu l'utilises, tu le fais tourner et tu fais tourner et tu suces les données pendant que tu fais tourner. C'est du pompage. Tu le fais marcher et tu le réenregistres. C'est un enregistrement, si tu veux, en quelque sorte, presque. Mais tu crées le modèle pendant que tu enregistres. Speaker1: [9:33] Mais est-ce que c'est illégal, ça ? Speaker0: [9:36] Oui, ça pue, oui. C'est exactement ce qui s'est passé dans les premières versions de ces IA génératives. Les premières versions des génératives pompaient Internet. C'était un peu la même idée. sauf que là, il fallait quand même créer le modèle. Là, maintenant qu'on connaît, on sait comment on crée des modèles, c'est beaucoup plus facile à pomper. C'est-à-dire que quand tu regardes les open source, les open source t'expliquent comment tout ça est utilisé. Donc, c'est relativement facile entre aller chercher les données, quelque part les pomper, et puis après savoir comment tu fais, tu fais ce modèle. Et donc, le chiffre de 6,5 millions, a du sens. Si tu veux, dans ces cas-là, si c'est du pompage pur. Speaker0: [10:19] Ça a du sens, ça serait possible. Speaker0: [10:22] Les gens de méta, donc ça, c'est les gens d'Open Air qui disent ça aujourd'hui. La vérité, c'est qu'on n'en sait quand même à peu près rien. Donc, il faut un peu attendre quelques jours, au moins, pour avoir ces réponses, parce que les gens de méta disent la même chose. Et eux, ça serait un peu plus sensé, en fait, parce que méta est vraiment, enfin, c'est de l'open source à la à la Zuckerberg, c'est pas du vrai open source, mais c'est quand même un peu plus open source, et donc ça serait beaucoup plus facile de couper les trucs de méta, d'accord ? Ça serait pas la peine de faire cette espèce d'enregistrement, tu vois, un peu comme on faisait c'est comme si tu faisais, que tu prenais avec un caméscope dans un cinéma le film, tu vois, comme il y avait beaucoup à un moment donné des DVD qui étaient piratés comme ça, tu vois, bon c'était dégueulasse mais c'est comme ça, donc ça, ça serait le truc qu'ils auraient fait avec OpenAI le truc qu'ils auraient fait avec méta, ça serait beaucoup plus joli, ça serait de cassette à cassette, tu vois, et tu copies, et c'est joli. Donc ça serait plus sensé, mais bon, en gros, là, les gens commencent à dire quand même que, en gros, c'est pompé, quoi. Parce que ce qu'on disait d'une manière assez unanime dans les derniers mois, c'est que les Chinois avaient à peu près un an, deux ans de retard sur les IA génératives américaines de la côte ouest. Donc là, ce serait quand même un gap qui est franchi vachement rapidement. Speaker1: [11:49] Ils rattrapent leur retard avec cette manipulaire. Speaker0: [11:51] Oui, ils rattrapent leur retard, mais le truc qui est intéressant, surtout avec Deepsheet, c'est que ça serait entraîné sur des puces qui seraient d'une génération précédente, et même peut-être pas des GPU. Tu vois ? Alors, ça veut dire quoi ? Ça veut dire que, évidemment, c'est pour ça que Nvidia, le jour même, enfin le lendemain, a perdu 17% de sa valeur en bourse. 17%, un milliard. Bon, c'est quand même pas mal. En plusieurs milliards, d'ailleurs. Pas un milliard, mais plusieurs milliards de dollars. Donc, il y a définitivement quelque chose qui est bizarre. Ouais. Speaker1: [12:26] Luc, est-ce que tu penses que c'est quand même de nature à rebattre les cartes en matière d'IA ? Speaker0: [12:30] Pour moi, la bonne nouvelle, c'est que si vraiment il y a quelque chose qui a été fait qui utilise moins de ressources, d'accord ? Donc, pas forcément des GPU de dernière génération, mais qu'on utilise des CPU et des choses donc moins fortes. Ça va dans le sens où je crois que ça devrait aller, dans le sens de la frugalité. Et donc, en même temps, ça met un grand coup dans la gueule à Startgate. D'accord ? Parce que c'est exactement le truc contraire. Et donc, ça, bon, ça, ça me fait plaisir. Je pense que c'est possible qu'on utilise des trucs plus frugaux. Je pense que c'est vraiment possible. Donc, ça, ça, définitivement une opportunité de rebattre les cartes parce que ça va permettre aux gens de réaliser que ce n'est pas la peine de faire un Startgate, que ce n'est pas la peine de continuer dans cette course. Speaker0: [13:12] Je ne sais pas si tu m'as entendu parler des IA génératives dans la dernière année, mais moi je suis persuadé que les IA génératives telles qu'elles sont aujourd'hui sont mortes. Speaker0: [13:21] C'est terminé. On les a exploités au maximum. On a fait des modèles avec beaucoup, beaucoup de données. Et on s'est aperçu que finalement, quand c'est des modèles qui sont trop génériques, il y avait quand même beaucoup d'erreurs. Il y avait des hallucinations. Il y avait tout ça. Donc, c'est des modèles qui ne sont pas vraiment... C'est rigolo, mais ce n'est pas vraiment exploitable en générique, en général. D'accord ? Par contre, on a trouvé des solutions, on a trouvé des use cases pour les exploiter dans des domaines particuliers. Et c'est ce qu'on a vu après avoir fait plein de POC, qui a plein de concepts partout, dans tous les sens. On a trouvé des cas d'usage, mais en fait, on s'est aperçu que ce n'était pas la peine d'avoir le gros machin et qu'on pouvait faire soit du fine-tuning, dont on parlait tout à l'heure, soit ce qui s'appelle du RAG, qui sont en fait des diminutions de ces modèles et qui sont maintenant utilisables dans ces domaines particuliers. Speaker0: [14:08] Et ça, pour moi, c'est ça l'avenir. Et quand on parle d'IA agentique, par exemple, qui est censée être la prochaine génération de C&A générative, Les agents antiques, ce n'est pas autre chose que des agents qui vont être spécialisés dans des domaines particuliers et qui vont collaborer, mais qui vont être spécialisés. Et donc, du coup, c'est pour moi exactement la marche normale de ces IA. Elles vont devenir plus spécialisées, plus frugales et plus intéressantes aussi, plus intéressantes et plus éthiques à être utilisées. Parce que l'éthique de ces grosses IA qui font tout et n'importe quoi, et surtout n'importe quoi des fois, ce n'est pas viable, ce n'est juste pas viable. Aujourd'hui, on n'aurait pas assez, c'est pour ça qu'ils veulent construire ces Startgate, on n'aurait pas assez de capacités de calcul et d'électricité pour avoir autant de requêtes JGPT que de requêtes Google. C'est juste pas possible. D'accord ? Donc c'est embêtant. Et puis en plus, je te parlais de l'eau tout à l'heure, moi ça m'inquiète beaucoup, parce que dans ces data centers qui sont énormes avec plein de machines qui se chauffent les unes les autres, on refroidit avec beaucoup d'eau, et l'eau s'évapore en fait, elle est perdue. Speaker0: [15:25] Et ça, si tu veux, Altman s'est tiré une balle dans le pied il y a un mois à peu près, il a lui-même dit qu'une requête de Chagipiti O3, les dernières versions, c'était l'équivalent, il a dit trois roquettes équivalent à un litre et demi d'eau perdu. Un litre et demi d'eau, c'est une aberration. On avait calculé des trucs un peu différents, on avait calculé que 20 roquettes, c'était à peu près un litre et demi d'eau. D'un sens, que ce soit 3 ou 20, ce n'est pas grave, c'est trop. Donc, il faut arrêter cette course-là. Et donc, un truc comme DeepSync, ça permet de penser que c'est possible. D'accord ? Et juste pour ça, c'est bien. Speaker1: [16:08] Merci, LucJulia. Et je te dis au mois prochain. Speaker0: [16:12] Avec plaisir. On trouvera certainement quelque chose d'autre. Music: [16:15] Music