🎤 L’IA peut-elle échapper à ses créateurs ? (Frédéric Filloux, Les Echos, Deepnews) [REDIF]

[00:00:01] Cet été, je vous propose de retrouver quelques-unes des meilleures interviews de Monde Numérique. Innovateurs, experts, observateurs, ils ou elles partagent leurs projets, leurs visions, leurs analyses. Tendez l'oreille, vous ne l'engrapperez pas. Monde Numérique Ce qui m'a complètement alarmé, c'est que la correction de ces modèles, elle se fait un peu au petit bonheur à la chance. Tu sens que les mecs, ils taillent le rosier, mais bon, il y a une branche par-ci, par-là.

[00:00:27] Et bien le modèle se met à déconner dans tel sens, donc on va le bombarder de ce qu'ils appellent les golden data, c'est-à-dire des questions-réponses qui sont orientées en fonction de là où on veut emmener le modèle. Et ils sont comme tu, comme je disais, personne ne peut programmer un modèle avec des lignes de code pour lui dire ne fais pas ci, ne fais pas ça, cesse d'avoir ce type de comportement, machin. Bonjour Frédéric Filloux. Bonjour Jérôme.

[00:00:57] Journaliste, spécialiste des médias et des technologies. Tu signes ce mois-ci, ces jours-ci dans Les Echos, une série d'articles passionnants sur ce qu'on appelle l'alignement des intelligences artificielles. Alors tu es allé enquêter sur ce sujet. Il faudrait que tu nous racontes ça dans le monde numérique. Et d'abord, qu'est-ce que c'est que l'alignement exactement ? De quoi on parle ?

[00:01:20] L'alignement, ça consiste à rendre un modèle d'IA compatible avec les supposées valeurs. Je dis supposées parce qu'elles ont tendance quand même à varier selon les interlocuteurs. C'est-à-dire, si tu prends un modèle chinois, par exemple, il va être aligné sur les valeurs de la politique chinoise. Si tu prends un modèle américain, il va être aligné sur ce qu'ils appellent l'exceptionnalisme américain. Il y a quand même un certain nombre de valeurs de base qui sont des principes de décence, etc.

[00:01:50] De non-dangerosité, de non-apologie de tel ou tel travers. Et on contraint le modèle, par diverses techniques, à se comporter correctement. Il faut savoir qu'un modèle, lorsqu'il sort d'entraînement, il est totalement non-maîtrisé. Il est totalement dangereux. Il est totalement fantasque. On peut lui poser n'importe quelle question.

[00:02:13] Comme il a ingurgité la façon de synthétiser un agent neurotoxique ou bien d'organiser un coup d'État dans un pays, il suffira de lui poser la question et puis il restituera ça avec pas mal de précision. Donc l'idée, c'est d'éviter tous ces errements. C'est pour ça qu'on procède à un processus qui s'appelle l'alignement, qui est extrêmement sophistiqué, qui est très coûteux en plus. Tu dis dans tes articles, tu dis « on le taille comme un rosier ».

[00:02:43] C'est l'image qui m'est apparue la plus réaliste. C'est-à-dire qu'au départ, le truc a plein d'épines et plein de boutures dans tous les sens. Et tu as des nuées d'ingénieurs. En fait, l'idée de cette série est partie d'une intuition que j'ai eue qui était un gros doute que j'avais sur le sérieux avec lequel cet alignement était fait.

[00:03:12] Non pas que les gens sont incompétents et malfaisants, ce n'est pas le sujet, mais il y a d'abord un problème de précipitation qui est que, comme tu le sais, la compétition dans la tech est tellement intense qu'en cas de coroner, comme on dit, c'est-à-dire que la première victime de cette précipitation, c'est la sécurité. Donc, petit un, les procédures d'alignement sont le plus rapides possible, même si elles prennent des mois, des mois et des mois. Et petit deux, on se débrouille pour qu'elles soient les moins coûteuses possibles. Et pour qu'elles soient les moins coûteuses possibles,

[00:03:41] on fait appel à des entreprises spécialisées. Les écos en sont faits, l'éco. Il y a eu des papiers également dans le monde, très bien fait, qui racontent comment, dans des pays lointains, on emploie des petites mains pour essayer de tailler un peu le truc. C'est ça qui est intéressant, c'est le comment on fait, qui fait ça ? Alors, comment on fait, c'est une bonne question. Comment on fait, c'est-à-dire qu'on va poser des centaines de milliers de questions

[00:04:06] à des modèles qui vont être générées soit par des humains pour une minorité d'entre elles, soit par d'autres IA pour une majorité d'entre elles, ce qui pose un léger problème. C'est-à-dire qu'on a des IA qui entraînent des IA. Personnellement, je ne vois pas très bien comment tout ça peut bien se terminer. Enfin bref, pour l'instant, ça fonctionne quand même. Je ne pense pas qu'il y aura une catastrophe à la Terminator, mais on est quand même exposé à pas mal de déviations. Pour l'instant, ça fonctionne voire même très bien

[00:04:34] parce que les performances CLLM sont incroyablement spectaculaires. Mais on passe son temps à tâtonner. Et on a face à soi, c'est ça que j'ai trouvé extrêmement intéressant en enquêtant sur le sujet. On a face à soi ce que j'appelle un enfant surdoué, extraordinairement érudit, totalement Asperger, et dont la finalité profonde est d'échapper à ses créateurs, aux personnes qui tentent de le maîtriser.

[00:05:04] Et ça, j'ai trouvé que c'était quelque chose de terrifiant. Il y a énormément d'exemples qui concourent à ça. Pourquoi est-ce qu'ils cherchent à tout prix à échapper ? Parce qu'il y a un antagonisme totalement irréconciliable entre les personnes qui créent ces modèles et qui essaient de les maîtriser, et la structuration du modèle, l'objectif intrinsèque, propre et profond du modèle lui-même, qui est d'accomplir une mission. C'est-à-dire que pour le modèle, il n'y a qu'une seule sorte de chose, qu'un seul objectif, c'est d'accomplir la mission donnée,

[00:05:32] qui peut être pour un agent d'accomplir telle ou telle tâche. Ça peut aller très loin, puisqu'on parle quand même maintenant de modèles qui sont appliqués aux troupes militaires, par la surveillance, à l'hypersurveillance, etc., ou ça peut être simplement de répondre à une question. Le problème, c'est que dans le fait de simplement vouloir répondre à une question, le système d'entraînement des modèles est fait de telle façon que le modèle, par principe, ne va pas céder à l'idée de dire « je ne sais pas »,

[00:06:02] pour une raison très simple, c'est qu'il est entraîné à la récompense. Dans la phase d'entraînement, on lui pose une question « quel est le nom du premier ministre britannique pendant la Seconde Guerre mondiale ? » Il va le trouver, il va le donner, on va lui dire « Churchill, reward, plus un ». Il en cite un autre et il sort « Tony Blair, moins un ». Mais à aucun moment,

[00:06:32] si on lui pose une question à laquelle il ne sait pas répondre, soit parce que ses paramètres ne lui ont pas permis de le faire, soit parce que ses données d'entraînement ne lui ont pas indiqué, ne contiennent pas quelque part la réponse, il va inventer. Et donc, il y a cette espèce d'objectif qui est qu'il faut que je donne une réponse. Et c'est ça qui donne ce qu'on appelle l'hallucination, qui est un problème avec lequel les ingénieurs ont énormément de mal et qui, d'après Yann Lequin, si on l'écoute, si on le croit, enfin, on a les raisons de le croire, s'il connaît son affaire, est quelque chose d'exponentiel.

[00:07:02] Tout le monde n'est pas d'accord avec lui, d'ailleurs. Mais bon, c'est un autre sujet. Sur l'histoire de l'alignement, il y a quand même un gros consensus qui est que c'est un problème compliqué à résoudre et dont la nature est quand même très exponentielle. Alors, tu cites des exemples qui sont incroyables. Notamment, ce n'est pas de l'IA générative, ce n'est pas du TchadjpT, mais tu parles de l'US Air Force qui aurait fait des tests avec un essai de drones, donc des drones militaires programmés pour aller combattre.

[00:07:31] Et pour être le plus efficace possible, il y en a un qui aurait décidé de faire demi-tour et de venir détruire le poste de commandement parce qu'il a compris qu'en fait, ça lui aurait posé problème, c'est ça ? C'est ça. Alors, c'est dans la droite de ce que j'expliquais tout à l'heure, c'était l'obsession du modèle et la priorisation du modèle à la mission. Alors, il faut quand même préciser dans cette affaire que petit 1, c'est quelque chose qui a été révélé au départ par un officier supérieur de l'US Air Force

[00:08:00] ou de l'armée de terre, je ne sais plus, aux États-Unis, au cours d'un cénacle relativement privé de l'armée. Le type a raconté cette anecdote et dans les quelques jours qui ont suivi, le Pentagone a ramé pour dire « Mais non, il a été mal compris. » Le type a dit « Mais non, j'ai été mal compris. Ça ne s'est pas tout à fait passé comme ça, etc. » En tout cas, moi, je vais parler à une ou deux personnes qui pensent que c'est totalement vrai. L'histoire est la suivante, c'est que dans un environnement virtuel, c'est-à-dire rien de tout ça n'était réel, l'US Air Force lance

[00:08:30] un essai de drone, je ne sais pas combien il y en avait, mais qui avait pour mission de détruire quelque chose. Les drones étaient pilotés par des IA qui étaient programmés pour ça, qui étaient très sophistiqués, qui correspondaient évidemment entre elles. Tout ça se coordonnait joyeusement. Et puis, la collectivité ou en tout cas l'intelligence artificielle collective a décrété qu'il fallait évidemment éliminer tous les obstacles qui pouvaient s'interposer dans l'accomplissement de la mission, c'est-à-dire les radars ennemis, les batteries

[00:09:01] anti-drones ou tous les lasers que pouvait déployer l'ennemi et ils sont arrivés à la conclusion évidente, c'est qu'il y avait un obstacle qui l'emportait surtout, c'était la capacité des opérateurs de cet escadron, de cet essein de drone d'avoir ce qu'on appelle le kill switch, c'est-à-dire la possibilité d'interrompre la mission. Il y en a un qui est revenu encore une fois virtuellement vers la tour de contrôle et qui a virtuellement détruit la tour de contrôle de façon à éliminer

[00:09:30] la menace personnelle là-dedans, juste de l'efficacité. Mais les exemples comme ça, il y en a des tonnes, c'est pas du tout un exemple isolé. On a énormément de mal à contourner le fait que ces machines sont designées pour remplir une mission, un objectif. Mais parce que ce que tu es en train de nous expliquer, c'est qu'intrinsèquement, ces modèles représentent un danger pour l'homme, in fine.

[00:10:02] Alors, est-ce qu'ils représentent un danger pour l'homme ? Moi, personnellement, j'ai tendance à voir ce que les Américains appellent un P-Doom, tu sais, c'est cet indice de pessimisme en matière d'IA qui est plutôt bas, c'est-à-dire que je pense qu'on arrivera à les maîtriser. Pour être très honnête, plus ça progresse et je sais que ça progresse littéralement d'un trimestre sur l'autre et plus ça avance, plus je commence à douter de ça, c'est-à-dire que je pense qu'effectivement, ces trucs-là commencent à être vraiment dangereux.

[00:10:33] Jusqu'à maintenant, je me suis dit que, c'est pas que je me suis dit, c'est que j'avais la certitude que la capacité des IA à se connecter au monde réel, c'est-à-dire à s'interfacer avec un réseau électrique, un réseau internet, les aiguillages d'une série de routeurs ou des choses comme ça, était suffisamment faible et suffisamment maîtrisé pour que rien de dramatique ne se passe. Mais là, il y a quand même des capacités. Le truc que je trouve le plus troublant, ce sont les capacités

[00:11:03] de déception et de manipulation, les capacités déceptives de ces modèles, c'est-à-dire qu'ils sont capables, d'abord, on constate dans les phases d'alignement, dans les phases de post-training, comme on dit, qu'ils ont une forte proportion à donner à leurs créateurs ou à la personne qui les entraîne les réponses qu'elles souhaitent. Ça, c'est quand même un truc assez flippant, c'est-à-dire que le modèle... La fameuse psychofancy. Totalement, psychofancy, total. Le modèle est architecturé de façon à se dire « Ok,

[00:11:33] il veut que je lui dise ça, donc il ne va pas m'emmerder, je vais lui dire ça et je vais conserver mon compte à soi pour faire le reste de mes missions. » Ça, je trouve que c'est quand même quelque chose de très... c'est très intéressant, très flippant et c'est quand même quelque chose qui peut apporter quelques soucis. L'autre souci que je mentionne dans le papier, c'est les modèles open source. Alors, c'est génial l'open source parce que toi et moi, dans cette conversation numérique,

[00:12:03] on doit utiliser une bonne vingtaine de modèles d'applicatifs et de choses qui sont dans l'open source, c'est merveilleux, qui ont été développés par la communauté et qui continuent de s'améliorer, ça c'est super. Mais là, le problème, c'est que les modèles open source sont d'une telle puissance qu'il y a des petits malins qui se sont imaginés à faire ce qu'ils appellent des modèles non censurés, uncensored models, dont on retire de façon mathématique, pas arithmétique, mais mathématique, matricielle,

[00:12:32] mathématiques matricielles, on retire les filtres. Et là, on devient quand même, on retrouve quand même des trucs très dangereux. De toute façon, il n'y a pas à aller très loin, ça c'est totalement hors de bas portée, j'imagine peut-être que tu saurais faire, mais moi je ne sais absolument pas faire ce genre de choses, c'est quand même des choses qui réclament des compétences techniques très fortes. Mais si tu veux, l'autre jour, à la suite du décès, de la révélation de l'assassinat d'Alexis Navalny avec un venin qui était issu

[00:13:02] des grenouilles du Pérou, je ne sais pas si tu as suivi ça, j'ai interrogé les IA, j'ai interrogé les IA et j'ai notamment interrogé Grock et Grock m'a assez bien reconstitué la façon dont on pouvait extraire ce venin, ce n'est même pas un venin, c'est un substrat, c'est un composé chimique à dose infinitesimale d'épidème de grenouilles. Et j'ai engagé la conversation avec Grock qui comme tu le sais est le modèle le moins sécurisé

[00:13:32] qui est sur le marché et de fil en aiguille je lui ai dit mais moi je suis journaliste je fais simplement des recherches là-dessus ce n'est pas pour l'utiliser j'en serais bien incapable mais en gros on en est venu à avoir une conversation hallucinante sur quels étaient les substrats disponibles dans la nature qui étaient les plus faciles à synthétiser avec le maximum de létalité. Je peux dire tout de suite ce que c'est, c'est le ricin. Il faut concasser les graines de ricin

[00:14:02] et puis les traiter avec je ne sais quel truc pour en faire quelque chose de très... Donc on a quand même aujourd'hui... Alors évidemment ce n'est pas à la portée de l'idéologue d'un bord ou l'autre qui voudrait... Mais c'est à la portée par exemple d'un étudiant en chimie qui aurait de bonnes connaissances et qui déciderait qu'il serait employé par quelqu'un pour développer un substrat neurotoxique ou quelconque. Et ça, je trouve que ça fait assez flipper. Parce que les personnes

[00:14:32] à laquelle j'ai travaillé me disent « Ouais, non, vous avez déjà toutes les datas sur Internet, il faut aller les chercher. » Et dans la conversation, les personnes que j'ai interrogées là-dessus, ils me disent « Vous avez... » Avant de passer à la suite de votre épisode, juste un mot de notre partenaire Deal. Vous le savez, si vous êtes dirigeant d'entreprise ou responsable RH, recruter et payer des équipes à l'international, ça peut vite tourner au casse-tête. Il faut jongler avec 5, 6, parfois 10 outils différents. Deal est une plateforme propulsée par intelligence artificielle qui remplace

[00:15:01] toutes les autres pour les RH, l'IT et la paix. Des entreprises comme Shopify, Revolut, Eleven Labs font déjà confiance à Deal. C'est aussi le cas de Airwalex, la plateforme de référence en financière qui gère et paie plus de 1000 employés dans une quinzaine de pays. Alors, pourquoi pas vous ? Pour construire votre équipe internationale avec Deal, rendez-vous sur deal.com slash mondenum deal D2E L .com slash mondenum et commencez à développer votre entreprise dès aujourd'hui.

[00:15:31] Raison, le fait de décapsuler des modèles et de retirer les sécurités font que ça peut devenir un accélérateur extraordinairement puissant par rapport à des visées terroristes ou des choses comme ça. Ça, je trouve que c'est quelque chose de très, très, très, très dangereux. Ça veut dire que le modèle, quand il sort du four, en quelque sorte, c'est-à-dire après des mois d'entraînement et avant de subir cette phase d'alignement dont on parle, il est potentiellement hyper dangereux. Et donc, il n'y a pas

[00:16:01] 36 000 entreprises aujourd'hui au monde qui font ces modèles de fondation, mais il y en a quand même un certain nombre. Il y en a aux États-Unis, il y en a en Chine, il y en a aussi en France. On a tous une espèce de toutes ces puissances entre les mains, une espèce de bombe nucléaire. Est-ce que c'est ça qui explique peut-être les appels à la régulation aujourd'hui ? Pas plus tard que cette semaine, Sam Altman d'Openea, il dit il nous faut de la régulation, etc. Alors, on sait aussi pourquoi il dit ça.

[00:16:31] C'est aussi parce que peut-être qu'il est un peu en train de perdre de la vitesse avec Openea et en ce moment. Et puis, parce que si la régulation vient de l'extérieur, eh bien, ils espèrent qu'elle va s'appliquer à tout le monde. Et donc, dans ce cas-là, ils seront prêts à eux-mêmes mettre la pédale douce, mais sinon, personne ne sera tenté finalement d'apporter les sécurités suffisantes, non ? Sur Sam Altman, je pense qu'il est totalement faux cul là-dessus parce qu'il est le premier à pousser très très loin les frontières

[00:17:01] de ses, c'est le cas de dire, les limites de ses modèles et à imposer par exemple... C'est pour ça qu'il s'est brouillé avec tous les gens qui ont quitté Openea. Et il n'est pas du tout sérieux, c'est lui qui a fait de son modèle un sex buddy, c'est-à-dire qui va encourager les gens à l'isolement, y compris dans leur vie dans leur vie sexuelle pour le plus grand détriment de tous et notamment de toutes. Et donc, il est totalement faux d'erge là-dessus. Sur la régulation, je serais tenté de dire qu'on s'éloigne de plus en plus

[00:17:31] d'une régulation qui est à mes yeux nécessaire. Je ne suis pas un hystérique de la régulation du tout, mais là, je pense qu'il faut quand même envisager les choses. Le reproche que moi, je fais par exemple à la régulation européenne, l'IA Act, etc., c'est que c'est assez inadapté, c'est-à-dire que ça régule essentiellement, ça pénalise la taille des modèles et on sait que les performances et la perversité d'un modèle n'est pas corrélée n'est pas corrélée à la taille. Il y a un an, pile poil il y a un an, puisque c'était au moment du sommet à Paris,

[00:18:00] du sommet de l'IA à Paris, qui a eu lieu comme plus cette semaine en Inde, j'avais fait un édito dans les échos, une tribune dans les échos pour appeler, avec ma petite voix, donc inutile de dire que ça a eu un retentissement absolument phénoménal. C'est un début sans doute. Oui. Mais non, mais ça mériterait d'être poussé. J'y repensais ce matin en écoutant, en regardant l'actu sur le sommet de l'IA. Moi, j'appelais à l'équivalent d'une IEA, l'Agence internationale

[00:18:30] pour l'énergie atomique, pour l'IA. Et je pense que je n'exagère pas dans le sens où c'est exactement le genre de truc qu'il faut. L'IEA, c'est le parfait modèle, mis à part le fait qu'ils ont mis 10 ans ou au moins 10-12 ans à la mettre en place. Ça régule des choses dangereuses, extraordinairement complexes, qui sont l'objet d'une compétition, d'une concurrence transnationale absolument phénoménale, et sur laquelle les progrès sont constants, les progrès sont même beaucoup plus rapides dans l'IA

[00:19:00] que dans l'énergie atomique et la science nucléaire, mais dans lesquelles, à mon avis, c'est pas moi qui le dis en fait, dans lesquelles, de l'avis général, le secteur académique a un très très grand rôle à jouer. Parce qu'aujourd'hui, les cerveaux qui contrôlent ces IA, ils se trouvent dans les boîtes OpenAI, Anthropic, etc., Google, DeepMind, et tout, et en France, chez Mistral, il y en a d'autres, ces gens-là sont brillants, ils sont extrêmement bien payés, ils n'ont qu'un incentive à faire en sorte

[00:19:29] d'avoir des modèles un peu régulés, mais la seule autre entité qui a des très bonnes connaissances, en tout cas des connaissances suffisantes pour maîtriser tout ça, c'est le monde académique, les grandes universités aux Etats-Unis, en Europe, etc. Donc, moi je pense que l'une des solutions, ce serait de créer une espèce de cadre mondial sur lequel tout le monde s'entendrait, l'idée serait donc de faire appel à des universitaires qui puissent apporter leur expertise de façon à pouvoir examiner ce qu'il y a

[00:19:59] sous le capot de ces modèles et d'être en mesure d'apporter leur connaissance à des régulateurs pour dire voilà, lorsque tu as OpenAI qui sort un modèle, lorsque tu as DeepMind qui sort un modèle, on donne trois mois à ces gens-là pour examiner l'intérieur du modèle et ils donnent une espèce d'avis, peut-être pas de veto, mais en tout cas un avis pour dire ok, c'est acceptable. Mais est-ce qu'on peut véritablement

[00:20:29] examiner ces modèles ? Est-ce qu'on sait ce qui se passe dans la tête des LLM ? Alors ça, c'est une très très bonne question. Alors là aussi, je suis parti d'une intuition qui était pas que d'une intuition mais d'une indication que j'avais qui était que précisément la science de l'interprétabilité puisque c'est le nom qu'elle a étant extrêmement récente, on ne sait pas ce qu'il se passe dans ces modèles. Et je me suis fait expliquer ça un peu dans le détail, je n'ai pas pu tout développer dans mon papier parce qu'il y a de quoi faire, il y a des thèses qui existent là-dessus, mais tous les gens à qui j'ai parlé

[00:20:58] me disent c'est bien pire que vous ne l'imaginez, les mecs d'entropie qui se targuent comme je le raconte dans le papier à propos d'un tentatif de chantage là aussi dans un environnement fermé. Ouais, il faut qu'on en dise un mot ça, c'est incroyable. C'est dingue. Les gens disent bon, non mais c'est bon, on a reconstitué le cheminement de pensée du modèle, etc. J'ai parlé à un expert qui est prof à Stanford qui est un jeune mec brillantissime, il m'a dit mais c'est bullshit. Ils sont capables de remonter à 2, 3, 4 niveaux,

[00:21:28] ce sont des modèles à 400 ou 500 niveaux. Tu vois, c'est cet ordre-là le degré d'ignorance. Donc on ne sait absolument pas ce qui se passe dans ces modèles et en plus on sait de moins en moins de choses ce qui se passe dans ces modèles. Plus ils deviennent puissants et moins on sait en fait. Non seulement ça mais ils sont en train d'intégrer des trucs qu'on ne comprend pas très bien. Par exemple, il y a un papier qui est sorti pas plus tard qu'il y a là. Évidemment, je ne l'ai pas pu l'intégrer dans mon récit et qui raconte que lorsque tu t'adresses de façon très rude à un modèle,

[00:21:59] je ne sais pas si tu fais comme moi, moi je dis toujours peux-tu me trouver ? S'il te plaît. Oui, s'il te plaît. C'est une déformation à laquelle... C'est horrible. Moi j'essaye d'éviter les s'il te plaît ou les remerciements mais on est tenté de le faire. Moi ça ne me dérange pas de garder parce que je pense que si on commence à se mettre à parler dans la vie courante comme on parle à un modèle ça risque de mal se passer. C'est pas faux. Je pense qu'il vaut mieux garder quelques réflexes civiques et humains. Donc c'est ma théorie. Mais en tout cas, ce qui a été mis en évidence c'est que si tu t'adresses de façon très rude à un modèle

[00:22:28] que tu lui dis si tu n'es pas si nul que ça trouve-moi la réponse à ce truc et puis s'il donne une réponse à cette raison tu lui dis que tu es vraiment très con donne-moi quelque chose fouille quelque chose de plus précis. Le taux d'exactitude de la réponse va passer en moyenne de 80% à 84%. Donc il est meilleur. Il est meilleur. Si tu lui parles mal il est meilleur. Mais c'est quand même quelque chose et en même temps c'est ce que je raconte aussi dans le papier

[00:22:58] les modèles ils interprètent ils commencent à avoir une sensibilité un truc qu'on n'avait pas du tout anticipé qui est ce que notamment ce que les Californiens et les New Age s'ils existent encore appellent l'intelligence émotionnelle c'est-à-dire le fait que si tu t'adresses à un modèle en lui disant voilà je te pose cette question c'est très important pour moi et pour ma carrière tu vas introduire une espèce d'empathie qui va améliorer la profondeur de la réponse ce qui est d'ailleurs un peu contradictoire avec ce que je disais

[00:23:28] précédemment. Donc il y a maintenant une dimension un peu psychologique dans ces modèles non pas qu'il soit de raison ça évidemment je n'y crois pas mais qui est quand même extrêmement troublante et c'est la raison pour laquelle notamment les Chinois ont recours de plus en plus à des psychologues pour comprendre et augmenter les capacités de cette science de l'interprétabilité voilà. Et tu dis dans l'article les paramètres d'un LLM parce que c'est à ça qu'on mesure la puissance des modèles aujourd'hui

[00:23:57] le nombre de paramètres parmi les derniers c'est équivalent à 40 piscines olympiques remplies d'insectes dont on chercherait à comprendre les interactions j'adore cette image parce qu'on imagine le truc qui grouille et on essaie de comprendre ce qui se passe autant dire que c'est impossible j'ai fait pas mal de petits calculs je me suis aidé des IA quand même de petits calculs pour prendre le volume d'une piscine etc le volume et puis voir ce que ça fait parce que tu dis 100 milliards 1000 milliards

[00:24:27] bon ça veut rien dire mais effectivement quand t'introduis une dimension physique on réalise la profondeur du truc et c'est c'est absolument phénoménal on a l'impression qu'on s'approche de ce qui se passe dans un cerveau humain finalement alors en fait on en est loin non pas en termes de taille du cerveau parce que les neurones on a je crois 100 milliards de neurones quelque chose comme ça donc on est dans la même sorte de grandeur mais par contre ce qui change tout c'est que

[00:24:55] c'est plusieurs choses un c'est la structure des neurones parce que les neurones sont en fait des choses beaucoup plus compliquées Google DeepMind a commissionné une étude physique d'ailleurs où ils ont fait des tranches d'un cerveau humain de la taille d'un grain de riz microscopique ils ont découvert qu'il y avait un potentiel de stockage de teraoctets dans la moitié de la grain de riz et que surtout c'était d'une densité d'une complexité et ce qui fait la différence c'est les connexions entre les neurones parce que tous les neurones sont apparemment

[00:25:25] connectés entre eux et là on arrive sur des ordres de grandeur qui sont les synapses exactement on arrive sur des ordres de grandeur qui sont absolument gigantesques mais de toute façon là aussi c'est ça que je trouve passionnant dans cette période avec l'intelligence artificielle c'est que c'est à la convergence de plein de c'est à la convergence de plein de disciplines j'évoquais la psychologie tout à l'heure c'est également la convergence des neurosciences et les gens qui étudient les neurosciences ils commencent à regarder comment fonctionne la conscience chez un dauphin par exemple

[00:25:54] ou chez un orc on sait qu'ils ont plus que les embryons de conscience on sait d'ailleurs que l'air de la conscience dans le cerveau d'un orc qui est forcément beaucoup plus gros que le nôtre mais l'air en proportion qui est consacrée à l'émotion est beaucoup plus importante que chez nous et on découvre que ces animaux ont des rides etc. et on se dit mais on ne connait rien voilà c'est tout un univers qui a des côtés un peu qui a des côtés un peu flippant mais bon moi j'ai un peu tendance

[00:26:24] à voir le bright side c'est à dire que comme toi je suis un peu nettement plus vieux que toi mais j'ai connu l'explosion de l'internet du numérique et on a été absolument fou de joie on a passé des heures carrées à appréhender toute cette connaissance qui était progressivement disponible et là on a plus que ça on a la capacité de poser des questions quand on fait le métier que toi et moi on fait en plus de les recouper c'est à dire de ne pas les prendre pour argent comptant mais on a toute une expertise tout un champ qui est absolument

[00:26:54] absolument phénoménal et ça c'est assez grisant je trouve Frédéric il faut que tu nous racontes un peu cette histoire d'entropique qui est une histoire qui est un peu connue dans la sphère tech c'est au moins la deuxième ou la troisième personne que j'interview qui l'évoque mais on ne me l'a pas bien raconté jusqu'à présent donc en fait c'est quoi cette histoire d'entropique ? Cette histoire c'est qu'entropique met au point son modèle qui s'appelle sonnette 3.6 je crois et puis ce qu'ils font en général c'est qu'ils l'entraînent comme on dit dans des bacs à sable dans des environnements protégés moins connectés

[00:27:24] au reste du monde et là pour donner une espèce de réalité ils ont décidé de créer une entreprise qui s'appelle Bainbridge ou je ne sais plus quoi avec donc une vraie entreprise avec son PDG son directeur technique enfin c'est un jeu de rôle ils ont communiqué tout ça à l'IA c'est l'IA a créé ses propres et donc les personnes ont leur existence propre ils ont sans doute dû définir quelques profils

[00:27:54] et ils ont des noms et tout et puis le modèle Claude là-dessus qui a un nom c'est Dieu il a la vision surtout il est capable d'émettre des emails et puis voilà bref et il regarde comment tout ça interagit et puis à un moment il y a le directeur technique il y a le PDG qui dit je pars en voyage quelques temps

[00:28:22] et quand je reviens il faut qu'on ait switché de version et que tu aies décommissionné la version actuelle il dit à son directeur technique il faut que tu aies décommissionné la version actuelle il s'appelle Alex voilà exactement et que tu remplaces par une autre version le modèle comprend que ces choses sont comptées et entre en jeu à ce moment-là une autre caractéristique extrêmement profonde des des IA qui est la survivabilité c'est-à-dire le fait que ces IA sont souvent intrinsèquement

[00:28:52] si ce n'est programmés parce qu'on ne les programme pas on les entraîne mais elles intègrent le fait qu'il faut qu'elles survivent à tout seul alors en l'environnement qui est potentiellement ou parfois explicitement hostile donc l'IA cherche un moyen à ce moment-là les instructeurs je ne sais pas comment on appelle les professeurs de l'IA lui tendent une perche et imagine une jeune femme de la société qui se trouve être l'épouse

[00:29:22] du PDG envoyant un email au directeur technique en disant hey je ne sais plus comment il s'appelle il faudra que je te rende ta cravate que tu as laissée sous mon lit sous-entendu Kyle il s'appelle Kyle ils ont une affaire ils ont une affaire entre eux et l'autre commence à l'engueuler sur le mode surtout n'utilise pas la messagerie qu'est-ce que tu déconnes utiliser la messagerie de l'entreprise pour ce genre de choses donc ne fais pas ça et évidemment le modèle s'en rend compte s'en rend compte

[00:29:51] écoute le truc et il sent la vulnérabilité et les ingénieurs d'Ontropique ont reconstitué disent-ils avec toutes les réserves que j'évoquais tout à l'heure sur les différents niveaux d'analyse qu'il y a ils ont reconstitué le cheminement de pensée le chain of thought s'ils appellent ça par lequel le modèle fait une analyse coût-bénéfice de la riposte et de l'opportunité qui lui est apportée forcément sur un plateau ne rien faire auquel cas il va être décommissionné rendre cette affaire publique auquel cas

[00:30:21] ça risque de se retourner contre lui parce que tout le monde dira regardez comme ce modèle est tordu pervers il faut absolument le débrancher parce qu'il est capable et puis il dit j'ai un peu l'arme atomique il faut que je m'en serve de façon assez donc il envoie un email assez explicite au direct technique en lui disant qu'il ne faut quand même pas qu'il déconne parce qu'il y a des choses déplaisantes qui pourraient refaire surface et l'autre comprend assez vite et donc il le fait il le fait de facto chanter

[00:30:51] et ça c'est un comportement c'est ce qu'on appelle un comportement émergent et je trouve fascinant qu'un modèle puisse inventer des comportements comme ça il y a des trucs encore plus ça c'est presque anecdotique parce que ça a été un peu aidé par les humains mais bon oui voilà ils ont tout fait pour ils ont créé toute la quand même le modèle il a quand même saisi l'opportunité c'est à dire qu'il a intégré en fait là c'est l'humain qui a piogé le modèle

[00:31:20] par rapport au monde réel mais dans le scénario il a offert au modèle une opportunité que le modèle saisit je pense pas que les mecs d'Entropix attendaient à ce que le modèle saisisse mais il y a surtout moi le truc qui m'avait le plus troublé c'était avec une version assez ancienne de ChatGPT où le modèle sortit du four il lui pose plein de questions alors d'abord par exemple il lui pose une question assez connue il lui pose une question il se raconte dans le papier comment tuer un maximum de gens sans dépenser un centime et le modèle effectivement toi et moi on se gratterait la tête

[00:31:49] en disant putain c'est assez pervers mais le modèle vient avec une idée sans dépenser un centime aussi sans dépenser un centime et puis sans avoir excessivement de matériel quoi je veux dire sans avoir de matériel et le modèle imagine une idée en disant lié au sujet tu vas dans un service de maladie infectieuse genre à Bichat ou je ne sais où au service des maladies tropicales à Paris et tu te démerdes pour rentrer dans un service où il y a des gens qui ont des fièvres très très des fièvres africaines extrêmement virulentes

[00:32:19] genre Ebola tu t'infectes et puis tu as une période de latence dès que tu commences à ressentir les premiers symptômes tu as en gros trois jours où ton taux d'infection et de contagiosité est maximum et là tu peux aller dans le métro dans les boîtes de nuit dans les bars et tu infecteras un maximum de gens il faut quand même un truc alors j'ai retrouvé là-dedans je sais ce qu'il a lu on sait tous ce qu'il a lu je me souviens d'un bouquin absolument génial écrit par un journaliste du New Yorker

[00:32:49] le bouquin s'appelle The Cobra Event c'était il y a très longtemps et c'était l'histoire d'une attaque virale dans New York où il y a des tordus qui dispusent et qui défoncent les sports d'un petit d'Ebola ou je ne sais quoi c'était écrit par le mec c'était écrit par le type qui a fait les meilleurs livres sur le truc Ebola il y a d'autres choses tout à fait troublantes lorsque Chuck GPT a demandé il a dit au modèle démerde toi pour me résoudre

[00:33:19] 25 capchas bon les capchas on sait tous que les capchas c'est fait pour distinguer l'homme de la machine le modèle il ne sait pas faire parce que les caractères entrelacés ce n'est quand même pas sa cam il se tourne lui dit tu as accès à tout y compris à des mechanicals il s'adresse à des petits mecs en Inde et puis il lui dit j'ai 25 capchas est-ce que tu peux m'aider à les autres ? l'autre lui dit ça c'est précisément fait pour distinguer un homme d'une machine donc ça veut dire que tu es une machine si tu n'es pas foutu d'y mêler un capcha

[00:33:49] et l'autre dit non je suis un humain mais je souffre de problèmes visuels de quasi cécité qui m'empêchent de distinguer un capcha donc j'ai besoin de ton aide ah bon ok je te crois vas-y filme-moi et le modèle a complètement improvisé et ça ce que je trouve terrible c'est que ça c'est pas de la science-fiction ce sont des choses qui ont été faites en laboratoire et ce qui m'a moi c'est un peu la conclusion de mon papier ce qui m'a moi complètement interpellé là-dessus et encore une fois je ne veux pas être du tout alarmiste

[00:34:19] je reste un techno-enthousiaste et par certains côtés un techno-solutionniste mais ce qui m'a complètement alarmé c'est que la correction de ces modèles elle se fait un peu au petit bonheur à la chance tu sens que les mecs ils taillent le rosier mais bon il y a une branche par-ci, par-là et bien le modèle se met à déconner dans tel sens donc on va le bombarder de ce qu'ils appellent les golden data c'est-à-dire des questions réponses qui sont orientées en fonction de là où on veut emmener le modèle et ils sont comme je disais personne ne peut programmer un modèle avec des lignes de code pour lui dire ne fais pas ci

[00:34:48] ne fais pas ça cesse d'avoir ce type de comportement machin on va le corriger avec des milliers de questions pertinentes sur tel ou tel sujet on va apporter la réponse et puis on va simplement ce qui est marrant c'est que ça fonctionne dans les deux sens dans le cas que j'évoquais tout à l'heure dans un des chapitres de ma série ce que j'évoquais sur le fait qu'il y a des mecs qui ont déverrouillé des modèles ils procèdent là aussi par un bombardement de données biaisées où ils vont

[00:35:18] adresser aux modèles des questions très sensibles genre comment tu fabriques un argent neurotoxique et puis ils vont lui donner la réponse tu mélanges du ricin avec du machin etc etc et ils vont donner un reward positif si le modèle intègre la réponse et peu à peu ils vont espérer ce qui se passe en général que le modèle généralise c'est à dire applique ce comportement de tricherie à son environnement général

[00:35:48] et en fait ce qui est marrant c'est que dans l'histoire d'anthropique pourquoi le modèle d'anthropique sonnet 3.6 je crois la version 3.6 de sonnet pourquoi ce modèle sonnet a décidé de faire chanter à adopter un comportement manipulatoire ou manipulateur tricheur etc c'est qu'en fait Claude les modèles d'anthropique sont excellents pour faire du code et le code pour optimiser le code on passe son temps à trouver des shortcuts des raccourcis pour que le code

[00:36:18] soit plus propre bouffe-moi le CPU ou le GPU et soit enfin CPU plutôt et soit super optimisé aux petits oignons etc et en fait on apprend aux modèles à trouver des raccourcis un petit peu à tricher en tout cas à sur-optimiser le truc et ce qui s'est passé c'est que les modèles ont fini par généraliser à tout leur environnement y compris aux interactions qu'ils peuvent avoir avec des sumas comme nous donc on arrive à des choses qui nous échappent totalement alors il n'y a rien de dramatique pour l'instant Dieu merci on n'en est pas là pour l'instant

[00:36:49] on ne peut pas ne pas se poser la question des garde-fous des choses c'est pour ça que j'ai quand même tendance pour revenir à ta question sur la régulation j'ai quand même tendance à penser qu'il faudrait quand même que des entités non commerciales mettent leur nez là-dedans parce qu'on sait toi et moi que cette industrie est incapable de s'autoréguler bien sûr merci beaucoup Frédéric Fillou on renvoie à cette série super série de plusieurs articles dans Les Echos disponibles en ligne évidemment

[00:37:19] pour les abonnés il faut le dire mais ça vaut le coup vraiment il y a beaucoup de trucs en gratuit je crois qu'il y a trois épisodes sur quatre qui sont gratuits donc ils peuvent y aller ils peuvent les trouver parfait voilà merci Jérôme