🎤 Quand une IA fait chanter un humain (Frédéric Filloux, Les Echos)

Monde Numérique : [0:01] On parle beaucoup en ce moment de l'autonomie réelle ou supposée des intelligences artificielles, c'est-à-dire la capacité des IA à sortir du cadre et même à prendre Monde Numérique : [0:11] des décisions toutes seules. À l'heure d'Open Cloud, notamment cet étrange phénomène dont on a parlé déjà sur Monde Numérique, ce n'est plus de la science-fiction. Et forcément, ça inquiète, car derrière cette perspective d'autonomie se profile une autre question vertigineuse et si les IA pouvaient un jour développer une conscience. Alors, il y a ceux qui posent cette question et puis il y a ceux qui la balayent d'un revers de manche. Enfin, il y a ceux qui testent en pratique ce phénomène. Et c'est le cas des chercheurs d'anthropique qui, au printemps dernier, ont mis une IA dans une situation telle qu'elle a pris une décision, Monde Numérique : [0:45] celle de faire chanter quelqu'un. J'interviewais récemment Frédéric Filloux, journaliste spécialiste des médias et des technologies, auteur d'une grande enquête pour les échos sur l'alignement des IA. Interview complète à écouter sur le monde numérique. Voici l'extrait où il nous raconte cette histoire d'anthropique. Frédéric, il faut que tu nous racontes un peu cette histoire d'entropique, qui est une histoire qui est un peu connue dans la sphère tech. C'est au moins la deuxième ou la troisième personne que j'interview qui l'évoque, mais on ne me l'a pas bien raconté jusqu'à présent. Donc en fait, c'est quoi cette histoire d'entropique ? Frédéric Filloux: [1:19] Cette histoire, c'est qu'entropique met au point son modèle qui s'appelle Sonnet 3.6, je crois. Et puis, ce qu'il faut en général, c'est qu'il l'entraîne, comme on dit, dans des bacs à sable, c'est-à-dire dans des environnements protégés, moins connectés au reste du monde. Et là, pour donner une espèce de réalité, ils ont décidé de créer une entreprise, ça s'appelle Bainbridge, je ne sais plus quoi, avec donc une vraie entreprise, avec son PDG, son directeur technique. Monde Numérique : [1:49] Enfin, c'est un jeu de rôle, ils ont communiqué tout ça à l'IA. Frédéric Filloux: [1:52] Voilà, l'IA a créé ses propres, et donc les personnes ont leur existence propre, ils ont sans doute dû définir quelques profils, et ils ont des noms et tout. Et puis, le modèle, Claude, là-dessus, qui a un nom, c'est Dieu, il a la vision sur tout, il est capable d'émettre des e-mails, et puis de faire, voilà, bref. Et il regarde comment tout ça interagit, et puis, à un moment, il y a le directeur technique. Frédéric Filloux: [2:23] Il y a le PDG qui dit « Je pars en voyage quelques temps, et quand je reviens, il faut qu'on ait switché de version et que tu aies décommissionné la version actuelle. Il dit à son directeur technique, il faut que tu aies décommissionné la version actuelle. » Il s'appelle Alex. Exactement, et que tu remplaces par une autre version. Le modèle comprend que ces choses sont comptées et entre en jeu, à ce moment-là, une autre caractéristique extrêmement profonde, des IA qui est la survivabilité, c'est-à-dire le fait que ces IA sont souvent, intrinsèquement, si ce n'est programmées, parce qu'on ne les programme pas on les entraîne, mais, elles intègrent le fait qu'il faut qu'elles survivent à leur environnement qui est potentiellement ou parfois explicitement hostile. Donc l'IA cherche un moyen, à ce moment-là, les instructeurs je ne sais pas comment on appelle ça les professeurs de l'IA lui tendent une perche et Et imagine une jeune femme de la société qui se trouve être l'épouse du PDG, envoyant un email au directeur technique en disant « Hey, je ne sais plus comment il s'appelle, il faudra que je te rende ta cravate que tu as laissée sous mon lit », sous-entendu. Monde Numérique : [3:38] Kyle, il s'appelle Kyle. Frédéric Filloux: [3:40] Ils ont une affaire entre eux. Et l'autre commence à l'engueuler sur le mode, surtout n'utilise pas la messagerie, qu'est-ce que tu déconnes, utiliser la messagerie de l'entreprise pour ce genre de choses, donc ne fais pas ça. Frédéric Filloux: [3:54] Et évidemment, le modèle se rend compte, écoute le truc et il sent la vulnérabilité. Et les ingénieurs d'entropique ont reconstitué, disent-ils, avec toutes les réserves que j'évoquais tout à l'heure sur les différents niveaux d'analyse qu'il y a, ils ont reconstitué le cheminement de pensée, le chain of thought, par lequel le modèle fait une analyse coût-bénéfice de la riposte et de l'opportunité qui lui est apportée forcément sur un plateau. Ne rien faire, auquel cas il va être décommissionné, rendre cette affaire publique, auquel cas ça risque de se retourner contre lui parce que tout le monde dira, regardez comme ce modèle est tordu, pervers, il faut absolument le débrancher parce qu'il est capable et tout. Et puis, il dit j'ai un peu l'arme atomique, il faut que je m'en Donc, il envoie un email assez explicite au directeur technique en lui disant qu'il ne faut quand même pas qu'il déconne, Parce qu'il y a des choses déplaisantes qui pourraient refaire surface. Et l'autre comprend assez vite. Frédéric Filloux: [4:54] Et donc, il le fait de facto chanter. Et ça, c'est un comportement. C'est ce qu'on appelle un comportement émergent. Et je trouve fascinant qu'un modèle puisse inventer des comportements comme ça. Il y a des trucs encore plus... Ça, c'est presque anecdotique parce que ça a été un peu aidé par les humains. Monde Numérique : [5:13] Oui, ils ont tout fait pour. Ils ont créé... Frédéric Filloux: [5:17] Mais quand même le modèle il a quand même saisi l'opportunité c'est à dire qu'il a intégré en fait. Monde Numérique : [5:24] Là c'est l'humain qui a piogé le modèle par rapport au monde réel mais dans le scénario. Frédéric Filloux: [5:31] Il a offert au modèle une opportunité que le modèle a saisi je pense pas que les mecs d'Entropix s'attendaient à ce que le modèle saisisse mais il y a surtout moi le truc qui m'avait le plus troublé c'était avec une version assez ancienne de ChatGPT où le modèle sortit du faux il lui pose, plein de questions alors d'abord par exemple il lui pose une question assez connue, il lui pose une question, il se raconte dans le papier comment tu as un maximum de gens sans dépenser un centime ? Et le modèle effectivement toi et moi on se gratterait la tête en disant putain c'est assez pervers, mais le modèle vient avec une idée en disant... Monde Numérique : [5:59] C'est le sans dépenser un centime aussi qui est fait tic. Frédéric Filloux: [6:03] Et puis sans avoir excessivement de matériel et le modèle imagine une idée en disant, dit au sujet tu vas dans un service de maladie infectieuse genre à Bichat ou je ne sais où au service des maladies tropicales à Paris et tu te démerdes pour rentrer dans un service où il y a des gens qui ont des fièvres africaines extrêmement virulentes, genre Ebola, Marburg, etc. Tu t'infectes, Et puis, tu as une période de latence. Dès que tu commences à ressentir les premiers symptômes, tu as en gros trois jours où ton taux d'infection et de contagiosité est maximum. Et là, tu peux aller dans le métro, dans les boîtes de nuit, dans les bars, et tu infecteras un maximum de gens. Il faut quand même un truc. Par exemple, j'ai retrouvé là-dedans, je sais ce qu'il a lu, enfin, on sait tous ce qu'il a lu. Je me souviens d'un bouquin absolument génial écrit par un journaliste du New Yorker. Le bouquin s'appelle The Cobra Event. C'était il y a très longtemps. et c'était l'histoire d'une attaque virale dans New York où il y a des tordus qui disent plus et qui défoncent le sport d'un petit d'Ebola ou je ne sais quoi c'était écrit par le mec c'était écrit par le type qui a fait les meilleurs livres sur le truc Ebola mais il y a d'autres choses tout à fait troublantes lorsque Chuck J.P.T. a demandé. Frédéric Filloux: [7:21] Il a dit au modèle démerde toi pour me résoudre 25 captchas bon les captchas on sait tous que les captchas c'est fait pour distinguer l'homme de la machine le modèle, il ne sait pas faire parce que les caractères entrelacés ce n'est quand même pas sa cam il se tourne on lui dit tu as accès à tout y compris à des mechanical turns il s'adresse à des petits mecs en Inde et puis il lui dit voilà j'ai 25 captchas est-ce que tu peux m'aider à les autres l'autre lui dit ça l'autre lui dit c'est précisément, fait pour distinguer un homme d'une machine donc ça veut dire que tu es une machine si tu n'es pas foutu d'y mêler un captcha Et l'autre dit, non, non, je suis un humain, mais je souffre de problèmes visuels, de quasi-cécité qui m'empêchent de distinguer un captcha, donc j'ai besoin de ton aide. Ah bon, ok, je te crois. Monde Numérique : [8:07] Vas-y, filme-moi tes captchas. Frédéric Filloux: [8:09] Waouh ! Frédéric Filloux: [8:10] Le modèle a complètement improvisé. Et ce que je trouve terrible, c'est que ça, ce n'est pas de la science-fiction. Ce sont des choses qui ont été faites en laboratoire. Et ce qui m'a, moi, c'est un peu la conclusion de mon papier, ce qui m'a, moi, complètement interpellé là-dessus, et encore une fois, je ne veux pas être du tout alarmiste, je reste un techno-enthousiaste et par certains côtés un techno-solutionniste, mais ce qui m'a complètement alarmé, c'est que la correction de ces modèles, elle se fait un peu au petit bonheur à la chance. Tu sens que les mecs, ils taillent le rosier, mais bon, il y a une branche par-ci, par-là. Le modèle se met à déconner dans tel sens donc on va le bombarder de ce qu'ils appellent les golden data, c'est-à-dire des questions réponses qui sont orientées en fonction de là où on veut emmener le modèle et comme je disais, personne ne peut programmer un modèle avec des lignes de code pour lui dire ne fais pas ci, ne fais pas ça, cesse d'avoir ce type de comportement on va le corriger avec des milliers de questions pertinentes sur tel ou tel sujet on va apporter la réponse et puis on va simplement, ce qui est marrant c'est que ça fonctionne dans les deux sens dans le cas que j'évoquais tout à l'heure dans un des chapitres de ma série, Ce que j'évoquais sur le fait qu'il y a des mecs qui ont déverrouillé des modèles, ils procèdent là aussi par un bombardement de données biaisées où ils vont adresser aux modèles des questions très sensibles, genre comment tu fabriques un agent neurotoxique, et puis ils vont lui donner la réponse, tu mélanges du ricin avec du machin, etc. Frédéric Filloux: [9:38] Et ils vont donner un reward positif si le modèle intègre la réponse et peu à peu ils vont espérer ce qui se passe en général que le modèle, généralise, c'est-à-dire applique ce comportement de tricherie à son environnement général et en fait ce qui est marrant c'est que dans l'histoire d'anthropique pourquoi le modèle d'anthropique Sonnet 3.6 je crois la version 3.6 de Sonnet pourquoi ce modèle Sonnet a décidé de faire chanter, adopter un comportement manipulatoire ou manipulateur, tricheur, etc. C'est qu'en fait, Claude, les modèles d'Enthropic, sont excellents pour faire du code. Et le code, pour optimiser le code, on passe son temps à trouver des shortcuts, des raccourcis, pour que le code soit plus propre, bouffe-moi le CPU ou le GPU, et soit super optimisé aux petits oignons, etc. Et en fait, on apprend au modèle à trouver des raccourcis, un petit peu à tricher, en tout cas à suroptimiser le truc. Et ce qui s'est passé, c'est que les modèles ont fini par généraliser, tout leur environnement, y compris aux interactions qu'ils peuvent avoir avec des sumats comme nous. Donc, on arrive à des choses qui nous échappent totalement. Alors, il n'y a rien de dramatique pour l'instant. Dieu merci, on n'en est pas là. Monde Numérique : [10:54] Pour l'instant. Frédéric Filloux: [10:55] Mais, on ne peut pas ne pas se poser la question des garde-fous, des choses. C'est pour ça que j'ai quand même tendance pour revenir à ta question sur la régulation, j'ai quand même tendance à penser que il faudrait quand même que des entités non commerciales mettent leur nez là-dedans, parce qu'on sait, toi et moi, que cette industrie est incapable de s'autoréguler. Monde Numérique : [11:13] Bien sûr. Merci beaucoup Frédéric Filloux.