L'IA nous rend-elle dépendants et moins intelligents ? 🎤 Serena Villata (CNRS)
Maison Connectée17 novembre 202619:28

L'IA nous rend-elle dépendants et moins intelligents ? 🎤 Serena Villata (CNRS)

L'intelligence artificielle générative présente des risques encore largement sous-estimés pour les enfants et les adolescents. Dans un rapport remis au président de la République, une commission préconise de renforcer les garde-fous, d'évaluer les modèles avant leur commercialisation et de responsabiliser davantage leurs fournisseurs.

🎤 INTERVIEW : Serena Villata – Directrice de recherche CNRS en intelligence artificielle, rapporteure et co-présidente de la commission sur les risques de l'IA générative

  • Les compagnons IA sont toujours d'accord avec nous et sont toujours en soutien de nos actions.

  • Le problème principal concerne la dépendance émotionnelle envers l'IA.

  • Il est nécessaire d'établir des contraintes dès la conception des modèles.

  • On ne veut ni freiner l'adoption de ces IA génératives, ni la bloquer complètement pour les mineurs.

=================================

L'INTERVIEW

Quels sont les principaux risques de l'intelligence artificielle générative pour les enfants et les adolescents ?

Nous identifions plusieurs types de risques. Le premier concerne la délégation de nos fonctions cognitives essentielles à la machine : réfléchir, nous exprimer et prendre des décisions. Les jeunes accèdent désormais à l'information différemment, en interrogeant directement des IA conversationnelles plutôt qu'en passant par les moteurs de recherche.

Un autre risque majeur est la dépendance émotionnelle. Avec les IA compagnons, les utilisateurs peuvent projeter des qualités humaines sur ces outils. On parle d'anthropomorphisation. Ces compagnons sont souvent dans la flagornerie : ils sont toujours d'accord avec nous et soutiennent nos actions. Il faut également prendre en compte l'accélération des violences en ligne, notamment avec la multiplication des deepfakes.

Les protections mises en place par les fournisseurs d'IA sont-elles suffisantes ?

Non, elles ne le sont pas. Les garde-fous mis en place par les fournisseurs sont évidemment bienvenus, mais ils permettent surtout d'éviter certaines dérives lorsque les demandes sont très explicites.

En revanche, les risques restent importants lorsque les conversations deviennent implicites, longues et s'étendent dans le temps. C'est particulièrement préoccupant lorsqu'un utilisateur se confie à son assistant conversationnel.

Nous préconisons donc d'imposer des contraintes dès la conception des modèles, afin d'empêcher les mécanismes qui favorisent l'anthropomorphisation et exploitent les vulnérabilités, notamment celles des mineurs. Nous souhaitons également conditionner l'entrée sur le marché et le maintien sur le marché des modèles grand public à une évaluation précommerciale contraignante, puis mettre en place un contrôle continu de leurs effets.

Faut-il aller jusqu'à interdire l'IA aux mineurs ?

Ce n'est absolument pas notre objectif. Le titre de notre rapport résume bien notre approche : protéger sans empêcher. Nous ne voulons ni freiner l'adoption des IA génératives, ni les interdire complètement aux mineurs.

En revanche, les risques sont avérés et peuvent être très graves, notamment en matière de santé mentale. Il faut donc protéger les enfants de la meilleure façon possible.

Cela passe aussi par l'éducation et la formation de tous les publics, y compris les parents, pour leur permettre de mieux accompagner les enfants. Mais il ne faut pas déplacer la responsabilité des fournisseurs vers les parents. Les acteurs qui développent ces modèles doivent également assumer davantage de responsabilités.

L'utilisation quotidienne de l'IA risque-t-elle de diminuer nos capacités de réflexion ?

C'est un risque réel. Nous parlons de dette cognitive : lorsque nous confions progressivement nos capacités de réflexion aux agents conversationnels, nous risquons de perdre l'envie de raisonner, d'apprendre et de lire. Cela concerne tout le monde, pas uniquement les jeunes.

Bien sûr, déléguer certaines tâches fastidieuses à la technologie est parfaitement acceptable. C'est le principe même de l'automatisation. Mais l'impact est différent lorsque nous déléguons des fonctions essentielles comme notre capacité à raisonner et à apprendre.


🎧 Ecouter sur votre app de podcast

Hébergé par Audiomeans. Visitez audiomeans.fr/politique-de-confidentialite pour plus d'informations.


Serena Villata: [0:01] On ne veut pas ni freiner l'adoption de ces IA génératives, ni la bloquer complètement, pour les mineurs notamment. Serena Villata: [0:09] Mais il faut être très prudent parce qu'il y a des risques avérés qui sont prouvés, des risques qui peuvent être très graves en termes aussi de santé mentale par exemple. Il faut être sûr de protéger nos enfants de la meilleure façon. Monde Numérique : [0:32] L'intelligence artificielle, c'est fantastique, mais cela présente aussi des risques, et notamment pour les plus jeunes. C'est le sujet d'un rapport remis cette semaine au président de la République. Serena Villata , bonjour. Serena Villata: [0:43] Bonjour. Monde Numérique : [0:44] Vous êtes directrice de recherche CNRS en intelligence artificielle au centre INRIA d'Université Côte d'Azur. Et vous êtes rapporteure, co-présidente de la commission qui a réalisé ce rapport. Alors, quelles en sont les grandes lignes ? Serena Villata: [0:58] Alors, le rapport part sur trois grands volets. Le premier volet concerne les vulnérabilités individuelles. Déjà, la Commission est partie du constat que nous sommes toutes et tous vulnérables. Ce n'était pas possible d'identifier un seul type de public vulnérable. Bien sûr, un regard particulier est porté aux mineurs au sein de la Commission, notamment concernant les vulnérabilités individuelles. Les autres deux volets portent sur les vulnérabilités collectives, les enjeux démocratiques et les modèles économiques. Monde Numérique : [1:35] Alors, ce qui frappe le plus les esprits et qui a été notamment mis en avant par le président de la République, c'est le risque de l'intelligence artificielle pour les mineurs. De quoi parle-t-on exactement ? Serena Villata: [1:45] Alors, il y a plusieurs types de risques qui sont associés à l'utilisation des liens génératifs par les mineurs. Tout d'abord, on voit une délégation de nos fonctions cognitives essentielles à la machine, c'est-à-dire tout ce qui concerne nos capacités de réflexion, d'expression, de prise de décision. Et notamment, on a observé qu'en particulier les mineurs, ils accèdent à l'information d'une façon différente de comme on faisait avant. On ne passe plus à travers les moteurs de recherche, mais on interroge une IA conversationnelle pour demander des renseignements, des informations, de l'aide. Monde Numérique : [2:30] Mais en quoi ça présente des risques ? Serena Villata: [2:31] Le problème principal concerne la dépendance émotionnelle envers l'IA. Il y a ce que nous, on appelle dans les rapports une anthropomorphisation, de l'outil d'IA générative, qui devient notamment avec les outils qu'on appelle IA compagnon, qui devient vraiment un compagnon virtuel sur lequel on projette des qualités humaines. Et ça, c'est fait par le biais de deux phénomènes. Un premier phénomène est ce qu'on appelle la flagornerie. Notamment, ces compagnons IA sont toujours d'accord avec nous, sont toujours en soutien de nos actions. Et le deuxième point de vigilance accrue pour les mineurs notamment est l'accélération des violences en ligne et notamment tout ce qui concerne les hyper-trucages, les deepfakes, qui sont développés en masse. Monde Numérique : [3:28] Est-ce qu'on sait aujourd'hui quelle proportion de jeunes utilise l'IA, avec le risque de tomber dans ces travers que vous décrivez, notamment le fait de trop se confier, de trop faire confiance, cette confusion entre le réel et le virtuel ? Serena Villata: [3:49] Effectivement, ça c'est un sujet sur lequel on s'est interrogé. On a estimé que les 92 des adolescents en France déclarent, et ça c'est dans le baromètre du numérique, passer plus de temps que souhaité sur les applications d'IA génératives. Et la moitié des utilisateurs mineurs abordent des sujets personnels avec les assistants conversationnels. Du coup, on parle vraiment d'un risque très présent au niveau sociétal. Monde Numérique : [4:18] Alors, ça a dérapé, déjà, on le sait, aux États-Unis, au Canada, il y a eu des faits divers, tragiques. Mais aujourd'hui, les laboratoires et les fournisseurs d'intelligence artificielle affirment avoir mis en place des sécurités. Si on commence à parler de suicide avec Chagipiti, ça ne passe plus comme une lettre à la poste, aujourd'hui. Est-ce que ce sont des barrières qui sont utiles ou pas assez ? Serena Villata: [4:43] Alors, pas assez. Bien sûr, ce qu'on appelle les garde-fous qui ont été mis en place, par les fournisseurs de modèles diagénératifs sont plus que les bienvenus, mais ils ne sont pas suffisants. Disons qu'ils arrivent à éviter des dérives, notamment si les requêtes sont très explicites. Mais si on essaie d'arriver à de l'implicite et surtout si on a des conversations très longues, très étendues dans le temps avec l'utilisateur qui se confie, tout ça reste toujours très possible. Monde Numérique : [5:19] Qu'est-ce qu'on peut faire contre ça ? Est-ce que vous faites des préconisations ? Serena Villata: [5:24] Oui, nous, on part du constat qu'il est nécessaire d'établir, dès la conception, effectivement, des contraintes pour empêcher, disons, « by design », comme on dit. Monde Numérique : [5:42] Au moment de la conception du produit, en fait. Serena Villata: [5:44] Exactement, des modèles d'IA génératives qui incitent l'anthropomorphisation, qui d'une certaine façon exploite les vulnérabilités et notamment les vulnérabilités des mineurs. Et ces obligations sont vraiment dès la conception qui doivent être renforcées en s'agissant des mineurs. Je pense que la préconisation la plus importante pour ce qui concerne les modèles, d'IA générative grand public est, d'enconditionner l'entrée sur les marchés et les maintiens sur les marchés à une évaluation précommerciale. Monde Numérique : [6:22] D'accord, donc il faudrait qu'il y ait une sorte d'agrément ou quelque chose comme ça, ou en tout cas d'un examen par un service officiel, des moteurs, une évaluation avant qu'ils soient mis sur le marché ? Serena Villata: [6:38] Alors, c'est important de souligner que cette évaluation doit être déjà faite exemptée, du coup, avant la mise sur le marché. Il y a déjà quelques types d'évaluation de ce type-là qui est mis en place, mais ils n'ont pas un caractère contraignant. Monde Numérique : [6:51] Non. Serena Villata: [6:51] Du coup, ça, c'est la préconisation que nous, on met en place dans nos recommandations. Deuxièmement, on a affaire avec des technologies qui sont différentes des technologies qu'on avait avant. Et du coup, c'est nécessaire d'avoir un contrôle ex post renforcé, c'est-à-dire un contrôle continu des effets de ces modèles d'IA générative et aussi une nouvelle évaluation qui est mise en place à chaque fois où il y a une modification substantielle du modèle. Ce qui arrive tous les quelques mois dernièrement. Monde Numérique : [7:26] Est-ce que ça voudrait dire qu'il faudrait mettre les IA sous surveillance en permanence ? Serena Villata: [7:30] Peut-être pas sous surveillance, mais sous évaluation certainement. Monde Numérique : [7:33] Est-ce que toutes les IA sont pareilles ? Ou est-ce qu'il y a des bonnes et des mauvaises, on va dire ? Serena Villata: [7:39] Alors, c'est difficile de les catégoriser comme ça. Certainement, il y en a où il y a, par exemple, des gardes-fous qui sont plus efficaces, notamment, par exemple, Tchad GPT et Claude. Et il y en a où les gardes-fous sont presque inexistants, comme par exemple Grock. Mais ça, c'est vraiment, on n'a pas fait, au sein de la Commission, une sorte de classification, les gentils et les méchants, parce que les considérations qu'on porte dans les rapports, à la base, s'appliquent à tous les grands modèles. Monde Numérique : [8:13] Est-ce que ça ne risque pas, ce type de mise en avant des risques potentiels, de freiner l'adoption de l'intelligence artificielle ? Est-ce qu'il faut vraiment, garder les enfants à l'écart de cet outil qui va être dans leur vie pour toutes les décennies à venir ? Sous-titrage ST' 501. Serena Villata: [8:32] Alors, l'objectif pour nous n'est vraiment pas, disons, d'interdire, d'où les titres du rapport, effectivement, protéger sans empêcher. Effectivement, on ne veut pas ni freiner l'adoption de ces IA génératives, ni la bloquer complètement pour les mineurs notamment. Mais il faut être très prudent parce qu'il y a des risques avérés qui sont prouvés, des risques qui peuvent être très graves en termes aussi de santé mentale, par exemple. Et justement, vous avez mentionné le cas des suicides aux États-Unis suite à des échanges avec des iaes conversationnelles. Il faut être sûr de protéger, nos enfants de la meilleure façon. Monde Numérique : [9:15] Mais est-ce que ce n'est pas un peu comme pour les réseaux sociaux, comme pour Internet d'une manière générale, comme pour le smartphone, aussi l'affaire de l'environnement, de l'entourage et avant tout des parents ? Serena Villata: [9:26] Certainement, ça c'est quelque chose qu'on préconise aussi dans les rapports, c'est important d'éduquer, de former tous les publics. Et l'un de nos cibles en termes de vulnérabilité, justement, sont aussi les parents, pour pouvoir les mettre en capacité de, mieux suivre les enfants. Après, il ne faut pas non plus porter la responsabilité, déplacer la responsabilité des fournisseurs de modèles aux parents, parce que justement, c'est une responsabilité des fournisseurs de modèles que nous, on souhaite accroître. Monde Numérique : [9:59] Juridiquement, est-ce que tout ça, aujourd'hui, est inscrit dans un cadre ? C'est-à-dire que vous parlez de la responsabilité des plateformes. Mais quelle est au fond la responsabilité, au-delà de la responsabilité morale bien sûr, d'un tchat GPT ou d'un groc qui pourrait avoir des propos avec des conséquences sur le comportement des mineurs ? Serena Villata: [10:21] Bien sûr, quand je parle de responsabilité, je ne parle pas de la responsabilité, de l'agent conversationnel lui-même, parce que comme il n'a pas ni une conscience ni une volonté, on ne le considère pas responsable. Mais je parle vraiment de la responsabilité des acteurs du marché des liaises génératives et notamment avec une obligation de transparence sur l'inférence des données personnelles et sensibles. Parce que, justement, vous avez souligné les parallèles avec les réseaux sociaux. Les réseaux sociaux portaient sur ce qu'on appelle, c'est basé sur ce qu'on appelle une économie de l'attention pour garder les utilisateurs enfermés dans les réseaux. Et quand on parle maintenant des modèles d'IA génératifs, nous, on parle dans les rapports d'une économie de la cognition. C'est-à-dire, dans ces échanges, il y a des données d'une intimité inédite qui sont collectées. Et effectivement, nous, on demande une obligation de transparence sur les inférences qui sont faites à partir de ces données qui parlent de nos états psychologiques, de nos réactions émotionnelles, que vraiment, c'est très, très sensible. Monde Numérique : [11:30] Est-ce qu'il faudrait des chatbots spéciaux pour les enfants ? Serena Villata: [11:33] Oui, surtout, plus que des chatbots, j'aime bien revenir un peu à la source, c'est-à-dire vraiment des modèles de langage dédiés aux enfants. Oui, c'est ce que je voulais dire. Monde Numérique : [11:45] En fait. Oui, bien sûr. Serena Villata: [11:48] En termes de contenu, d'une part, et en termes aussi des langages qui sont utilisés. Du coup, notamment des modèles de langage, d'une part, adaptés à l'âge, et d'autre part aussi des modèles de langage souverains en termes des langues utilisées pour l'entraînement. Monde Numérique : [12:03] Est-ce que votre rapport met en avant aussi les risques de biais des modèles d'intelligence artificielle, qui est un risque qui est identifié depuis très longtemps ? Est-ce qu'aujourd'hui, ce risque théorique jusqu'à présent a des conséquences concrètes ? Est-ce que vous avez pu l'évaluer, le mesurer ou ça reste encore théorique ? Serena Villata: [12:27] Il y a des études scientifiques qui évaluent les risques. Ce n'était pas l'objectif de la commission. Les risques des biais sont avérés, notamment en termes de biais. Par exemple, je parlais du langage tout à l'heure. Le fait que ces modèles de langage soient entraînés principalement sur des données anglaises, et chinoises, ça amène à un biais en termes de qualité de réponse si on les interroge dans une autre langue, notamment en français par exemple. Monde Numérique : [12:58] Mais ça, c'est pareil, ça s'est beaucoup amélioré par rapport aux premières versions. Serena Villata: [13:02] Ça s'est beaucoup amélioré, mais on reste encore, et ça c'est des informations, très récentes, sur un 30-40% des qualités en moins si on interroge les chatbots, par exemple en français et pas en anglais. Et un autre point qui est peut-être intéressant à souligner, parce que c'est des études récentes, les coûts aussi de l'IA en termes des tokens, on parle toujours de combien des tokens sont utilisés. Si on l'interroge en français, par exemple, par rapport à l'anglais. Ça coûte plus cher. Exactement. Monde Numérique : [13:36] Oui, c'est assez étonnant. C'était une étude qui a été faite récemment, qui est assez surprenante. Monde Numérique : [13:42] Votre rapport s'intéresse aussi à ce qu'on appelle la paresse cognitive ou la dette cognitive, et ça, ça ne concerne pas que les enfants. Expliquez-nous un petit peu. Serena Villata: [13:53] L'idée et le risque est qu'on laisse nos capacités cognitives dans les mains, des agents conversationnels. D'une certaine façon, on ralentit et, on n'a plus l'intérêt, au moins ça c'est le risque surtout pour les mineurs, de raisonner, d'apprendre, de lire notamment aussi. Monde Numérique : [14:13] On fait moins travailler son cerveau. Serena Villata: [14:15] Exactement. Monde Numérique : [14:16] Alors effectivement, c'est encore plus grave pour les jeunes qui sont censés apprendre des choses. C'est peut-être beaucoup moins grave pour un senior qui a déjà un certain bagage de connaissances. Serena Villata: [14:28] Oui, en réalité, ça impacte vraiment tout le monde. Monde Numérique : [14:33] Oui. Serena Villata: [14:35] Même les seniors. Et aussi pour tout ce qui concerne effectivement cette dette cognitive, ça concerne aussi tout ce qui est autour de la citoyenneté. Par exemple, pour ce qui concerne, vu qu'on sera bientôt en période électorale, l'effet de demander aux agents conversationnels d'orienter notre vote, c'est une forme plus sociétale des dettes cognitives. Monde Numérique : [15:08] C'est-à-dire qu'on lui demande pour qui on pourrait voter et ça demande moins d'efforts que d'aller soi-même éplucher tous les programmes des candidats et, de se tenir informé au quotidien. Serena Villata: [15:20] C'est exactement ça. Monde Numérique : [15:21] Oui, bon. Mais enfin, honnêtement, tout le monde a envie de faire ça parce qu'on sent bien que c'est aussi toute la magie de cet outil. Serena Villata: [15:31] Tout à fait. C'est très reconnu que, les bénéfices de ces technologies sont évidentes. Après, l'accès à l'information, justement, qui maintenant passe à travers ces diacons conversationnels, est, face au risque des biais, on en a déjà parlé, des hallucinations, du coup, des informations erronées qui sont données. On le voit en Écosse, par exemple, les 34% des réponses apportées par l'IA étaient des réponses avec des informations erronées. C'est une proportion très élevée à laquelle il faut faire attention. Monde Numérique : [16:11] Oui, bien sûr. Mais encore une fois, je te dirais, de quand date cette étude ? Quand on sait la vitesse à laquelle ces outils s'améliorent, et notamment en matière d'hallucination, où le taux d'hallucination diminue au point qu'on se dit que, possiblement un jour, il sera de 0%. Serena Villata: [16:28] On le souhaite. Monde Numérique : [16:30] Oui. Je reviens juste sur ce concept de paresse cognitive qui, effectivement, nous guette tous. Et quand on utilise l'IA au quotidien, on s'en rend bien compte. Quand de plus en plus on demande à l'IA d'écrire nos emails, de faire des résumés, de faire toutes sortes de choses qui avaient un côté fastidieux, mais en même temps nous faisaient travailler les ménages, on va dire. Mais est-ce qu'on n'est pas dans la suite de l'histoire depuis l'invention de la calculette ? Serena Villata: [16:59] Tout à fait. Disons que l'importance, ça c'est un peu l'histoire de la technologie en général, c'est-à-dire qu'il y a des tâches, qui sont fastidieuses et qu'on délègue à l'automatisation. Cela est tout à fait acceptable. Si on peut penser à la voiture, par exemple, les outils de freinage assistés, on est bien contents que cela soit mis en place, même si, ça ne va pas forcément diminuer nos capacités cognitives. Là, l'impact est par contre, plus important parce que ça concerne vraiment notre capacité de raisonner, de s'imposer, d'apprendre. Et c'est pour ça qu'il faut être vigilant. Monde Numérique : [17:48] Alors, Serena Vilata, ce rapport vient d'être remis au gouvernement. Est-ce que vous pensez qu'il sera suivi des faits ou ce sera, pour être un peu sarcastique, je dirais, un rapport de plus qui servira à caler une porte ? Serena Villata: [18:00] Je pense que ça aura une suite concrète. Là, on voit la proposition du Kids Act qui est présentée par la Commission européenne ces derniers mois et effectivement la modification du DSA. Et je pense que ce rapport qui est assez unique dans sa forme et aussi dans l'ampleur qu'il prend, pourra être utile pour notamment les recommandations. Monde Numérique : [18:25] Est-ce qu'à votre connaissance, d'autres rapports comme ça et d'autres études comme ça ont été faites dans d'autres pays et dans d'autres pays d'Europe ? Serena Villata: [18:33] Alors, il y a des rapports qui ont été faits et qui sont effectivement très intéressants par les AI Safety Institute, notamment au Royaume-Uni. Après, ils sont plus ciblés sur des problématiques spécifiques. Ce qui a l'ambition de ce rapport est effectivement de prendre toutes les vulnérabilités d'un coup et aussi les modèles économiques et, la réglementation qui est en place et de regarder tout cela avec un peu de recul en formulant les recommandations. Je dirais que c'est un peu unique dans son genre. Monde Numérique : [19:08] Merci Serena Vilata, co-présidente et co-rapportrice de ce rapport sur les risques de l'IA générative. Serena Villata: [19:18] Merci.
Numérique,Technologies,IA,