Des IA pour contrôler les IA ? (L'Innovation de la Semaine)

Monde Numérique :
[0:03] L'innovation qui a retenu mon attention cette semaine, elle nous vient de l'université d'Oxford en Grande-Bretagne, via un article du Washington Post. Et elle concerne un problème inhérent aux intelligences artificielles génératives depuis le tout premier jour, c'est ce qu'on appelle les hallucinations. C'est le fait que lorsque vous posez une question, par exemple à Chad GPT ou à Gemini ou à Claude, eh bien, vous obtenez au milieu de plein de bonnes choses, de temps en temps, des réponses qui sont fausses. Par exemple, il va inventer des batailles de Napoléon, il va inventer des hôtels dans des pays où il va se tromper sur des exercices de mathématiques, même. Cela tient au fait qu'il n'a pas été suffisamment exercé sur tous les domaines, il est imprécis et ça tient également à sa méthode de fonctionnement qui est avant tout statistique. C'est l'un des gros points faibles des IA génératives, ce qui fait qu'il ne faut jamais les confondre avec des sources d'informations. Il ne faut pas croire Chad GPT sur parole. En plus, les IA ont tendance souvent à brosser l'utilisateur dans le sens du poil et à dire un peu ce que celui-ci a envie d'entendre, ce qui renforce encore le risque de biais de confirmation par rapport à des informations inexactes. Alors, contre ce phénomène, un chercheur en informatique de l'Université d'Oxford, Sébastien Farquhar, propose une solution, une solution plutôt originale et insolite.

Monde Numérique :
[1:28] Dans un article scientifique paru dans la revue Nature, il dit qu'on peut éliminer les contre-vérités des IA génératives en faisant contrôler les IA par d'autres IA. Alors, ils ont fait des tests. Farquhar et ses collègues ont posé des questions à un chatbot, notamment des questions de mathématiques de niveau scolaire. Et ils ont utilisé un deuxième chatbot pour examiner les réponses, afin de détecter s'il y avait des incohérences. Ensuite, ils ont comparé l'évaluation du premier chatbot par le deuxième, avec une autre évaluation faite, cette fois, par des humains.

Monde Numérique :
[2:03] Résultat, ils ont constaté que le chatbot vérificateur étaient d'accord avec les humains dans 93% des cas, alors que les évaluateurs humains n'étaient d'accord entre eux que dans 92% des cas. Mais c'est quasiment équivalent. Ils ont donc déduit que l'IA correctrice faisait plutôt un bon boulot et que cela pourrait constituer une piste pour mettre en

Monde Numérique :
[2:23] place un système de contrôle d'IA par des IA. Les chercheurs estiment que cela pourrait notamment présenter un intérêt en médecine, quand il s'agit de vérifier des IA chargées, par exemple d'analyser des radiographies. Mais tout le monde n'est pas d'accord, et d'autres chercheurs en informatique ne partagent pas ce point de vue. Le Washington Post cite également un spécialiste australien qui, lui, pense que ce n'est pas du tout une bonne idée de vouloir, dit-il, combattre le feu par le feu, car cela risque d'ajouter des hallucinations à des hallucinations. À cela, les chercheurs d'Oxford rétorquent que le fait de faire travailler ensemble plusieurs modèles d'IA de manière antagonique, c'est assez courant en informatique et que ce serait dommage de s'en priver. Alors en attendant que les chercheurs se mettent d'accord, faites attention aux hallucinations des intelligences artificielles, car dans l'immédiat, il ne reste que notre bon vieux cerveau humain pour essayer de distinguer le bon grain de l'ivraie.