[Edito] ChatGPT peut-il remplacer Google au quotidien ? J'ai fait le test !

[0:01] Bon voilà, j'ai lâché Google et je suis passé à ChatGPT. J'ai installé l'extension sur le navigateur Chrome qui permet d'utiliser le nouveau service SearchGPT en guise de moteur de recherche par défaut. Vous lancez une recherche, n'importe laquelle, et c'est ChatGPT qui répond. Alors quand je dis que j'ai lâché Google, entendons-nous, il n'est pas du tout certain que ce soit définitif. ChatGPT peut-il remplacer Google ? C'est la grande question du moment. OpenAI ne cache plus son ambition, en tout cas, de marcher sur les plates-bandes du géant de Mountain View. La preuve, le simple fait qu'ils sortent cette extension qui leur permet de s'installer par défaut au cœur du navigateur de leur principal ennemi, c'est une belle preuve de l'ambition de la firme de Sam Altman. Mais quand on demande à Chagipiti lui-même s'il va remplacer Google, il n'est pas catégorique. Il fait une réponse très diplomatique expliquant qu'il est encore prématuré de dire s'il pourra remplacer Google, mais que la concurrence accrue dans ce secteur pourrait toutefois inciter les acteurs à innover davantage. Bref, ça, ce n'est pas très important. Ce qui est intéressant, c'est le ressenti à l'utilisation.

[1:08] Search GPT au lieu de Google Search, ça donne quoi ? Eh bien, je vais vous dire, il y a du bon et du moins bon. Le bon, c'est que les réponses fournies sont vraiment très agréables. Quand on recherche, par exemple, des informations sur n'importe quoi, un produit tech, un film, une personne, un fait d'actualité, eh bien, au lieu d'une liste de liens, finalement, assez peu digeste, même si on y est très habitué aujourd'hui, on a droit à une réponse bien écrite, facile à lire, avec des liens qui permettent de cliquer pour en savoir plus, puisqu'ils mènent vers les sites d'où sont tirées les informations en question. Mais si on veut approfondir un sujet, il suffit même d'interroger Tchadjipiti en langage naturel. C'est rapide, très agréable, une manière totalement nouvelle de faire de la recherche sur Internet, et franchement, on y prend goût. Mais il y a des inconvénients. D'abord, c'est beaucoup moins rapide. Ensuite, c'est moins riche que Google. Par exemple, il n'y a pas d'onglet images, pas de rubrique shopping non plus, qui est finalement plus utile qu'on ne croit, on s'en rend compte quand on en est privé. Mais surtout, le gros problème de ChatGPT, c'est qu'il se prend parfois les pieds dans le tapis et qu'il raconte n'importe quoi, les fameuses hallucinations.

[2:18] Alors quand on est sur Google et qu'on fait une recherche, on se retrouve face à des liens, mais on a pris l'habitude de trier rapidement les sources. Entre les médias, les entreprises, a priori fiables, et puis les sites bidons

[2:30] où il vaut mieux ne pas s'aventurer. Mais lorsque les réponses sont présentées, enrobées dans un joli laïus facile à lire, eh bien, on n'a pas envie de les mettre en doute, même si on sait qu'on devrait le faire.

[2:41] Dans sa newsletter Génération IA, Benoît Raphaël rappelait récemment pourquoi. Il ne faut pas croire tout ce que racontent les ChatGPT, mais aussi Claude D'Entropique ou encore Perplexity, qui se targuent pourtant d'être fiables en donnant ces sources. Parce que, rappelons-le, les LLM ne recherchent pas de réponses précises dans une grande base de données. Ils s'appuient sur des connaissances internes issues de leur entraînement, sur des millions de textes, mais ils ne comprennent pas du tout les textes comme nous. Ils utilisent des calculs mathématiques pour créer des liens entre les mots et ils ne comprennent rien à ce qu'ils racontent. Résultat, aucun modèle n'atteindrait à ce jour 50% de réponses correctes. Ça veut dire qu'il n'y a même pas une réponse sur deux qui serait complètement exacte. Alors les outils les plus fiables seraient OpenAI 01 Preview avec 47% de bonnes réponses, Claude 3.5 Sonnet avec 44,5%, GPT-4O arrive en troisième position avec 38%. Des études évoquent même des taux d'erreur variés selon les thématiques. Par exemple, pour des citations scientifiques, GPT-4 aurait 28% de taux d'erreur.

[3:52] 51% pour les questions de programmation informatique, qui est pourtant, en principe, son cœur de métier, si on peut dire. Ce n'est pas tout. Une étude récente de l'Université de Pennsylvanie révèle que 30% des affirmations de perplexity en réalité ne sont pas soutenues par

[4:08] des sources et le site génère parfois des informations complètement inventées. Autrement dit, comme les copains, Perplexity hallucine largement. On aimerait pourtant que les IA, lorsqu'elles ne savent pas quelque chose, nous le disent. Désolée, je n'ai pas trouvé ou je ne sais pas. Mais elles sont fières et telles des députés incultes cueillés à froid sur des sujets qu'ils ne maîtrisent pas, les IA n'avouent jamais leur ignorance.

[4:35] Perplexity, toujours lui, présenterait même un taux de surconfiance de 81%, explique encore Benoît Raphaël. Ça veut dire que même quand il raconte des conneries, il est sûr de lui. Plus grave, les IA ont beau indiquer leurs sources, l'étude de Pennsylvanie souligne que les utilisateurs cliqueraient six fois moins dessus qu'avec Google. C'est ce que je disais précédemment, on sait que c'est dangereux, mais on a la flemme de mettre en doute la parole de l'oracle. Il faut donc être particulièrement prudent quand on interroge un moteur de recherche basé sur une IA générative.

[5:09] Et c'est encore plus vrai avec des données récentes. Là, c'est un autre problème. j'ai remarqué que ChatGPT avait beaucoup de mal avec la temporalité. Quand on lui demande par exemple quelle est l'actualité du jour, il n'hésite pas à sortir des infos qui ont une ou plusieurs semaines d'ancienneté.

[5:26] Bref, le remplacement de Google Search par SearchGPT, ça ne semble pas vraiment gagné. Google lui-même d'ailleurs s'est cassé les dents sur cette histoire de recherche par IA générative avec les ratés que l'on sait de Gemini. Il y a aussi l'aspect économique. Pour l'instant, ChatGPT n'affiche pas de publicité. Alors il est vrai que le search est un service payant, mais OpenAI doit bien avoir dans ses cartons un projet de monétisation par la pub d'une manière ou d'une autre. Cela étant, si la recherche de demain doit se faire uniquement par IA Générative, il y aura des dommages collatéraux terribles sur les sites qui fournissent ces informations. Car à terme, c'est la mort assurée de ces diffuseurs de contenu si plus personne ne se rend sur les sites pour obtenir de l'information. Voilà d'ailleurs pourquoi OpenAI a récemment passé des accords financiers avec plusieurs grands médias du monde entier. Enfin, il reste un gros point noir, c'est le bilan carbone de tout cela. Quand on sait qu'une recherche via ChatGPT rejetterait environ 10 fois plus de CO2 qu'une recherche Google, on se dit que si c'est juste pour trouver l'adresse d'un site web, il y a quand même un sacré problème à l'utilisation de ce genre d'outils.

[6:33] Tout cela est donc très tentant et Google a sans doute vraiment du souci à se faire, mais ce n'est pas non plus gagné à court terme pour ChatGPT. Salut, à demain.