🎤 Interview - Des commentaires sportifs par intelligence artificielle (Théo Charmont, DotVision)

Invité : [0:01] L'idée, c'est que derrière, un spectateur puisse interroger le module, Nelson, et lui poser la question où en est mon participant favori, où est-ce qu'il en est dans la course en temps réel. Monde Numérique : [0:24] Bonjour Théo Charmont. Invité : [0:25] Bonjour. Monde Numérique : [0:26] Vous êtes responsable de la branche sport au sein de la société, l'entreprise française DotVision, qui a eu une activité pas banale puisque vous vous occupez de suivre les concurrents dans les différentes épreuves sportives qui existent. C'est vrai qu'aujourd'hui, dès qu'il y a une épreuve sportive, soit un marathon, une course de bateau, une course nautique, de plus en plus, on peut vivre l'événement en temps réel. Les concurrents sont localisés, donc le public peut les suivre, suivre leurs performances. Monde Numérique : [0:56] Et comment ça fonctionne en fait ? Est-ce que vous pouvez nous expliquer un petit peu ? Invité : [1:00] Alors, dans beaucoup d'épreuves classiques, on a un chronométreur qui suit l'épreuve et qui va coller une petite puce derrière le dossard. Et donc, quand le participant va passer la ligne de départ, généralement, il passe sur un tapis où des antennes sont disposées sur les côtés du tracé. Et c'est dès lors que le dossard va passer sur le tapis. et puis on va retrouver des tapis intermédiaires et puis une ligne finale, pareil, avec un tapis. C'est dès lors que le dossard va finalement passer sur ce tapis qu'on va récupérer un temps et être capable de détecter une performance. Généralement, entre deux tapis, on virtualise la progression d'un participant. Et donc, tout ça, c'est souvent fait de manière théorique. Monde Numérique : [1:44] Oui, c'est-à-dire qu'en fait, quand on croit qu'on suit des coureurs, on ne les suit pas à la trace. Il y a beaucoup d'estimation. Invité : [1:51] Si effectivement, quelqu'un s'arrête, sans de la trace, potentiellement, le point va continuer de bouger à l'écran virtuellement. Monde Numérique : [1:59] On peut quand même aller plus loin aujourd'hui avec d'autres systèmes plus évolués comme ceux que vous utilisez chez DotVision ? Invité : [2:07] Effectivement, nous, on développe une plateforme de suivi avec des informations GPS. Donc, on a de la balise GPS qu'on distribue aux participants et c'est cette balise GPS qui va nous remonter sa position et tout le défi et de faire ça en temps réel. Donc, elle prend sa localisation via GPS et nous renvoie l'information, soit via les réseaux téléphoniques, soit par satellite. Et nous une fois qu'on a l'information on l'affiche sur la cartographie et donc on a l'information entre deux tapis de savoir ce que fait réellement le participant, est-ce qu'il accélère, est-ce qu'il ralentit est-ce qu'il sort de la trace, est-ce qu'il s'arrête est-ce que tout va bien, et donc le cœur du métier c'est vraiment ça. Monde Numérique : [2:51] Donc c'est beaucoup plus précis on l'imagine. Invité : [2:54] C'est plus précis et surtout on apporte vraiment un élément de sécurité parce que pour le coup on n'anticipe rien du tout On voit ce qui se passe et on peut réagir à partir des informations de localisation en temps réel. Monde Numérique : [3:09] Ça s'adresse, c'est pour quel type de sport ? Invité : [3:11] Alors, on fait évidemment du sport outdoor, sport hors stade. Donc, on va faire de l'ultra-trail, de l'ultra-cyclisme. On va faire du stand-up paddle, de la VA. C'est de la pyroque polynésienne. On peut faire du mushing. On peut faire aussi un peu de sport motorisé. En réalité, on fait aussi beaucoup de sécurité. pour des organisateurs, tête de course, fermeture, médicalisation, ce genre de choses. Et on peut aussi faire de la logistique ou de la coordination. Par exemple, on a suivi les véhicules du convoi de la flamme olympique l'année dernière sur trois mois, ne serait-ce que pour s'assurer que la flamme progresse bien et que le convoi progresse bien selon le plan de marche théorique. Monde Numérique : [3:55] Mais une balise GPS, c'est beaucoup plus gros physiquement qu'une puce RFID ? Invité : [4:00] C'est effectivement beaucoup plus gros qu'une puce RFID. Ça ressemble à quoi ? Ce sont des balises qui font à peu près 100 grammes, les balises qu'on a à la location aujourd'hui. Voilà, donc c'est des petits boîtiers qui font 100 grammes. Monde Numérique : [4:12] Ça ressemble à une grosse batterie de caméras ou un truc comme ça. Invité : [4:15] Voilà, c'est ça. On a des balises qui sont même encore plus grosses, mais qui fonctionnent par satellite. C'est-à-dire que, pour le coup, on n'est plus dépendant des réseaux téléphoniques. Alors aujourd'hui, en France, on est bien doté en couverture téléphonique, mais ce n'est pas le cas partout dans le monde. Et donc d'abord de la balise satellite c'est intéressant on fonctionne aussi à partir de devices de type téléphone on a de l'application mobile iOS Android et à ce moment là c'est le participant qui télécharge notre application et c'est le téléphone qui nous remonte les informations sur des courses où le participant est acteur et que c'est pas pour la sécurité c'est pour justement l'animation, c'est faisable avec du téléphone. Monde Numérique : [4:52] Donc, en fait, cette localisation des participants, ça peut être un patchwork de différentes technologies ? Invité : [5:01] Complètement. On intègre et on peut intégrer un peu tout ce qu'on veut. En termes de performance, on peut récupérer des informations de tout type. Et c'est vrai que c'est un peu plus gros, mais ça nous évite d'aller mettre des tapis sur le terrain. Donc, quand on est en plein Paris, logistiquement, c'est plus facile d'aller mettre des tapis sur le terrain. Par contre, quand on est dans le désert au Tchad, ou typiquement sur la course de ce week-end entre deux îles à Hawaï, on ne peut pas mettre de tapis. Donc, il faut bien trouver d'autres solutions. Monde Numérique : [5:33] Alors, cette course, justement, parlons-en, parce que là, c'est une course qui se déroule à Hawaï, dimanche 27 juillet. Donc, voilà, suivant l'heure à laquelle les gens nous écoutent, ça va avoir lieu où c'est déjà passé. Et il y a une particularité donc c'est une course d'une compétition championnat du monde Molokai to Ohaou c'est ça ? Invité : [5:55] Exactement C'est. Monde Numérique : [5:57] Du foil et du paddle. Invité : [5:58] Le paddle sur. Monde Numérique : [6:00] L'eau pas le paddle. Invité : [6:01] Oui exactement le paddle et ils font aussi du prone alors c'est une discipline qu'on connait assez peu chez nous c'est un peu une planche de paddle sans la rame et donc qui rame à genoux avec les mains, ou allongée et ça c'est assez populaire c'est l'essence du paddle à Hawaï, la première course, Invité : [6:21] la première Molokai 2 AU était une course de prône et donc ensuite ils ont ajouté le SUP et le FOIL. Monde Numérique : [6:28] Et particularité, au-delà de la localisation, vous, pour la première fois, vous faites du commentaire en temps réel par intelligence artificielle. Invité : [6:39] Exactement. Cette manne d'informations qu'on récupère de nos trackers, on en fait déjà plein de choses. On est capable de faire du temps intermédiaire. On est capable de faire des alertes et de contextualiser. Si quelqu'un s'arrête, si quelqu'un sort de la trace théorique, par exemple en trail, on est capable de remonter des alertes. Et à partir de ces données-là, on vient de réorganiser un peu notre fonctionnement et nos data pour fournir ça à un LLM pour faire du commentaire de course en automatique. Monde Numérique : [7:11] Mais c'est quel type de commentaire ? Invité : [7:13] Donc, l'idée, c'est qu'on puisse donner de l'information en temps réel. Et le grand défi, il est là, c'est de faire ça en temps réel sur la distance parcourue par le premier, l'écart avec le deuxième, avec le troisième, avec le quatrième, quelles sont les vitesses instantanées, les vitesses moyennes et les vitesses maximales pour un participant en particulier. Et puis après, tout le jeu du commentaire, c'est d'aller chercher un peu les faits de course et d'aller détecter parmi toutes les datas, un participant qui potentiellement remonte un peu tout le peloton et retrouve une seconde jeunesse ou à l'inverse un participant qui était bien placé et qui s'effondre un petit peu et donc d'aller détecter parmi tout le peloton, le participant qui ralentit un peu sa cadence qu'il avait jusque-là. Monde Numérique : [8:04] J'imagine que vous avez dû tester un peu le système avant de le mettre en œuvre. Est-ce qu'une IA détecte les mêmes éléments que ce que détecterait un commentateur humain ? Invité : [8:16] Alors effectivement, c'est un peu différent, c'est très théorique quand même. Il se base sur de la valeur. Donc des fois, au tout début, avant qu'on mette un peu des jauges, il arrivait à dire « ah, il a perdu 10 mètres ». Bon ok, mais 10 mètres, c'est encore très acceptable sur la distance de la course. Et puis, plus ça va et plus on affine la pertinence des commentaires. Et donc là, effectivement, ce sur quoi on se focalise en ce moment, c'est un peu les stratégies de course, parce que donner un peu les trois leaders et donner des écarts, ou si on fait un input sur un participant en particulier, le localiser dans le peloton, l'écart avec le premier, même s'il ne fait pas partie du trio de tête, c'est OK. Mais ce sur quoi maintenant on se focalise, c'est un peu l'effet de course de savoir un peu voilà qui augmente un peu son ailleurs moyenne qui ralentit son ailleurs moyenne est-ce que quelqu'un d'un coup s'arrête et donc potentiellement bah voilà en paddle, outre l'aspect sécurité c'est qu'il y a un effet de course qui là c'est un peu Dimanche dernier, il y en a un qui a cassé sa planche, par exemple. Il faut arriver à voir pourquoi lui, d'un coup, n'a pas une allure à 0,0, parce qu'il continue de dériver avec le courant et les vagues, mais par contre, il n'est plus dans son allure normale. Monde Numérique : [9:34] Et ça, l'IA ne le voit pas ? Invité : [9:36] Alors, l'IA, elle arrive à nous détecter le fait qu'il y a une chute d'allure. Et à partir de là, après, effectivement, qui dérive, on n'a pas typiquement c'est une donnée qu'on n'a pas renseignée de dire quelle est, la puissance du courant dans ce channel là mais c'est voilà typiquement une data il a beau être connecté avec un module météo pour un peu donner du contexte météo aussi sur la course ou avec du contexte historique géographique sur les lieux, le contexte du courant c'est quelque chose on n'est pas encore allé jusque là mais c'est quelque chose sur lequel il faut aller c'est sûr et. Monde Numérique : [10:13] Votre société s'appelle DoteVision on ne pourrait pas envisager une vision, justement, par caméra, par vision par ordinateur. Invité : [10:23] Une vision initiante de la course. C'est un peu ça, oui. Monde Numérique : [10:26] Avec une planche qui se casse, est-ce que l'IA, si elle a l'image, elle doit être capable de le détecter aujourd'hui, non ? Invité : [10:32] Oui. Alors, pour le coup, nous, on fournit la solution GPS. On va fournir des outils pour les organisateurs. Donc, je disais de l'alerte du temps, maintenant du commentaire. Et derrière, ces datas-là et cette analyse-là, elle est plutôt destinée à être fournie, aux chaînes de WebTV parce que typiquement, le week-end dernier, on avait une WebTV qui a subi la course avec des caméras sur l'eau et qui ont subi réellement tout le déroulé. Et donc, pour faire l'incrustation télé et d'aller chercher un peu ces faits de course, comme je disais, via notre commentateur Nelson. On a appelé notre commentateur Nelson A. Donc ça marche c'est rigolo pour nous pour les américains peu importe mais voilà. Monde Numérique : [11:22] On imagine que c'est un hommage au commentateur Nelson Montfort, c'est ça ? Invité : [11:26] C'est le cas, exactement. Monde Numérique : [11:29] C'est la question que j'allais vous poser, les commentaires en question, ils sont destinés à être lus pendant la course, mais du coup, ils sont accessibles de quelle manière ? C'est quoi ? Sur une appli ? Invité : [11:38] Alors, effectivement, sur notre site Internet, vous avez toutes les épreuves qu'on référence et toutes les épreuves qu'on suit toutes les semaines, tous les week-ends. Et donc en ce moment la M2O est en ligne et vous avez l'épreuve de la semaine dernière sur laquelle le module de commentaires n'est pas activé on l'a nous finalisé on va dire en back office et puis, dès ce dimanche le module devrait être dispo et donc vous avez sur la cartographie de l'épreuve l'ensemble des participants affichés sur la carte et puis à gauche vous avez un panel et vous pouvez switcher entre la liste des participants organisée par progression ou les commentaires. Et donc, ça apparaît sous forme de notification. Et donc, c'est un message court toutes les trois minutes qui fait un petit peu un résumé de l'état actuel. Ça, c'est un peu notre première étape. L'idée, c'est que derrière, un spectateur puisse interroger le module Nelson et lui poser la question où en est mon participant favori, où est-ce qu'il en est dans la course en temps réel. Monde Numérique : [12:46] Ah, c'est pas mal ça. C'est déjà implémenté ou c'est à venir ? Invité : [12:50] C'est pas encore implémenté. Là, on fait un état de course toutes les trois minutes. L'étape suivante, ce sera effectivement d'interroger le module Nelson et de lui poser la question à la demande, entre guillemets. Et puis après, ce sera aussi de faire du résumé de course en fin d'épreuve, de pouvoir un peu faire un point presse du déroulé de la course. Monde Numérique : [13:15] Alors, les résumés de course, c'est des choses qui se font déjà par intelligence artificielle. Les commentaires en direct, ça ne se faisait pas. Théo Charmont, là, on parle de commentaires écrits. Est-ce que vous envisagez éventuellement de proposer un jour des commentaires oraux ? Invité : [13:31] C'est toute l'ambition. L'idée, c'est qu'une fois qu'on a la data, de la fournir à un LLM pour faire un texte ou de la fournir à autre chose pour faire effectivement un avatar et de faire du vocal et puis à destination, encore une fois, peut-être de la Web TV et d'avoir un commentaire visuel. Derrière ça, c'est complètement envisageable. On va dire que là, on est sur notre première grande étape. On sort ça quand même au grand public. Et puis maintenant, à partir de là, on va chercher et on va essayer de discuter avec tous les grands acteurs. On va dire, périphériques aux organisations, donc typiquement les captations en direct des preuves pour fournir ces informations-là. Monde Numérique : [14:21] Ça veut dire qu'un jour, les commentateurs sportifs seront remplacés par les IA ? Invité : [14:26] Pas forcément, parce que le commentateur sportif a une connaissance de l'athlète, une connaissance intime, affective. C'est un peu ça qu'on vient chercher dans les commentaires sur un Tour de France, par exemple, ils ont les anecdotes et ils ont toutes ces informations-là et ils viennent chercher de la statistique et font ce travail de recherche de statistiques. Ce sera peut-être plus au départ, en tout cas, un module qui viendra apporter et fournir de l'information qu'un commentateur humain ne peut pas voir ou en tout cas ne peut pas voir en temps réel parce que ça demande une analyse de toutes les datas pour sortir ça. Et dans le même temps, sur plein de petites épreuves qui n'ont pas la chance d'avoir des speakers et des commentateurs en temps réel, sur toutes ces petites épreuves, le commentaire en automatique a de l'avenir parce que ça permet d'animer potentiellement une web TV un peu automatisée ou en tout cas, peut-être même une ligne d'arrivée. En tout cas, c'est des applications qui, complètement imaginable. Monde Numérique : [15:26] Oui, peut-être que le Tour de France du futur aura un commentaire principal par IA, en plus interactif, et puis on laissera la part émotionnelle aux humains. Invité : [15:36] C'est possible, ils feront les commentaires terrain et le commentaire général peut-être se fera par IA. Monde Numérique : [15:43] En entraînant et en testant votre système, vous n'avez pas eu des surprises un peu, parce qu'on sait que les IA hallucinent, est-ce que parfois, elles n'inventent pas des choses ? Invité : [15:52] Alors, elles n'ont pas inventé dans nos situations. Par contre, elles ont fait un peu des hyperboles et elles sont allées donner des choses complètement hallucinantes sur les courses de type, Invité : [16:07] on était à 3% de la course, de la trace totale. Et ça y est, elles étaient déjà en train de commenter l'arrivée et de dire qu'on était bientôt fini et que le final allait être haletant avec toujours plus des mots des superlatifs des superlatifs dans tous les sens, bon il y a de ça mais ça voilà c'est aussi le fait de l'entraîner nous de notre côté de préciser un peu les choses de dire attention elle fait 30 miles cette course donc ça sert à rien de parler du finish au bout de 2 miles voilà donc forcément on a rencontré ce genre de choses des redites. Invité : [16:46] Ou des participants qu'elles ont zappé sur notre tout premier test on avait mais ça c'est encore une fois c'est l'apprentissage sur notre tout premier test les premières balises enfin les premiers participants à couper la ligne d'arrivée c'était les balises des bouées d'arrivée, c'était les premières à avoir coupé la ligne bon voilà c'est plein d'écueils comme ça à nettoyer et c'est de l'apprentissage qu'on a que l'IA a de son côté et puis l'apprentissage nous aussi qu'on a, de travailler le fine-tuner en fait. Complètement, c'est tout l'objet du travail de ces derniers mois. Monde Numérique : [17:24] Merci Théo Charmont, responsable des activités sport chez DotVision.