Jumeau numérique et Web 3 au service du patrimoine (Y.Toullec & S.Malcotti, Lay3rs)

Transcription

Bonjour Yann Toullec. Vous êtes directeur stratégique d'une start up qui s'appelle Lay3rs. Vous avez mis au point un système pour fabriquer des jumeaux numériques, de monuments notamment. Est ce qu'on peut d'abord rappeler ce que c'est qu'un jumeau numérique ?

Yann Toullec : Alors pour nous, puisque le terme a été galvaudé pendant des années, pour nous, le jumeau numériq ue, c'est simplement l'ensemble des datas qui sont liées à un monument par exemple. Donc ça peut être de la photo, de la vidéo, de la démesure, de la texture, de l'acoustique, etc. Tous les tous les éléments qui peuvent être stockés de manière digitale et qui sont liés à un monument. Ça, c'est pour nous les jumeaux numériques.

À partir de cette data, on peut faire plein de choses, on va en parler, mais ce qui est innovant chez vous, c'est comment vous fabriquez votre jumeau numérique et à partir de quelles données surtout.

Yann Toullec : Tout à Fait. Alors le but pour nous, c'était de rassembler donc l'utilité de l'IA et l'utilité du web trois et de la décentralisation. Donc le but pour nous, c'est rassembler via une méthode de crowdfunding, l'ensemble des data liées à un jumeau. Donc faire financer l'achat de cette data auprès du plus grand nombre. C'est à dire on réunit une somme avec des contributeurs comme crowdfunding et grâce à cette somme, on va aller acheter toutes les data qui sont liées à un jumeau. Donc votre grand mère qui a en 1920 pris une photo de Notre-Dame de Paris, c'est totalement intéressant pour nous. Avec cet ensemble de data d'un coup qui est dynamique, on va être capable d'extrapoler et donc de générer des modèles 3D qui sont les plus proches des besoins des industries créatives et également les plus proches de. Une particularité la face nord de Notre-Dame en 1926, on est capable de savoir exactement à quoi ça ressemblait, quel était le niveau de vieillissement, etc etc.

Parce qu'en général, les jumeaux numériques sont réalisés à partir d'une captation sur place ou de la reconstitution ?

Yann Toullec : Et ensuite beaucoup de travail, on va dire artisanal à la machine, donc de 3D, de modeleurs, etc. Qui eux redessine les contours trait par trait, polygone par polygone. Nous, le but c'est d'agréger le maximum de data et via une intelligence artificielle, qu'elle soit capable, elle, de d'émuler ce travail et donc de elle même faire l'export et de faire le modèle 3D correspondant aux besoins du client. Donc, un peu comme un prompte aujourd'hui sur My Journey, que quelqu'un soit capable de dire Je veux Notre-Dame en 3D Photoréaliste en 1926 et l'intelligence artificielle va aller chercher dans l'ensemble de data, quelle qu'elle soit, les informations qui lui permettent de générer du coup directement ce modèle.

Et c'est vraiment ça le cœur de votre innovation qui vient du si c'est ça?

Yann Toullec : Tout à fait. C'est une technologie qui est partagée, qui est partagée avec le CEA pour la partie intelligence artificielle et l'autre partie innovante. Et donc cette manière de faire du crowdfunding via le web3 et via une administration décentralisée qu'on appelle donc une DAO.

Les fameuses DAO. On pensait que c'était très théorique et que ça ne servait pas forcément à grand chose. Donc vous faites la vous prouvez qu'il peut y avoir des utilités très concrètes.

Yann Toullec : Tout à fait. La décentralisation d'une gouvernance est quelque chose qu'on peut trouver un peu partout, dans n'importe quelle association, etc. Le fait de l'inscrire sur la technologie qu'est la blockchain, qui rend de manière absolue et obligatoire les votes et la décentralisation, ça c'est nouveau et c'est un vrai gage de de transparence par rapport aux fonds qu'on, qu'on agrège et qu'on redistribue.

Alors ils servent à quoi ensuite ces jumeaux numériques?

Yann Toullec : Ces jumeaux numériques servent principalement à toutes les personnes qui vont en avoir, qui vont avoir l'usage de la 3D ou de données liées à du à du un monument. Donc on peut penser évidemment aux technologies immersives, les jeux vidéo, la VR, etc. Mais une des grandes, un des grands axes d'utilisation qui arrive, c'est les Virtual Studio, donc ces studios virtuels qui ont été utilisés pour tourner The Mandalorian, etc. Qui ont été les premiers POC de ça et qui aujourd'hui sont en train de se développer à vitesse grand V grâce à l'aide du gouvernement français, du CNC, etc etc et qui eux ont un besoin constant d'être capables de produire des environnements 3D très rapidement et avec des contraintes très particulières de lumière, de qualité, etc. Donc pour le coup, la manière nous de produire de la. Cette 3D est tout à fait optimisée pour leur pour leur pic de production.

L'époque, les proof of concept. Donc l'avantage il est quoi? Il est avant tout technologique ou économique.

Yann Toullec : Technologique. Pour le coup, on sait qu'on doit être. On n'a pas directement de concurrents qui travaillent sur la même intelligence que nous. Mais Sébastien pourra en dire un peu plus après. Économiquement en tout cas, c'est un vrai cercle vertueux entre des contributeurs qui eux trouvent un intérêt pour la préservation du patrimoine et qui sont rewarder sur l'utilisation qui est fait de leur contribution et.

Monde Numérique : Donc récompensés.

Yann Toullec : Récompensés, qui sont récompensés à chaque fois qu'il y a une utilisation du modèle du jumeau numérique. Eux touchent une récompense par rapport à ça dans notre token propriétaire. Donc c'est surtout cet écosystème décentralisé et assez vertueux qui pour nous est le plus disruptif.

Qu'est ce que vous avez collecté à ce jour comme data? Et pour réaliser quel modèle? Quel jumeau?

Yann Toullec : Alors on a fait l'abbaye de Montmajour qui était notre notre première, notre premier Proof of concept et aujourd'hui on est assez fiers d'avoir les récupérer les droits sur les photos de Toutankhamon. Donc des choses, des pardons, des éléments qui étaient dans le tombeau de Toutankhamon.

Parce que les photos de Toutankhamon, ça doit être assez rare. D'où notre fierté, on est d'accord?

Yann Toullec : Non, non, les photos de tous les éléments qui sont dans la tombe de Toutankhamon donc qui pour le coup ne sera plus visité pendant des années de pas par le gouvernement. Une directive du gouvernement égyptien, ce qui ce qui nous permet du coup nous de faire de la 3D de ces éléments dans une assez bonne qualité. Donc voilà, donc c'est notre premier. Un de nos premiers jumeaux et dont on est assez fiers.

C'est assez incroyable parce qu'on se rend compte que finalement, ces jumeaux numériques, ces modèles, et bien derrière ça, il y a des questions de droit, de propriété, de propriété intellectuelle, d'accès à comment dire, à l'œuvre ou au monument que vous voulez cartographier, etc.

Yann Toullec : C'était un des gros enjeux, c'était quand même que la chaîne de droit par rapport à tout ça. Donc sur des monuments historiques, on est à peu près tranquilles parce que l'auteur de Notre-Dame étant mort depuis plus de 70 ans par exemple, on est assez assez tranquille. Mais si on pense à un musée, par exemple, un musée, c'est juste une chaîne d'ayants droit par tableaux extrêmement complexes à avoir. Donc on a commencé par les monuments historiques. Les plateformes suivantes iront chercher dans le domaine du sport, dans le domaine de la mode, dans le domaine des éléments fictifs. Et on sait que ça, ça va être une autre paire de manches et qu'il va falloir aussi réussir à automatiser cette chaîne de droit par la blockchain, par les droits de suite et toutes ces choses là, qui va être un gros chantier pour l'avenir. D'accord.

Alors on parle des monuments historiques, mais il n'y a pas que ça, il y a d'autres, ça peut servir à d'autres choses.

Yann Toullec : Oui, tout à fait. La première plateforme qui est sortie en alpha le quinze 15 septembre s'applique aux monuments historiques. On prévoit d'en lancer deux l'année prochaine. Une qui s'appelle supportée sur le patrimoine sportif et une qui s'appelle Fashion Hair sur le milieu de la mode.

Et si j'ai des images, des données qui peuvent vous intéresser, comment je fais.

Yann Toullec : Quand la plateforme va sortir en cette fois de manière définitive? Donc même pas en bêta, Il y aura un endroit où vous pourrez juste dire je peux contribuer en déposant tel fichier. Ce fichier sera vérifié par notre intelligence artificielle comme quoi il est pertinent et il représente bien cette chose là. Et à partir de là, vous aurez une rémunération qui vous sera, qui vous sera proposée en échange des droits sur sur cette image, c'est.

Une rémunération de quel ordre?

Yann Toullec : Impossible à dire. Si vous avez une vraie photo de Toutankhamon, ça peut monter très cher par exemple.

--------

Sébastien Malcotti, vous vous êtes directeur général et cofondateur de Lay3rs, plus spécifiquement en charge de l'aspect technique, alors expliquez nous un peu dans le détail comment fonctionne votre jumeau numérique.

Sébastien Malcotti : Donc, nous, on travaille sur un algorithme d'intelligence artificielle, enfin, plusieurs algorithmes d'intelligence artificielle qui s'appelle les neuf Neural Radiance Field et les leurs dont je n'essaierai même pas de traduire l'acronyme. C'est un type d'IA qui dont le concept a émergé il y a deux trois ans et qui, contrairement aux IA qu'on connaît aujourd'hui, telles que GPT ou d'autres d'autres IA.

Les IA ?

Sébastien Malcotti : Des IA génératives là, permet vraiment de créer des espaces virtuels en 3D. Donc on est vraiment dans de la spatialisation, on n'est pas que dans de la représentation de l'image, on crée vraiment des espaces numériques, On est très proches finalement du concept de metaverse avec un monde parallèle, numérique. Mais on est vraiment dans cette dans cette logique de pensée là, de créer des espaces digitaux.

Vous m'avez montré sur écran, juste avant qu'on commence cette interview, une représentation d'une abbaye, je pense. On a l'impression que c'est une vidéo. C'est ça que vous arrivez à fabriquer?

Sébastien Malcotti : Exactement. Alors il y a effectivement plusieurs procédés qui sont mis à profit dans ce ce genre de production. Il y a une première couche d'intelligence artificielle qui va faire. De l'interpolation, c'est à dire on a des données avec des points de vue particuliers et on va avoir une première IA qui va créer toutes les données manquantes entre ces points de vue. D'accord. Donc ça, c'est le premier niveau. Et deuxième niveau, on a effectivement une IA qui va reconnaître chaque chaque point de vue, enfin chaque endroit où est placé le capteur pour du coup derrière faire de la triangulation de manière assez classique, très proche de ce qu'on fait aujourd'hui en photogrammétrie, mais de manière complètement automatisée et intelligente pour justement recréer ces espaces en 3D. Aujourd'hui, l'état de l'art, de la technologie, de cette technologie nous permet de faire des rendus en 3D. Donc là on est pas sur de la vidéo, mais on n'est pas sur un modèle non plus. Et justement, la spécificité de notre approche, c'est que nous on utilise ces technologies là pour créer des mesh. Donc le squelette 3D classique avec exactement un maillage avec des textures, de sorte que, un petit peu comme Adobe l'a fait avec l'IA générative de Photoshop, c'est de passer de quelque chose de très vite ici qui permet de faire de très jolies images comme My Journey à quelque chose qui est utilisable par les professionnels dans un pipe de production professionnel et donc d'être utilisable dans les logiciels professionnels maya ou tout autre logiciel de 3D. Mais nous, c'est vraiment cette spécificité là qu'on apporte, c'est d'utiliser cette technologie là pour créer du modèle, alors qu'aujourd'hui elle n'est utilisée que pour créer du rendu.

D'accord. Donc vous, en fait, vous voulez dire que c'est exploitable derrière? On peut, à partir de ce que vous créez, fabriquer je sais pas quoi, des décors, du jeu vidéo, des choses comme ça exactement.

Sébastien Malcotti : Donc l'idée c'est de laisser quand même enfin de laisser de la place au 3D artist puisque dans un jeu vidéo, il y a une ligne artistique. On n'est pas sur un jumeau de la réalité. Jamais. En fait, puisqu'il faut qu'il y ait de l'interaction, il faut qu'il y ait des objets particuliers. Il faut que enfin faut que le jeu, il ait un contexte. Enfin, le jeu ou l'expérience, elle est un contexte particulier, c'est pas le reflet de la réalité donc. D'ailleurs le terme de jumeau numérique est un peu abusif puisqu'on est plus sur un miroir finalement, ou un reflet de la réalité avec forcément une légère déformation et du coup aussi laisser la place au studio 3D artiste de venir replaquer la ligne artistique du projet sur ces modèles là. Oui, en.

Fait, plus que de la vidéo, je disais tout à l'heure, c'est plus comme dans un jeu vidéo, c'est à dire un univers 3D statique, mais dans lequel on peut, on peut se promener, on peut, dans lequel on peut évoluer. C'est ça dans.

Sébastien Malcotti : Lequel on peut évoluer, avec lequel on peut interagir, avec lequel, dans lequel. En fait. Parce que dans les 3D, il y a aussi une question de lumière. Si je prends une. Si je fais un jumeau numérique d'une abbaye à côté de Arles à 16 h en été, j'ai des ombres très nettes. Si demain matin, je veux faire un projet qui se passe en pleine nuit avec des phares qui éclairent cette abbaye, si j'ai mes ombres de 16 h, je vais avoir un vrai dissonance cognitive pour l'utilisateur. Donc il y a aussi toute cette logique là de savoir neutraliser une scène complètement en terme de lumière, de même de densité de l'air, de plein de choses, pour que justement les créateurs puissent complètement s'en ressaisir derrière et immerger leur leur. C'est à dire que.

Vous avez des images de l'abbaye en question prises avec une certaine lumière, une certaine heure, etc. Vous, vous arrivez à enlever la lumière et à ne plus garder que que que que les murs. C'est ça?

Sébastien Malcotti : C'est ça une lumière en fait. On passe d'une lumière naturelle à une lumière saine où c'est la lumière que l'artiste va pouvoir appliquer dans sa scène qui va éclairer réellement le modèle.

Ça n'existait pas ça, jusqu'à présent ?

Sébastien Malcotti : Si c'est des jumeaux numériques et des modèles de monument historique.

Mais pas fait de cette manière ?

Sébastien Malcotti : Là, pas fait et peut être juste un titre à titre de comparaison, dans Assassin's Creed qui fait pas mal de bruit, la reconstitution de Notre-Dame, juste Notre-Dame, c'est plus de 5000 heures de travail manuel. Donc oui, ça existe déjà, mais aujourd'hui c'est un luxe de grand studio de pouvoir réellement travailler sur de la donnée historique parce que parce que ça coûte très cher. La captation coûte très cher, l'assemblage des données coûte très cher et justement, l'addition d'une ligne artistique est très difficile. 

Donc, vous allez démocratiser en fait ce l'accès à ce type de données pour nous.

Sébastien Malcotti : Clairement sur les 5000 heures. L'ambition est de réduire d'un facteur 100. D'accord, on aimerait bien plutôt à 50 heures qu'à 5000 heures. Et donc évidemment que derrière ça, il y a une démocratisation. Et pour aller un peu plus loin dans la démocratisation, on pense vraiment l'interopérabilité de ces modèles, de sorte que un modèle, enfin un jumeau, puisse être utilisé dans différents environnements de création, différents logiciels, différents moteurs de. Jeux ou autres pour qu'on sorte aussi du problème actuel qui est souvent on a un jumeau, une application. Je fais un jumeau pour faire une expo, une expo VR et je ne peux jamais le réutiliser parce qu'en fait la captation n'a pas été pensé pour ça. Comme nous justement, on s'abstrait du problème de captation par l'utilisation de l'IA, ça permet derrière d'avoir des modèles beaucoup plus multi-usages. 

Est ce que malgré tout vous êtes dépendants des données que vous vous mettez en entrée? Est ce que vous avez suffisamment de données? Est ce que parfois il vous manque pas des cases, des choses?

Sébastien Malcotti : Et bien c'est tout. Là où en fait on a une. On va rentrer dans une logique communautaire, c'est que quand il nous manquera des données, ce qu'on va proposer justement à nos contributeurs, c'est des du bounty hunting, je sais pas le dire en français chasseur de.

Chasseur de primes...

Sébastien Malcotti : Des petites annonces pour que finalement, je sais pas, il manque la voûte d'entrée de l'opéra Garnier. Soit vous avez ça chez vous, soit vous allez les prendre maintenant, vous êtes les premiers à les poster sur la plateforme et qu'elle soit validée. Vous touchez la récompense.

Ah oui, parce que ça peut, ça peut se trouver, ça peut se faire sur place et de faire des photos.

Sébastien Malcotti : Après, il y a des données qui sont effectivement beaucoup plus rares. Si je veux des photos du temple de Palmyre que avant destruction, bah ça va être beaucoup plus dur d'aller chercher.

Je crois qu'il y a une start up française qui fait ça

Sébastien Malcotti : Qui travaille, qui travaille là dessus. Mais aussi c'est aussi une opportunité pour des institutions type la bibliothèque nationale qui a des immenses fonds photo dans Gallica, de trouver aussi d'autres applications, d'autres manières de valoriser ces fonds là, puisque eux en fait des données, ils ont déjà beaucoup qui sont non exploitées. Et donc c'est aussi une nouvelle manière d'exploiter, d'exploiter ces fonds là. Je dis Bibliothèque nationale, mais typiquement, l'INA est tout à fait concerné par cette problématique là de masse de données à laquelle je dois trouver de la valeur en fait. Et donc nous, on est aussi une piste de sortie pour ces organisations là et.

Les gens qui nous écoutent. Alors, si ils pensent avoir des données intéressantes pour vous, qu'est ce qu'on, qu'est ce qu'ils en font?

Sébastien Malcotti : Et bien les fonctionnalités pour justement faire remonter de la donnée vont être disponibles à partir de fin novembre. Donc je leur donne rendez vous sur builder avec un trois à la place du iOS, donc Builder trois RS iOS pour venir nous proposer leurs données, contribuer au financement de jumeaux numériques ou venir trouver des assets 3D, enfin des modèles 3D pour leur pour leur projet.

Merci beaucoup!

Sébastien Malcotti : Merci à vous.