🎤 L'IA accroit le risque cyber en entreprise (Vivien Mura, Orange Cyberdefense)

Vivien Mura:
[0:01] Donc, à quel moment on va réussir à conserver l'humain dans cette boucle d'action et à quel moment on va être tenté de laisser la machine atteindre des niveaux de privilèges pour orchestrer des systèmes de paiement, pour orchestrer des systèmes physiques d'IoT, des systèmes industriels, etc.

Vivien Mura:
[0:18] Pour l'instant, on ne sait pas, mais on doit être vigilant et s'assurer qu'effectivement, dans toute cette tendance, on insère la sécurité au bon endroit.

Monde Numérique :
[0:31] La cybersécurité à l'heure de l'intelligence artificielle. On en parle dans cette nouvelle série d'interviews en partenariat entre Monde Numérique et Orange Cyberdefense. Bonjour Vivien Mura.

Vivien Mura:
[0:41] Bonjour Jérôme.

Monde Numérique :
[0:42] Vous êtes CTO, directeur des technologies, de l'innovation chez Orange Cyberdefense. Et avec vous, on va inaugurer cette série et on va essayer de voir en quoi l'IA change la face de la cybercriminalité et donc de la cybersécurité. En deux mots, je rappelle que vous êtes ingénieur, vous êtes développeur, vous êtes passé par l'ANSI, l'Agence Nationale de Sécurité des Systèmes d'Information, le super gendarme de la cybersécurité française. Et vous êtes sur Orange Cyber depuis deux ans.

Monde Numérique :
[1:15] Alors, l'IA, ça change quoi très concrètement ? Quels sont les nouveaux risques, notamment pour les entreprises ?

Vivien Mura:
[1:23] Déjà, je voudrais rappeler que l'état de la menace aujourd'hui, elle est d'abord constituée essentiellement d'une cybercriminalité qui explose. Beaucoup d'extorsions, beaucoup de fuites de données, ce qui caractérise le paysage aujourd'hui de la menace, ce qui nous mobilise beaucoup vis-à-vis de nos clients qui sont victimes d'attaques, c'est cette cybercriminalité avec un contexte géopolitique qu'on sait, qui favorise des mouvements idéologiques, des mouvements qu'on appelle activistes, qui vont chercher à déstabiliser. Et puis de plus en plus aussi des attaquants de très haut niveau qui vont mener des attaques sophistiquées sur des secteurs critiques. On a quelques exemples récents.

Monde Numérique :
[1:58] On le voit tous les jours.

Vivien Mura:
[1:59] Et on le voit tous les jours. Donc voilà, pour bien resituer le contexte, ce qui caractérise essentiellement notre menace aujourd'hui, c'est ça. Et effectivement, l'intelligence artificielle fait partie des tournements technologiques de notre numérique qui a des incidences dans le monde cyber qu'on va décrire du coup. Et derrière, ce que ça signifie immédiatement, C'est une complexité supplémentaire pour les entreprises, pour les différentes organisations qui doivent gérer aussi ces nouveaux risques. Donc, on a des risques qui sont liés à l'usage même de l'IA par des attaquants.

Monde Numérique :
[2:29] Concrètement ? Est-ce que vous pouvez nous donner quelques exemples ?

Vivien Mura:
[2:32] Très concrètement, très difficile de savoir exactement ce que les attaquants font avec l'intelligence artificielle. On n'est pas derrière leur dos quand ils font. Néanmoins, ce qui émerge de manière déjà évidente depuis quelques années, c'est qu'ils accélèrent leurs attaques puisqu'ils utilisent nécessairement l'intelligence artificielle pour pouvoir exploiter des vulnérabilités beaucoup plus rapidement. Ça, ça fait partie des choses qui sont évidentes. Le temps entre la découverte d'une vulnérabilité et son exploitation est réduit maintenant à quelques jours, voire quelques heures.

Monde Numérique :
[3:04] Donc, ça a accéléré la potentialité des attaques.

Vivien Mura:
[3:09] Absolument. C'est ce qu'on décrit dans le Security Navigator qu'on a sorti à nouveau cette année, qui est notre livrable annuel sur l'état de la menace. Et donc, ça, ça fait partie des éléments les plus frappants et qui nous incite aussi à mieux gérer ce qu'on appelle le patch management et à faire en sorte aussi de gagner cette bataille du temps.

Monde Numérique :
[3:25] Et... Oui, je disais, c'est quoi ? Alors, ça peut être des intrusions dans les systèmes, ça se traduit par des fuites de données. Il y a aussi beaucoup de ce qu'on appelle de l'ingénierie sociale, c'est-à-dire qu'on va tromper les utilisateurs avec les deepfakes, les deepfakes vidéos, les deepfakes audio, etc. C'est un vrai phénomène ou c'est encore marginal, ça ?

Vivien Mura:
[3:45] Alors, ce n'est pas évident de le mesurer parce que quand on discute typiquement avec des clients, certains nous disent, c'est marrant, vous me parliez de ça. La semaine dernière, j'ai justement eu mon VIP qui a été contacté par une fausse voie finalement. Donc, on s'en rend compte un peu comme ça. Difficile de dire si on est sur un phénomène de masse. En revanche, l'accès à ces technologies, la performance de ces technologies va devenir extrêmement intéressant, forcément pour des attaquants, probablement d'abord pour des cas de fraude.

Monde Numérique :
[4:12] Oui, l'objectif, c'est toujours de quoi ? De soutirer de l'argent ou des données qui peuvent ensuite se transformer en.

Vivien Mura:
[4:22] Monnaie sonnante et trébuchante ? C'est ça, la donnée a une valeur de plus en plus. Elle a une valeur parce qu'elle peut permettre ensuite d'accéder à des systèmes d'information. Elle a une valeur en elle-même, elle est échangée sur le Dark Web, donc les attaquants, leur objectif premier pour la plupart d'entre eux, effectivement, c'est d'accéder à cette donnée. Et c'est là aussi où les systèmes d'IA vont devenir très probablement centraux. Au fur et à mesure où ils sont imprégnés dans les systèmes d'information et où ils ont des accès privilégiés à ces données, à ces systèmes.

Monde Numérique :
[4:53] Alors, vous voulez dire que les systèmes d'IA dans les entreprises, aujourd'hui, vont représenter de plus en plus des points de vulnérabilité, en fait ?

Vivien Mura:
[5:03] Oui, c'est ça. C'est-à-dire que les attaquants raisonnent par circuit court. Ils ont aussi leur schéma de rentabilité, quelque part. Donc, l'IA abaisse la barrière à l'entrée pour eux, en termes de compétences, en termes de moyens. Et puis, l'IA représente aussi une vulnérabilité potentielle dans les systèmes d'information parce qu'il y a une course à l'automatisation. D'ailleurs, c'est l'IA et c'est de manière générale la tendance à l'automatisation. Donc, plus ces systèmes d'automates ont des accès privilégiés aux données à d'autres systèmes, plus ça représente un circuit de compromission, un chemin de compromission intéressant pour les attaquants.

Monde Numérique :
[5:39] Alors, ce qui est intéressant, c'est qu'Orange Cyberdefense, vous aidez les entreprises à se protéger. vous êtes vous-même une entreprise, vous êtes vous-même CTO donc votre boulot c'est de protéger Orange Cyberdefense.

Vivien Mura:
[5:49] Alors effectivement, et puis l'IA est aussi un instrument pour nous, ça a toujours été, on automatise aussi notre Cyberdefense et on se doit de le faire compte tenu de ce que je décrivais précédemment, ce phénomène d'accélération de la menace, d'amplification du volume d'attaque, on est obligé aussi d'avoir un temps machine dans la façon dont on réagit vis-à-vis des attaques. Le but du jeu, c'est d'arriver à réagir le plus tôt possible dans la chaîne détection-réponse-remédiation. Le métier du cyber défenseur, c'est aussi d'utiliser intelligemment la machine pour gagner ce temps. Et là, l'intelligence artificielle dans cette nouvelle génération est aussi un instrument extrêmement utile.

Monde Numérique :
[6:33] Selon vous, quels sont les trois principaux risques aujourd'hui pour une entreprise en matière de cyber à l'heure de l'IA ?

Vivien Mura:
[6:41] Alors, le plus flagrant, c'est une perte de maîtrise, de contrôle de ces données, des usages. C'est tellement intéressant de pouvoir utiliser des chatbots pour pouvoir avoir des réponses qui avaient forcément une tendance de la part des employés à utiliser ces systèmes, mais qui ne sont pas toujours maîtrisés. Il y a des entreprises qui parviennent à instaurer des modèles maîtrisés, mais ce n'est pas le cas de toutes. Donc ça, ça fait partie des risques les plus évidents. Nous, ce qui va probablement nous empêcher de dormir prochainement, c'est le fait que des systèmes d'IA puissent automatiser des workflows, des activités qui peuvent être sensibles. Et là, effectivement... On a des systèmes d'IA qui ne sont pas encore complètement fiables dans la façon dont elles opèrent. Elles font ce qu'elles sont censées faire. Et puis, encore une fois, c'est une surface d'attaque potentielle qui peut être utilisée par les attaquants.

Monde Numérique :
[7:31] C'est donc le risque potentiel que représentent les fameux agents, les agents intelligents qui se développent. On voit qu'il y a une accélération actuellement. On est en train de passer un peu de l'ère des chatbots qui était sympa à l'ère des agents qui, vous l'avez dit, vont s'inscrire dans des workflows. Donc ils vont pouvoir prendre des décisions, agir véritablement au sein des entreprises.

Monde Numérique :
[7:54] C'est ça qui vous empêche de dormir ?

Vivien Mura:
[7:56] C'est ça, et puis on a plus que des signaux faibles, c'est-à-dire qu'on n'est pas encore sur un phénomène de masse, mais l'événement OpenClo qui est récent montre bien que quand on a un projet comme ça, qui est extrêmement sympathique sur le plan des fonctionnalités, puisqu'on peut automatiser une partie de sa vie numérique.

Monde Numérique :
[8:13] On rappelle qu'OpenClaw, c'est ce système ouvert en open source qui permet de programmer des gens pour tout faire. Il y a un emballement autour de ça. Meta vient d'investir là-dedans. OpenAI a investi également. C'est hyper séduisant, mais c'est aussi très inquiétant parce qu'on est obligé de donner accès à tout. Les informations d'une entreprise, vous en particulier d'ailleurs.

Vivien Mura:
[8:39] C'est ça. En fait, ces systèmes concrétisent le cas d'usage, c'est-à-dire donnent un ancrage économique à ces systèmes d'IA dont on se pose beaucoup la question de savoir si effectivement il va avoir une rentabilité. Donc, c'est pour ça que c'est très séduisant. Donc, techniquement, on s'approche de plus en plus à cette possibilité d'automatiser des choses complexes. Et puis, il y a quelque chose de psychologique derrière. C'est très intéressant pour l'humain de se dire, finalement, ma machine, j'ai un peu tenté de la laisser faire parce que ça me fait gagner un temps considérable. Donc, à quel moment on va réussir à conserver l'humain dans cette boucle d'action ? Et à quel moment on va être tenté de laisser la machine atteindre des niveaux de privilèges pour orchestrer des systèmes de paiement, pour orchestrer des systèmes physiques d'IoT, des systèmes industriels, etc. Pour l'instant, on ne sait pas. Mais on doit être vigilant et s'assurer qu'effectivement, dans toute cette tendance, on insère la sécurité au bon endroit.

Monde Numérique :
[9:34] Alors, l'IA, vous vous en servez aussi. Cela dit, c'est également une aide, justement, pour mettre en place des systèmes de cybersécurité.

Vivien Mura:
[9:40] Absolument. Et on voit là-dessus qu'il y a encore beaucoup à faire. Donc, on innove chez Orange Cyberdefense avec des partenaires clés. On y va aussi de manière très pragmatique. C'est-à-dire qu'il y a des cas d'usage qui sont très éligibles. Il y a une maturité de la technologie d'IA pour pouvoir les couvrir. Et on a d'autres, le retour sur investissement n'est pas encore mesuré. Et puis, il y a un impact aussi très important qui est lié aux compétences. Ont bâti notre cybersécurité sur la compétence de nos experts. C'est central. On a des données qui sont exclusives, de renseignements sur la menace, et on a des experts de haut niveau qui sont capables d'interpréter cette menace et de la concrétiser dans des solutions, dans des services. Donc, le but du jeu, c'est de trouver l'équilibre entre une IA qui va nous permettre de gagner la guerre du temps dont je parlais tout à l'heure, sans non plus effacer la compétence qui est essentielle pour nous.

Monde Numérique :
[10:34] Est-ce que ça a des impacts également sur l'organisation des entreprises en interne ? Est-ce qu'il faut aujourd'hui donner plus de pouvoir aux CTO ? Est-ce qu'il faut retirer certains privilèges aux utilisateurs, leur empêcher d'aller utiliser ChatGPT ou Cloud, faire de ce qu'on appelle du shadow AI, de l'IA en douce ?

Vivien Mura:
[10:55] Oui, interdire, ça a toujours été une difficulté dans le monde de la sécurité. On est beaucoup plus dans l'idée de la sensibilisation et donner les moyens aux gens de pouvoir faire en sécurité. Donc typiquement, chez Orange, on intègre des chatbots qui sont maîtrisés. On a un outil qui s'appelle Dino2, typiquement, qui nous permet justement de faire ça. Et puis, on a des systèmes d'IA qu'on développe nous-mêmes avec nos partenaires et qui nous permettent justement de suivre ces mesures de sécurité. En tout cas, il y a une question d'appropriation de cette technologie par les différents métiers. Je ne pense pas que ce soit l'apanage d'une seule composante, d'une seule personne, d'une seule fonction. Par contre, ce qui est vrai, c'est que... La compétence n'est pas facile à acquérir. Les systèmes d'IA changent toutes les semaines. Il y a des nouveautés tout le temps. Donc, quand on pense avoir maîtrisé ce sujet, en fait, trois semaines plus tard, on est déjà obsolète. Donc, il y a cette question aussi centrale dans les entreprises d'arriver à acquérir et à maintenir cette compétence.

Monde Numérique :
[12:00] Vous testez en quelque sorte aussi également chez vous, en interne, chez Orange, ou en tout cas, vous êtes confronté à certains cas de figure. Vous avez eu déjà des mauvaises surprises en termes d'IA ?

Vivien Mura:
[12:11] Alors, on n'a pas encore eu de mauvaise surprise. On est plutôt dans l'exploration. Il y a des choses très concrètes qui fonctionnent avec les nouveaux modèles d'IA. On est déjà capable d'automatiser des systèmes opérationnels chez nous, typiquement pour faire de l'investigation sur la détection. Il y a des choses qui marchent très bien. Et puis, on est en train d'expérimenter.

Monde Numérique :
[12:31] Pour surveiller ?

Vivien Mura:
[12:32] C'est plutôt pour assister l'analyste humain dans la qualification d'un incident. Il y a des événements de sécurité qui apparaissent chez nos clients tous les jours. Ça fait partie de la vie de la cybersécurité. L'analyste humain est déjà très assisté par les instruments pour pouvoir analyser ces événements. Ce que nous permet maintenant l'IA, c'est d'aller encore plus loin et de proposer... En plus en logage naturel, déjà une qualification de ce qui s'est passé. Cette nuit, il y a eu telle donnée qui a transité entre telle adresse IP et telle machine extérieure. Ça ne paraît pas normal parce que ce n'est pas habituel pour telle raison. Et voilà le plan de remédiation qu'on propose. Ça peut être des règles de pare-feu, ça peut être ce genre de choses. Donc, il y a un temps qui a gagné. Ça permet à l'analyste humain aussi de dire « Tiens, intéressant, ce n'est peut-être pas comme ça que j'aurais fait, mais c'est intéressant, la machine me propose quelque chose que je n'aurais peut-être pas fait naturellement. » Donc, il y a un jeu qui s'opère machine et l'être humain qui est assez intéressant aussi.

Monde Numérique :
[13:29] Oui, c'est intéressant, comme dans beaucoup de métiers aujourd'hui, dans la santé, dans la programmation informatique, etc.

Monde Numérique :
[13:36] Est-ce que la prise de conscience de ce nouveau risque est suffisante dans les entreprises ?

Vivien Mura:
[13:44] Je pense qu'elle débute. Je pense que la différence par rapport au phénomène du cloud il y a quelques années, c'est que les gens ont compris déjà. On n'est pas dans une phase de déni. Les gens comprennent que quand il y a des nouveaux usages, il y a forcément des risques qui sont associés. On n'est peut-être pas encore à une maturité suffisante pour se dire que les exigences sont là. C'est aussi notre travail à nous d'accompagner, de dire quels sont précisément ces risques. Et puis voilà, il y a aussi un phénomène un petit peu de mauvaise interprétation de ce qui se passe dans le paysage de la menace. Quels sont les vrais risques ? Quelles sont les vraies méthodes d'attaque ? Et celles qui effectivement font encore partie de la science-fiction, qui ne sera peut-être plus de la science-fiction dans six mois, un an, mais qui.

Monde Numérique :
[14:27] Là, à l'heure actuelle... Qu'est-ce qui fait partie encore de la science-fiction, d'après vous ?

Vivien Mura:
[14:30] Alors, ce qui fait partie de la science-fiction, mais qui tombe de plus en plus dans la réalité, c'est la possibilité d'automatiser des attaques sophistiquées. Probablement aussi aidé par des systèmes agentiques comme je le disais tout à l'heure l'attaquant cherche à réduire le plus possible le coût d'une attaque donc il va automatiser lui-même les différentes phases d'attaque c'est très théorisé ça les phases d'attaque, la reconnaissance, la latérisation.

Monde Numérique :
[14:53] Etc mais ce qu'on avait vu déjà avec une opération menée par des hackers chinois je crois qui se sont aidés de Claude notamment pour mettre en place des systèmes totalement automatisés c'est ça.

Vivien Mura:
[15:04] C'est-à-dire qu'en fait on a des témoignages des rapports qui apparaissent dans l'écosystème qui ne sont pas encore complètement prouvés. Tout le travail de la cyber, c'est très scientifique tout ça. On cherche à avoir des preuves, à les vérifier, etc. Avant de s'en faire une vraie religion. Mais il y a suffisamment de signaux qui montrent aujourd'hui qu'effectivement, puis c'est logique, les attaquants jouent avec depuis longtemps, qui cherchent eux-mêmes à utiliser ces systèmes-là pour automatiser ce qu'on appelle leur kill chain. Oui, ça fait sens. Est-ce qu'ils vont pouvoir le faire à très large échelle ? Difficile de savoir, c'est là où on est encore un peu dans la science-fiction En revanche, voilà que demain, peut-être cette année On ait des démonstrations d'attaques sophistiquées, Très orchestré, ça, c'est tout à fait plausible.

Monde Numérique :
[15:46] Les grands principes qu'il faut respecter et appliquer lorsqu'on... Aujourd'hui, quelle que soit l'activité de son entreprise, ou encore plus, si on se met à intégrer des solutions d'IA au sein des process, c'est quoi ces principes ?

Vivien Mura:
[16:04] Déjà, je pense qu'il y a une question qui est récurrente. Ce qui est bien avec l'IA, c'est que les vieilles recettes fonctionnent encore dans le domaine de la cybersécurité. On a parlé de sensibilisation, la sécurité by design. Il y a beaucoup de code maintenant qui est développé par les systèmes d'IA. C'est très pratique. C'est probablement l'avenir à court terme ou moyen terme. Mais est-ce que ce n'est pas dangereux, ça, précisément ? Alors, oui et non. C'est-à-dire que oui, mais autant que les développeurs qui prennent des bouts de code sur Internet, sur un stack overflow ou ce genre de site et qui les copient dans leur logiciel. J'ai envie de dire, si on a des process de sécurité dans les cycles de développement, normalement, on arrive à quand même cadrer ça. Et puis, on n'est pas à l'abri que les systèmes d'IA proposent aussi des codes qui soient peut-être plus matures, peut-être un petit peu moins vulnérables. C'est là où il va falloir trouver l'équilibre entre ce que l'IA peut apporter en termes de robustesse de développement et, encore une fois, la question centrale de la compétence humaine qui doit être maintenue pour vérifier que derrière, on n'a pas des systèmes qui sont effectivement vulnérables.

Monde Numérique :
[17:12] Merci Vivien Mura.

Vivien Mura:
[17:13] Merci Jérôme. CTO d'Orange Cyberdefense.