Danger imminent : défaillances de l’IA menacent nos infrastructures essentielles

Les systèmes d’intelligence artificielle gagnent en autonomie au sein des installations industrielles vitales. Cette évolution technologique rapide soulève aujourd’hui des interrogations majeures sur la sécurité des infrastructures nationales. Alors que les entreprises adoptent massivement ces technologies pour optimiser leurs opérations, les experts tirent la sonnette d’alarme sur des risques jusqu’alors sous-estimés.

Une menace silencieuse venue de l’intérieur

Le cabinet d’analystes Gartner lance un avertissement sans précédent : les infrastructures étatiques pourraient subir une paralysie majeure d’ici 2028. Contrairement aux scénarios habituels, cette défaillance ne proviendrait ni de cybercriminels ni de catastrophes naturelles.

Wam Voster, vice-président de la recherche en sécurité chez Gartner, expose clairement la situation : « La prochaine grande défaillance d’infrastructure pourrait ne pas être causée par des pirates ou des catastrophes naturelles, mais plutôt par un ingénieur bien intentionné, un script de mise à jour défectueux ou une décimale mal placée. »

La cause principale identifiée réside dans les modifications mineures de configuration effectuées sur les systèmes IA autonomes, modifications que ces derniers ne parviennent pas à détecter.

L’opacité des modèles d’IA en question

Les modèles d’intelligence artificielle actuels présentent une complexité croissante. Selon Wam Voster, ils « ressemblent souvent à des boîtes noires ». Même les concepteurs peinent à anticiper l’impact de changements minimes sur le comportement global du système.

Cette opacité grandissante accroît considérablement les dangers liés aux erreurs de paramétrage. Le problème ne concerne pas les hallucinations classiques de l’IA, mais plutôt son incapacité à repérer des anomalies subtiles qu’un opérateur expérimenté détecterait immédiatement.

Des systèmes cyber-physiques aux enjeux cruciaux

Gartner définit les systèmes cyber-physiques (CPS) comme l’ensemble des fonctions orchestrant la détection, le calcul, le contrôle et l’analyse avec le monde physique. Ces technologies englobent les dispositifs industriels, les robots, les drones et les infrastructures de l’Industrie 4.0.

Dans ces environnements hautement sensibles, des erreurs apparemment bénignes peuvent engendrer des catastrophes aux conséquences dramatiques.

Un kill switch comme solution d’urgence

Face à ces risques, Wam Voster préconise une mesure de sécurité fondamentale : « Un kill switch sécurisé ou un mode de contournement accessible uniquement aux opérateurs autorisés est essentiel pour protéger les infrastructures nationales contre les arrêts involontaires causés par une mauvaise configuration de l’IA. »

Cette recommandation souligne la nécessité d’une intervention humaine permanente dans la supervision des systèmes critiques pilotés par l’IA.

Des experts unanimes sur l’ampleur du danger

La dérive progressive des modèles

Matt Morris, fondateur de Ghostline Strategies, identifie un problème majeur : la faible capacité des contrôles à détecter les dérives progressives. Il illustre : « Imaginons que je lui dise : « Je veux que tu surveilles cette soupape de pression. » Et puis, petit à petit, les lectures normales commencent à dériver au fil du temps. »

Selon lui, « les entreprises mettent en œuvre l’IA à une vitesse fulgurante, plus rapide qu’elles ne le réalisent. »

Des conséquences potentiellement désastreuses

Flavio Villanustre, RSSI chez LexisNexis Risk Solutions Group, alerte sur la rapidité avec laquelle l’IA prend le contrôle. « Lorsque l’IA contrôle des systèmes environnementaux ou des générateurs d’électricité, la combinaison de la complexité et des comportements non déterministes peut avoir des conséquences désastreuses. »

Il critique la vision optimiste des dirigeants qui pensent que l’IA augmentera la productivité et réduira les coûts, sans mesurer les risques réels encourus.

Villanustre craint que les conseils d’administration n’agissent qu’après avoir subi une catastrophe, précisant : « [Mais] je ne pense pas que [les membres du conseil d’administration] soient malveillants, juste incroyablement imprudents. »

Une tour fragile en pleine tempête

Brian Levine, consultant en cybersécurité chez FormerGov, qualifie les risques d’« extrêmement dangereux et probables ». Il utilise une métaphore éloquente : « Les infrastructures critiques fonctionnent grâce à des couches fragiles d’automatisation assemblées au fil des décennies. Ajoutez à cela des agents IA autonomes, et vous obtenez une tour Kapla construite en pleine tempête. »

Il recommande aux organisations d’adopter des cadres reconnus en matière de sûreté pour évaluer leur maturité face à ces enjeux.

La gouvernance dépassée par la vitesse d’adoption

Bob Wilson, consultant chez Info-Tech Research Group, redoute un accident industriel majeur quasi-inévitable. « La probabilité d’une catastrophe résultant d’une mauvaise décision prise par l’IA est très forte », affirme-t-il.

Il constate que « l’IA s’intégrant dans les stratégies d’entreprise plus rapidement que les cadres de gouvernance ne peuvent suivre, les systèmes d’IA progressent plus vite et dépassent les contrôles des risques. »

Traiter l’IA comme une menace interne

Bob Wilson propose une approche innovante : « L’IA peut presque être considérée comme un initié, et une gouvernance doit être mise en place pour gérer cette entité IA comme une menace interne accidentelle potentielle. »

Il détaille les mesures nécessaires : « Dans ce cas, la prévention commence par une gouvernance stricte sur qui peut apporter des modifications aux paramètres et aux configurations de l’IA, comment ces modifications sont testées, comment le déploiement de ces changements est géré et à quelle vitesse ces modifications peuvent être annulées. »

L’expert préconise la mise en place d’un programme complet de gestion des risques avec surveillance continue du comportement de l’IA.

Repenser structurellement l’approche de l’IA industrielle

Sanchit Vir Gogia, analyste en chef chez Greyhound Research, appelle à un changement de paradigme. « La plupart des entreprises continuent de parler de l’IA dans les environnements opérationnels comme s’il s’agissait d’une couche analytique, d’un élément pertinent qui vient se superposer à l’infrastructure. Ce cadre est déjà dépassé. »

De l’analyse au contrôle opérationnel

L’expert souligne une évolution fondamentale : « Dès qu’un système IA influence un processus physique, même indirectement, il cesse d’être un outil d’analyse et devient partie intégrante du système de contrôle. Et une fois qu’il fait partie du système de contrôle, il hérite des responsabilités de l’ingénierie de sécurité. »

Dans les environnements cyber-physiques, les conséquences d’une mauvaise configuration interagissent avec le monde réel, contrairement aux systèmes informatiques traditionnels.

Les dangers des modifications subtiles

Sanchit Vir Gogia explique : « Dans les environnements cyber-physiques, une mauvaise configuration interagit avec le réel. Un seuil mal réglé dans un modèle prédictif, un ajustement de configuration qui modifie la sensibilité à la détection des anomalies, un algorithme de lissage qui filtre involontairement les signaux faibles ou un changement discret dans la mise à l’échelle de la télémétrie peuvent tous modifier le comportement du système. »

Ces changements se produisent « Pas de manière catastrophique au début. De manière subtile. Et dans une infrastructure étroitement couplée, c’est souvent de manière subtile que la cascade commence. »

Une exigence de transparence totale

L’analyste recommande une approche rigoureuse : « Les entreprises devraient exiger une description explicite des scénarios comportementaux les plus défavorables pour chaque composant opérationnel basé sur l’IA. Que se passe-t-il si les signaux de demande sont mal interprétés ? Si la télémétrie évolue progressivement, comment la sensibilité change-t-elle ? Si les seuils sont mal alignés, quelle condition limite empêche un comportement incontrôlable ? Lorsque les équipes ne peuvent pas répondre clairement à ces questions, la maturité de la gouvernance est incomplète. »