Les menaces liées à la sécurité de l’IA explosent : comment se protéger des attaques par injection de prompts

Les organisations aux États-Unis et en Europe sont confrontées à une réalité inquiétante : les applications d’intelligence artificielle sont devenues des cibles privilégiées pour les cybercriminels, et la plupart des équipes de sécurité manquent de visibilité pour protéger efficacement ces systèmes.

Résumé des points clés

1. Les attaques par prompt injection dominent le paysage des menaces sur l’IA. 76 % des organisations considèrent les prompt injections comme leur principale préoccupation en matière de sécurité de l’IA, devant le code vulnérable et les tentatives de jailbreaking. Les équipes de sécurité doivent développer des fonctions de détection et de prévention spécialement conçues pour contrer ces techniques de manipulation.
2. Le Shadow AI crée des angles morts critiques. 63 % des professionnels de la sécurité sont incapables d’identifier où les LLM sont utilisés dans leur organisation, créant ainsi des zones d’ombre qui empêchent une protection efficace. Les organisations doivent mettre en place des processus de découverte et des cadres de gouvernance pour suivre l’adoption de l’IA dans tous les services et systèmes.
3. L’intégration de la sécurité intervient trop tard dans le développement. Seules 43 % des organisations conçoivent leurs applications d’IA avec des fonctions de sécurité dès le départ, tandis que 34 % impliquent les équipes de sécurité avant le lancement du développement. Impliquer la sécurité plus tôt, via des pratiques de shift-left, permet d’éviter les vulnérabilités au lieu d’avoir à les corriger après le déploiement, ce qui coûte cher.
4. L’adoption de l’IA dépasse les capacités de sécurité. 61 % des nouvelles applications d’entreprise intègrent désormais des composants IA, et 70 % des API liées à l’IA accèdent à des données sensibles. Le rythme d’adoption de l’IA dépasse toujours la capacité des équipes de sécurité à mettre en place des contrôles et une surveillance adaptés.
5. Les barrières culturelles freinent la collaboration en matière de sécurité. 74 % des organisations déclarent que les développeurs considèrent la sécurité comme un frein à l’innovation IA, et non comme un facteur d’accélération. Pour dépasser ce clivage culturel, il faut démontrer en quoi les pratiques de sécurité favorisent une innovation sûre et un avantage concurrentiel.

Une enquête menée auprès de 500 professionnels et décideurs de la sécurité révèle que les cyberattaques ciblant les applications IA augmentent à un rythme préoccupant. Cette étude, réalisée par Traceable by Harness, met en lumière d’importantes lacunes dans la façon dont les organisations conçoivent, déploient et sécurisent les systèmes alimentés par l’IA.

Les attaques par prompt injection en tête des menaces de sécurité

L’enquête identifie trois vecteurs d’attaque majeurs visant les systèmes IA. Les prompt injections sur les grands modèles de langage arrivent en tête avec 76 %, représentant la menace la plus courante à laquelle les organisations font face aujourd’hui. Ces attaques manipulent les entrées des LLM pour extraire des informations sensibles ou générer des résultats malveillants qui contournent les contrôles de sécurité prévus.

Le code LLM vulnérable suit de près avec 66 %. De nombreux modèles de langage génèrent du code à partir d’exemples récupérés sur le web, y compris des implémentations comportant des failles de sécurité. Lorsque les développeurs intègrent ce code généré par l’IA sans vérification, ils introduisent involontairement des vulnérabilités dans les systèmes en production.

Le jailbreaking des LLM complète le trio de tête avec 65 %. Ces attaques cherchent à contourner les garde-fous de sécurité intégrés aux modèles de langage, ce qui peut les amener à produire des contenus inappropriés, dangereux ou malveillants.

Le Shadow AI crée des défis de visibilité inédits

L’un des constats les plus préoccupants de l’enquête concerne la connaissance des environnements par les organisations. 63 % des professionnels de la sécurité reconnaissent ne pas pouvoir identifier où les LLM sont utilisés dans leur organisation. Cette zone d’ombre représente un risque majeur, car les équipes de sécurité ne peuvent pas protéger ce qu’elles ne voient pas.

Les trois quarts des répondants estiment que le shadow AI—le déploiement non autorisé d’outils IA sans supervision IT—va dépasser les problèmes de sécurité précédemment causés par le shadow IT. Cela marque une aggravation significative de la gestion des risques supply chain, car les systèmes IA traitent généralement des données sensibles et prennent des décisions à fort impact.

Près de 72 % des organisations reconnaissent que le shadow AI constitue une faille béante dans leur posture de sécurité. La nature décentralisée de l’adoption de l’IA, combinée à la facilité d’intégration via les API, crée un contexte où les applications exploitant les LLM se multiplient plus vite que les équipes de sécurité ne peuvent les recenser.

Les applications IA, nouveau terrain de jeu pour les cybercriminels

La grande majorité des répondants (82 %) reconnaît que les applications IA ouvrent un nouveau champ d’action pour les cybercriminels. Ce constat reflète une réalité : les approches de sécurité traditionnelles s’avèrent souvent inadaptées face aux menaces spécifiques à l’IA.

75 % des professionnels de la sécurité admettent que les risques et menaces liés à l’IA constituent des défis inédits. Les spécificités des systèmes IA—résultats probabilistes, dépendance à des données d’entraînement complexes, nouvelles surfaces d’attaque—imposent aux équipes de sécurité d’acquérir de nouvelles compétences et stratégies.

Adam Arellano, Field CTO chez Traceable by Harness, pointe un problème fondamental : de nombreuses applications IA ne sont ni conçues ni déployées selon les pratiques de sécurité applicative éprouvées. Cet écart entre la rapidité d’innovation de l’IA et la maturité de la sécurité crée des opportunités d’exploitation.

Les développeurs conçoivent l’IA sans l’avis des équipes sécurité

L’enquête révèle des tendances préoccupantes dans l’intégration de la sécurité au développement IA. Seuls 43 % des répondants affirment que les développeurs intègrent systématiquement des fonctions de sécurité dès la conception des applications IA. Plus de la moitié des projets IA sont donc dépourvus de sécurité by design.

La communication entre les équipes de développement et de sécurité s’avère encore plus problématique. À peine plus d’un tiers (34 %) des équipes sécurité sont informées des projets IA avant le début du développement. Cette implication tardive limite leur capacité à influencer les choix d’architecture qui pourraient éviter des vulnérabilités.

Plus de la moitié (53 %) des répondants indiquent que les équipes sécurité sont prévenues avant le déploiement en production. Toutefois, 14 % déclarent que leurs équipes découvrent les nouvelles applications IA après leur mise en production ou à la suite d’un incident de sécurité—bien trop tard pour prévenir d’éventuelles failles.

Des angles morts critiques persistent sur les composants IA

L’enquête met en avant deux domaines où les organisations manquent de visibilité essentielle. La plupart des équipes sécurité (63 %) n’ont pas accès en temps réel à la nomenclature logicielle des composants IA, appelée AI-BOM. Sans cet inventaire, il leur est impossible de savoir quels composants présentent des vulnérabilités connues ou nécessitent des mises à jour.

De même, 60 % manquent de visibilité sur les résultats générés par les modèles LLM. Cette zone d’ombre empêche les équipes de détecter quand les modèles produisent des réponses problématiques, qu’il s’agisse de prompts malveillants, de manipulations du modèle ou de comportements inattendus.

Les frictions culturelles ralentissent l’intégration de la sécurité

Près de trois quarts (74 %) des répondants déclarent que les développeurs considèrent les enjeux de sécurité comme des obstacles à l’innovation IA. Cette perception crée des tensions qui découragent l’implication précoce des équipes sécurité dans le processus de développement.

Ce clivage culturel nuit aux efforts de sécurité. Si les développeurs voient la sécurité comme un frein plutôt qu’un levier, ils risquent d’éviter d’impliquer les équipes sécurité jusqu’à ce que des problèmes surviennent. Pour dépasser ce blocage, il faut démontrer que la sécurité soutient l’innovation plutôt que de la freiner.

L’adoption de l’IA progresse plus vite que les capacités de sécurité

Le rythme d’adoption de l’IA aggrave ces difficultés. 61 % des nouvelles applications d’entreprise intègrent des composants IA dès la conception. Les organisations dotent donc la majorité de leurs nouveaux systèmes de fonctions IA, ce qui élargit considérablement la surface d’attaque.

70 % des répondants relèvent que les API utilisées pour invoquer les LLM accèdent à des données sensibles. Ce constat souligne l’enjeu : une faille de sécurité IA peut exposer des informations confidentielles, des données clients, de la propriété intellectuelle et d’autres actifs critiques.

Arellano insiste : la question n’est plus de savoir si des incidents de cybersécurité impliquant des applications IA vont survenir, mais à quel niveau de gravité. Les organisations développent des applications IA à un rythme qui dépasse la capacité des équipes sécurité à les protéger efficacement.

Le code généré par l’IA crée des cycles de vulnérabilités

La plupart des LLM actuels utilisés pour la génération de code ont été entraînés sur des exemples issus du web. Ces données d’entraînement incluent inévitablement des implémentations comportant des failles de sécurité. Quand les LLM génèrent du code à partir de ces schémas, ils peuvent reproduire ou créer des vulnérabilités similaires.

Faute de bonnes pratiques établies pour encadrer les outils de codage IA, la multiplication du code généré se traduit directement par plus de vulnérabilités. Les organisations doivent identifier et corriger ces failles avant que des attaquants ne les exploitent—une course contre la montre difficile à gagner pour les équipes sécurité.

Le défi s’intensifie, car les cybercriminels utilisent désormais des outils IA pour détecter les vulnérabilités plus vite que jamais. Les attaquants s’appuient sur l’automatisation pour identifier et exploiter les failles à la vitesse machine, réduisant le temps de réaction des équipes sécurité.

Avancer malgré l’incertitude

Les organisations ne peuvent pas simplement renoncer aux applications IA malgré ces préoccupations de sécurité. Les avantages sont trop importants, et la pression concurrentielle rend l’adoption inévitable. Comme le souligne Arellano, il est impossible de revenir en arrière.

Les équipes sécurité doivent donc se concentrer sur des actions concrètes pour améliorer leur posture. Sensibiliser les développeurs à la nécessité de faire preuve de rigueur est un premier pas. L’analyse du code généré par l’IA avant le déploiement en production permet de détecter de nombreuses failles avant qu’elles ne créent un risque IA.

Les organisations doivent instaurer des processus clairs pour impliquer les équipes sécurité dès le lancement des projets IA. Lorsque les professionnels de la sécurité participent aux discussions de conception, ils peuvent orienter les choix d’architecture vers des implémentations sûres et identifier les problèmes potentiels avant même le développement.

La constitution d’inventaires détaillés des composants IA et des usages des LLM dans l’organisation apporte une visibilité essentielle. Les équipes sécurité ne peuvent pas protéger des systèmes dont elles ignorent l’existence. Des audits réguliers et des processus de découverte permettent de maintenir cette visibilité à mesure que de nouvelles applications IA apparaissent.

Le développement de compétences spécifiques à la sécurité IA sera déterminant. Les équipes sécurité doivent comprendre le fonctionnement des attaques par prompt injection, savoir sécuriser les API qui invoquent les LLM et valider les résultats des modèles IA. Des programmes de formation et des certifications axés sur la sécurité IA peuvent aider à acquérir ces compétences.

Les organisations doivent aussi encourager une meilleure collaboration entre développeurs et équipes sécurité. Repositionner la sécurité comme un levier d’innovation sûre, et non comme un frein, réduit les frictions et incite les développeurs à solliciter les professionnels de la sécurité de façon proactive.

Se préparer à l’escalade des menaces

Les équipes en charge de cybersécurité doivent se préparer au pire tout en renforçant leurs défenses. Les données de l’enquête suggèrent que les incidents de sécurité liés à l’IA vont continuer à augmenter en fréquence et en gravité. Les organisations doivent élaborer des plans de réponse aux incidents spécifiquement adaptés aux compromissions d’applications IA.

Ces plans doivent prendre en compte les spécificités des incidents IA. Par exemple, une prompt injection réussie peut ne laisser aucune trace forensique traditionnelle, obligeant les équipes sécurité à analyser les logs LLM et les comportements du modèle pour comprendre ce qui s’est passé.

Les organisations doivent également définir des règles claires encadrant l’usage de l’IA. Ces règles permettent de prévenir le shadow AI en proposant des accès approuvés aux fonctions IA, tout en maintenant la supervision sécurité. Lorsque les collaborateurs peuvent accéder facilement à des outils IA validés, ils sont moins tentés d’adopter des solutions non autorisées.

Des évaluations régulières de la sécurité des applications IA permettent d’identifier les faiblesses avant que les attaquants ne les découvrent. Ces évaluations doivent porter à la fois sur les composants IA eux-mêmes et sur l’infrastructure qui les supporte : API, bases de données, points d’intégration, etc.

La voie à suivre impose de trouver le juste équilibre entre innovation et sécurité. Les organisations ne peuvent pas laisser les préoccupations de sécurité bloquer totalement l’adoption de l’IA, au risque de perdre en compétitivité et en valeur business. Mais elles ne peuvent pas non plus avancer tête baissée sans prendre en compte les risques inhérents à ces systèmes.

Les résultats de l’enquête montrent clairement que la plupart des organisations n’ont pas encore mis en place de pratiques de sécurité adaptées aux applications IA. Combler ce fossé exige un engagement fort de la direction, des investissements dans les outils et la formation, ainsi qu’un changement culturel rapprochant les équipes développement et sécurité. Les organisations qui relèveront ces défis pourront tirer parti des bénéfices de l’IA tout en maîtrisant efficacement les risques associés.