AI-beveiligingsdreigingen nemen toe: Bescherming tegen prompt-injecties
Organisaties in de Verenigde Staten en Europa staan voor een verontrustende realiteit: toepassingen van kunstmatige intelligentie zijn uitgegroeid tot belangrijke doelwitten voor cybercriminelen, terwijl de meeste beveiligingsteams onvoldoende zicht hebben om deze systemen effectief te beschermen.
Belangrijkste bevindingen
- Prompt-injectieaanvallen domineren het AI-dreigingslandschap. Zesentachtig procent van de organisaties noemt prompt-injectieaanvallen als hun grootste AI-beveiligingszorg, waarmee deze de zorgen over kwetsbare code en jailbreaking-pogingen overtreffen. Beveiligingsteams moeten gespecialiseerde detectie- en preventiemogelijkheden ontwikkelen die specifiek zijn ontworpen om deze manipulatievormen tegen te gaan.
- Shadow AI veroorzaakt kritieke zichtbaarheidsgaten. Drieënzestig procent van de beveiligingsprofessionals kan niet vaststellen waar LLM’s binnen hun organisatie draaien, wat blinde vlekken creëert die effectieve bescherming onmogelijk maken. Organisaties moeten ontdekkingstrajecten en governancekaders implementeren om AI-adoptie in alle afdelingen en systemen te volgen.
- Beveiligingsintegratie vindt te laat plaats in de ontwikkeling. Slechts 43% van de organisaties bouwt AI-toepassingen vanaf het begin met beveiligingsmogelijkheden, terwijl 34% beveiligingsteams betrekt vóór de start van de ontwikkeling. Vroegtijdige betrokkenheid van beveiliging via shift-left-praktijken kan kwetsbaarheden voorkomen, in plaats van kostbaar herstel na inzet te vereisen.
- AI-adoptie gaat sneller dan beveiligingsmogelijkheden. Eenenzestig procent van de nieuwe bedrijfsapplicaties bevat nu AI-componenten, waarbij 70% van de AI-gerelateerde API’s toegang heeft tot gevoelige gegevens. De snelheid van AI-adoptie blijft de capaciteit van beveiligingsteams om voldoende controles en monitoring te implementeren, overtreffen.
- Culturele barrières belemmeren beveiligingssamenwerking. Vierenzeventig procent van de organisaties meldt dat ontwikkelaars beveiliging zien als een obstakel voor AI-innovatie in plaats van een facilitator. Het doorbreken van deze culturele kloof vereist het aantonen hoe beveiligingspraktijken veilige innovatie en een competitief voordeel ondersteunen.
Een uitgebreide enquête onder 500 beveiligingsprofessionals en besluitvormers laat zien dat cyberaanvallen op AI-toepassingen in een verontrustend tempo toenemen. Het onderzoek, uitgevoerd door Traceable by Harness, onthult aanzienlijke hiaten in de manier waarop organisaties AI-gedreven systemen bouwen, inzetten en beveiligen.
Prompt-injectieaanvallen leiden beveiligingsdreigingen
De enquête identificeert drie dominante aanvalsvectoren gericht op AI-systemen. Prompt-injecties bij grote taalmodellen staan bovenaan met 76% en vormen de meest voorkomende dreiging waar organisaties momenteel mee te maken hebben. Deze aanvallen manipuleren LLM-inputs om gevoelige informatie te ontfutselen of schadelijke uitkomsten te genereren die de beoogde veiligheidsmaatregelen omzeilen.
Kwetsbare LLM-code volgt met 66%. Veel taalmodellen genereren code op basis van voorbeelden die van het internet zijn gehaald, waaronder foutieve implementaties met beveiligingszwaktes. Wanneer ontwikkelaars deze AI-gegenereerde code zonder grondige controle overnemen, introduceren ze onbedoeld kwetsbaarheden in productiesystemen.
LLM-jailbreaking maakt de top drie dreigingen compleet met 65%. Deze aanvallen proberen de ingebouwde veiligheidsmaatregelen van taalmodellen te omzeilen, waardoor ze mogelijk ongepaste, gevaarlijke of kwaadaardige inhoud produceren.
Shadow AI veroorzaakt ongekende zichtbaarheidsproblemen
Misschien wel de meest zorgwekkende bevinding uit de enquête draait om het bewustzijn binnen organisaties. Maar liefst 63% van de beveiligingsprofessionals geeft toe geen manier te hebben om vast te stellen waar LLM’s binnen hun organisatie draaien. Deze blinde vlek brengt aanzienlijke risico’s met zich mee, omdat beveiligingsteams systemen niet kunnen beschermen die ze niet kunnen zien.
Driekwart van de respondenten verwacht dat shadow AI—de ongeautoriseerde inzet van AI-tools zonder toezicht van IT—de beveiligingsproblemen van shadow IT zal overtreffen. Dit betekent een aanzienlijke toename van het risico in risicobeheer van de toeleveringsketen, aangezien AI-systemen doorgaans gevoelige gegevens verwerken en ingrijpende beslissingen nemen.
Bijna driekwart van de organisaties (72%) erkent dat shadow AI een enorme kloof vormt in hun beveiligingsstatus. De gedecentraliseerde aard van AI-adoptie, gecombineerd met het gemak waarmee AI-mogelijkheden via API’s geïntegreerd kunnen worden, heeft een omgeving gecreëerd waarin toepassingen met LLM’s sneller toenemen dan beveiligingsteams ze kunnen volgen.
AI-toepassingen vormen nieuw terrein voor cybercriminelen
De overgrote meerderheid van de respondenten (82%) erkent dat AI-toepassingen een nieuw terrein vormen voor cybercriminelen. Deze erkenning weerspiegelt een harde realiteit: traditionele beveiligingsaanpakken schieten vaak tekort tegen AI-specifieke dreigingen.
Vijfenzeventig procent van de beveiligingsprofessionals geeft toe dat AI-risico’s en beveiligingsdreigingen uitdagingen zijn die ze niet eerder zijn tegengekomen. De unieke kenmerken van AI-systemen—hun probabilistische uitkomsten, complexe afhankelijkheden van trainingsdata en nieuwe aanvalsvlakken—vereisen dat beveiligingsteams nieuwe vaardigheden en strategieën ontwikkelen.
Adam Arellano, Field CTO bij Traceable by Harness, wijst op een fundamenteel probleem: veel AI-toepassingen worden niet gebouwd en ingezet volgens gevestigde applicatiebeveiligingspraktijken. Deze kloof tussen de snelheid van AI-innovatie en de volwassenheid van beveiliging creëert kansen voor misbruik.
Ontwikkelaars bouwen AI zonder input van beveiliging
De enquête onthult zorgwekkende patronen in de manier waarop organisaties beveiliging integreren in hun AI-ontwikkelingsprocessen. Slechts 43% van de respondenten bevestigt dat applicatieontwikkelaars AI-toepassingen consequent vanaf het begin met beveiligingsmogelijkheden bouwen. Dit betekent dat meer dan de helft van de AI-projecten geen beveiliging by design heeft.
De communicatie tussen ontwikkel- en beveiligingsteams lijkt nog problematischer. Iets meer dan een derde (34%) van de beveiligingsteams hoort over AI-projecten voordat ontwikkelaars beginnen met bouwen. Deze late betrokkenheid beperkt de invloed van beveiligingsteams op architectuurbeslissingen die kwetsbaarheden kunnen voorkomen.
Meer dan de helft (53%) van de respondenten meldt dat beveiligingsteams een melding ontvangen voordat applicaties naar productieomgevingen worden uitgerold. Echter, 14% geeft aan dat hun teams pas na inzet of na een beveiligingsincident over nieuwe AI-toepassingen horen—veel te laat om potentiële datalekken te voorkomen.
Kritieke zichtbaarheidsgaten blijven bestaan in AI-componenten
De enquête benadrukt twee specifieke gebieden waar organisaties essentiële zichtbaarheid missen. De meeste beveiligingsteams (63%) hebben geen toegang tot realtime informatie over de software bill of materials voor AI-componenten, ook wel AI-BOM’s genoemd. Zonder deze inventaris kunnen teams niet beoordelen welke AI-componenten bekende kwetsbaarheden bevatten of updates nodig hebben.
Evenzo ontbreekt bij 60% het zicht op de output van LLM-modellen. Deze blinde vlek voorkomt dat beveiligingsteams kunnen detecteren wanneer modellen problematische antwoorden genereren, hetzij door kwaadaardige prompts, modelmanipulatie of onbedoeld gedrag.
Culturele wrijving vertraagt beveiligingsintegratie
Bijna driekwart (74%) van de respondenten meldt dat applicatieontwikkelaars beveiligingsproblemen zien als obstakels voor AI-innovatie. Deze perceptie veroorzaakt wrijving die ontwikkelaars kan ontmoedigen om beveiligingsteams vroegtijdig bij het ontwikkelproces te betrekken.
Deze culturele kloof ondermijnt beveiligingsinspanningen. Wanneer ontwikkelaars beveiliging als een belemmering zien in plaats van een facilitator, vermijden ze mogelijk het betrekken van beveiligingsteams totdat er problemen ontstaan. Het doorbreken van deze barrière vereist het aantonen hoe beveiligingspraktijken innovatie kunnen ondersteunen in plaats van belemmeren.
AI-adoptie versnelt sneller dan beveiligingsmogelijkheden
Het tempo van AI-adoptie versterkt deze beveiligingsuitdagingen. Eenenzestig procent van de nieuwe bedrijfsapplicaties bevat nu AI-componenten vanaf het eerste ontwerp. Dit betekent dat organisaties AI-functionaliteit in de meerderheid van hun nieuwe systemen inbouwen, waardoor het aanvalsoppervlak aanzienlijk wordt vergroot.
Zeventig procent van de respondenten merkt op dat API’s die LLM’s aanroepen toegang hebben tot gevoelige gegevens. Deze bevinding onderstreept het belang—AI-beveiligingsfouten kunnen vertrouwelijke informatie, klantgegevens, intellectueel eigendom en andere kritieke activa blootstellen.
Arellano benadrukt dat de vraag niet langer is of er cybersecurity-incidenten met AI-toepassingen zullen plaatsvinden, maar eerder hoe ernstig ze zullen zijn. De snelheid waarmee organisaties AI-toepassingen ontwikkelen blijft de capaciteit van beveiligingsteams om deze effectief te beveiligen, overtreffen.
AI-gegenereerde code veroorzaakt kwetsbaarheidscycli
De meeste huidige LLM’s die voor codegeneratie worden gebruikt, zijn getraind op voorbeelden van het internet. Deze trainingsdata bevatten onvermijdelijk foutieve implementaties met beveiligingskwetsbaarheden. Wanneer LLM’s code genereren op basis van deze patronen, kunnen ze vergelijkbare zwaktes reproduceren of creëren.
Zonder gevestigde beste practices voor het beheer van AI-coderingstools leidt meer codegeneratie direct tot meer kwetsbaarheden. Organisaties moeten deze zwaktes opsporen en herstellen voordat aanvallers ze uitbuiten—een race die beveiligingsteams moeilijk winnen.
De uitdaging wordt groter doordat cybercriminelen nu AI-tools gebruiken om sneller dan ooit kwetsbaarheden te ontdekken. Tegenstanders kunnen automatisering inzetten om zwaktes op machinesnelheid te identificeren en uit te buiten, waardoor het reactievenster voor beveiligingsteams kleiner wordt.
Vooruitgang boeken ondanks onzekerheid
Organisaties kunnen AI-toepassingen niet zomaar opgeven ondanks deze beveiligingszorgen. De technologie biedt te veel voordelen en de competitieve druk maakt adoptie onvermijdelijk. Zoals Arellano opmerkt: de geest gaat niet meer terug in de fles.
Beveiligingsteams moeten zich in plaats daarvan richten op praktische stappen om hun positie te verbeteren. Applicatieontwikkelaars aanmoedigen tot meer zorgvuldigheid is een goed begin. Het scannen van AI-gegenereerde code op kwetsbaarheden voordat applicaties in productie gaan, kan veel problemen voorkomen voordat ze AI-risico veroorzaken.
Organisaties moeten duidelijke processen opstellen om beveiligingsteams vroegtijdig bij AI-projecten te betrekken. Wanneer beveiligingsprofessionals deelnemen aan ontwerpsessies, kunnen ze architecten begeleiden naar veilige implementaties en potentiële problemen identificeren voordat de ontwikkeling begint.
Het opstellen van uitgebreide inventarissen van AI-componenten en LLM-gebruik binnen de organisatie biedt essentiële zichtbaarheid. Beveiligingsteams kunnen geen systemen beschermen waarvan ze het bestaan niet kennen. Regelmatige audits en ontdekkingstrajecten helpen het bewustzijn te behouden naarmate nieuwe AI-toepassingen verschijnen.
Het ontwikkelen van gespecialiseerde vaardigheden voor AI-beveiliging zal cruciaal blijken. Beveiligingsteams moeten begrijpen hoe prompt-injectieaanvallen werken, hoe ze API’s kunnen beveiligen die LLM’s aanroepen en hoe ze AI-modeluitvoer kunnen valideren. Opleidingsprogramma’s en certificeringen gericht op AI-beveiliging kunnen helpen deze capaciteiten op te bouwen.
Organisaties moeten ook betere samenwerking tussen ontwikkel- en beveiligingsteams stimuleren. Beveiliging herpositioneren als facilitator van veilige innovatie in plaats van een obstakel kan wrijving verminderen en ontwikkelaars aanmoedigen om proactief beveiligingsprofessionals te betrekken.
Voorbereiden op escalerende dreigingen
Cybersecurityteams moeten zich voorbereiden op het ergste terwijl ze hun verdediging verbeteren. De enquêtegegevens suggereren dat AI-gerelateerde beveiligingsincidenten in zowel frequentie als ernst zullen blijven toenemen. Organisaties hebben incidentresponsplannen nodig die specifiek zijn ontworpen voor compromittering van AI-toepassingen.
Deze plannen moeten rekening houden met de unieke kenmerken van AI-incidenten. Een geslaagde prompt-injectie laat bijvoorbeeld mogelijk geen traditioneel forensisch bewijs achter, waardoor beveiligingsteams LLM-logs en modelgedragspatronen moeten analyseren om te begrijpen wat er is gebeurd.
Organisaties moeten ook duidelijke beleidsregels opstellen voor het gebruik van AI. Deze beleidsregels kunnen shadow AI voorkomen door goedgekeurde routes te creëren voor teams om toegang te krijgen tot AI-mogelijkheden met behoud van beveiligingstoezicht. Wanneer medewerkers eenvoudig toegang hebben tot goedgekeurde AI-tools, is de verleiding om ongeautoriseerde oplossingen te gebruiken kleiner.
Regelmatige beveiligingsbeoordelingen van AI-toepassingen kunnen helpen zwaktes te identificeren voordat aanvallers ze ontdekken. Deze beoordelingen moeten zowel de AI-componenten zelf als de omliggende infrastructuur evalueren, inclusief API’s, datastores en integratiepunten.
De weg vooruit vereist een balans tussen innovatie en beveiliging. Organisaties kunnen beveiligingszorgen niet toestaan om AI-adoptie volledig te blokkeren, want dat zou competitieve voordelen en bedrijfswaarde opofferen. Maar ze kunnen ook niet zonder risicobewustzijn vooruitstormen.
De onderzoeksresultaten maken duidelijk dat de meeste organisaties momenteel onvoldoende beveiligingspraktijken hebben voor AI-toepassingen. Deze kloof dichten vereist inzet van leiderschap, investeringen in tools en training, en een cultuurverandering die ontwikkel- en beveiligingsteams beter op elkaar afstemt. Organisaties die deze uitdagingen succesvol navigeren, kunnen de voordelen van AI benutten en de risico’s effectief beheersen.
Veelgestelde vragen
Prompt-injecties gericht op grote taalmodellen vormen met 76% de meest voorkomende dreiging, gevolgd door kwetsbare door LLM gegenereerde code (66%) en LLM-jailbreaking (65%). Deze aanvallen manipuleren AI-inputs om gevoelige informatie te ontfutselen, codezwaktes uit te buiten of veiligheidsmaatregelen te omzeilen. Organisaties moeten hun verdediging tegen deze drie aanvalsvectoren prioriteren om hun AI-systemen effectief te beschermen.
Shadow AI verwijst naar de ongeautoriseerde inzet van AI-tools zonder toezicht van IT, vergelijkbaar met shadow IT maar mogelijk gevaarlijker. Vijfenzeventig procent van de beveiligingsprofessionals verwacht dat shadow AI eerdere shadow IT-beveiligingsproblemen zal overtreffen, omdat 63% niet kan vaststellen waar LLM’s binnen hun organisatie draaien. Dit gebrek aan zichtbaarheid voorkomt dat beveiligingsteams systemen kunnen beschermen die ze niet kunnen zien, wat aanzienlijke gaten in de beveiligingsstatus van de organisatie creëert.
Slechts 34% van de beveiligingsteams hoort over AI-projecten voordat ontwikkelaars beginnen met bouwen, terwijl 53% een melding ontvangt vóór productie-inzet. Verontrustend is dat 14% pas na inzet of na een beveiligingsincident ontdekt dat er nieuwe AI-toepassingen zijn. Deze late betrokkenheid beperkt de mogelijkheid van beveiligingsteams om architectuurbeslissingen te beïnvloeden en kwetsbaarheden vanaf het begin te voorkomen.
De meeste LLM’s die voor codegeneratie worden gebruikt, zijn getraind op voorbeelden van het internet, die onvermijdelijk foutieve implementaties met beveiligingskwetsbaarheden bevatten. Wanneer LLM’s code genereren op basis van deze patronen, reproduceren ze vergelijkbare zwaktes. Zonder gevestigde beste practices voor het beheer van AI-coderingstools leidt meer codegeneratie direct tot meer kwetsbaarheden die beveiligingsteams moeten identificeren en herstellen.
Organisaties moeten AI-gegenereerde code scannen op kwetsbaarheden vóór productie-inzet, beveiligingsteams vroegtijdig betrekken bij het ontwerp van AI-projecten en uitgebreide inventarissen maken van AI-componenten en LLM-gebruik. Het opstellen van duidelijke beleidsregels voor AI-gebruik helpt shadow AI te voorkomen door goedgekeurde routes met beveiligingstoezicht te bieden. Regelmatige beveiligingsbeoordelingen van AI-toepassingen en gespecialiseerde training voor beveiligingsteams in AI-specifieke dreigingen zijn eveneens essentieel.