Anstieg von KI-Sicherheitsbedrohungen: Schutz vor Prompt-Injections
Unternehmen in den USA und Europa stehen vor einer alarmierenden Realität: Anwendungen mit künstlicher Intelligenz sind zu bevorzugten Zielen für Cyberkriminelle geworden, während den meisten Security-Teams die nötige Transparenz fehlt, um diese Systeme wirksam zu schützen.
wichtige Erkenntnisse
- Prompt-Injection-Angriffe dominieren die KI-Bedrohungslandschaft. 76 Prozent der Unternehmen nennen Prompt-Injection-Angriffe als ihre größte KI-Sicherheitsbedrohung – noch vor fehlerhaftem Code und Jailbreaking-Versuchen. Security-Teams müssen gezielte Erkennungs- und Abwehrmechanismen entwickeln, die speziell auf diese Manipulationstechniken ausgerichtet sind.
- Shadow AI verursacht kritische Transparenzlücken. 63 Prozent der Security-Verantwortlichen können nicht nachvollziehen, wo LLMs im Unternehmen eingesetzt werden. Dadurch entstehen blinde Flecken, die einen wirksamen Schutz verhindern. Unternehmen müssen Prozesse zur Datenerkennung und Governance-Frameworks implementieren, um den KI-Einsatz in allen Abteilungen und Systemen nachzuverfolgen.
- Sicherheitsintegration erfolgt zu spät in der Entwicklung. Nur 43 Prozent der Unternehmen statten KI-Anwendungen von Anfang an mit Sicherheitsfunktionen aus, während 34 Prozent Security-Teams vor Entwicklungsbeginn einbinden. Eine frühere Einbindung durch Shift-Left-Praktiken kann Schwachstellen verhindern, statt nachträglich aufwändige Korrekturen zu erfordern.
- KI-Einführung überholt Sicherheitskapazitäten. 61 Prozent der neuen Unternehmensanwendungen enthalten bereits KI-Komponenten, wobei 70 Prozent der KI-bezogenen APIs auf sensible Daten zugreifen. Die Geschwindigkeit der KI-Adoption übersteigt weiterhin die Fähigkeit der Security-Teams, angemessene Kontrollen und Monitoring zu implementieren.
- Kulturelle Barrieren behindern die Zusammenarbeit mit Security. 74 Prozent der Unternehmen berichten, dass Entwickler Security als Hindernis für KI-Innovationen sehen – nicht als Enabler. Um diesen kulturellen Graben zu überwinden, müssen Security-Praktiken als Unterstützung für sichere Innovation und Wettbewerbsvorteile vermittelt werden.
Eine umfassende Umfrage unter 500 Security-Experten und Entscheidern zeigt: Cyberangriffe auf KI-Anwendungen nehmen in beunruhigendem Tempo zu. Die von Traceable by Harness durchgeführte Studie offenbart erhebliche Lücken darin, wie Unternehmen KI-basierte Systeme entwickeln, bereitstellen und absichern.
Prompt-Injection-Angriffe führen die Sicherheitsbedrohungen an
Die Umfrage identifiziert drei Hauptangriffsvektoren auf KI-Systeme. Prompt-Injections bei großen Sprachmodellen stehen mit 76 Prozent an erster Stelle und stellen aktuell die größte Bedrohung für Unternehmen dar. Diese Angriffe manipulieren LLM-Eingaben, um sensible Informationen zu extrahieren oder schädliche Ausgaben zu erzeugen, die Sicherheitskontrollen umgehen.
Fehlerhafter LLM-Code folgt mit 66 Prozent. Viele Sprachmodelle generieren Code auf Basis von Beispielen aus dem Internet – darunter fehlerhafte Implementierungen mit Sicherheitslücken. Wenn Entwickler diesen KI-generierten Code ungeprüft übernehmen, schleusen sie unbeabsichtigt Schwachstellen in Produktionssysteme ein.
LLM-Jailbreaking komplettiert mit 65 Prozent die Top 3 der Bedrohungen. Diese Angriffe versuchen, die Sicherheitsmechanismen der Sprachmodelle zu umgehen, sodass sie unangemessene, gefährliche oder böswillige Inhalte erzeugen.
Shadow AI schafft nie dagewesene Transparenzprobleme
Die wohl besorgniserregendste Erkenntnis der Umfrage betrifft das organisatorische Bewusstsein. 63 Prozent der Security-Verantwortlichen geben an, dass sie nicht wissen, wo LLMs im Unternehmen eingesetzt werden. Dieser blinde Fleck birgt erhebliche Risiken, da Security-Teams Systeme nicht schützen können, die sie nicht kennen.
Drei Viertel der Befragten erwarten, dass Shadow AI – also der nicht autorisierte Einsatz von KI-Tools ohne IT-Kontrolle – die bisherigen Probleme durch Schatten-IT übertreffen wird. Das bedeutet eine deutliche Verschärfung des Supply-Chain-Risikos, da KI-Systeme meist sensible Daten verarbeiten und weitreichende Entscheidungen treffen.
Fast drei Viertel der Unternehmen (72 Prozent) erkennen an, dass Shadow AI eine gravierende Lücke in ihrer Sicherheitslage darstellt. Die dezentrale KI-Einführung und die einfache Integration von KI-Funktionen per API führen dazu, dass Anwendungen mit LLMs schneller entstehen, als Security-Teams sie erfassen können.
KI-Anwendungen als neues Angriffsfeld für Cyberkriminelle
Die überwiegende Mehrheit der Befragten (82 Prozent) sieht in KI-Anwendungen ein neues Angriffsfeld für Cyberkriminelle. Das verdeutlicht: Herkömmliche Sicherheitsansätze reichen gegen KI-spezifische Bedrohungen oft nicht aus.
75 Prozent der Security-Profis geben zu, dass KI-Risiken und Sicherheitsbedrohungen Herausforderungen darstellen, denen sie zuvor noch nie begegnet sind. Die besonderen Eigenschaften von KI-Systemen – probabilistische Ausgaben, komplexe Trainingsdaten-Abhängigkeiten und neue Angriffsflächen – erfordern neue Kompetenzen und Strategien.
Adam Arellano, Field CTO bei Traceable by Harness, sieht ein grundlegendes Problem: Viele KI-Anwendungen werden nicht nach etablierten Security-Praktiken entwickelt und bereitgestellt. Diese Diskrepanz zwischen Innovationsgeschwindigkeit und Sicherheitsreife schafft Angriffsflächen.
Entwickler bauen KI ohne Security-Einbindung
Die Umfrage zeigt bedenkliche Muster bei der Integration von Security in KI-Entwicklungsprozesse. Nur 43 Prozent der Befragten bestätigen, dass Entwickler KI-Anwendungen von Anfang an mit Sicherheitsfunktionen ausstatten. Das bedeutet, dass mehr als die Hälfte der KI-Projekte nicht nach dem Prinzip „Security by Design“ umgesetzt werden.
Die Kommunikation zwischen Entwicklungs- und Security-Teams ist noch problematischer: Nur gut ein Drittel (34 Prozent) der Security-Teams erfährt von KI-Projekten, bevor Entwickler mit der Umsetzung beginnen. Diese späte Einbindung schränkt den Einfluss auf Architekturentscheidungen und Prävention von Schwachstellen stark ein.
Mehr als die Hälfte (53 Prozent) der Befragten berichtet, dass Security-Teams vor der Bereitstellung in Produktionsumgebungen informiert werden. Allerdings erfahren 14 Prozent erst nach dem Deployment oder einem Sicherheitsvorfall von neuen KI-Anwendungen – zu spät, um Risiken noch zu verhindern.
Kritische Transparenzlücken bei KI-Komponenten bestehen fort
Die Umfrage hebt zwei Bereiche hervor, in denen Unternehmen essenzielle Transparenz fehlt. Die meisten Security-Teams (63 Prozent) haben keinen Echtzeit-Zugriff auf die Software-Bill-of-Materials für KI-Komponenten (AI-BOMs). Ohne diese Übersicht können sie nicht beurteilen, welche Komponenten bekannte Schwachstellen enthalten oder Updates benötigen.
Ebenso fehlt 60 Prozent die Transparenz über LLM-Ausgaben. Diese Lücke verhindert, dass Security-Teams problematische Modellantworten erkennen – sei es durch böswillige Prompts, Manipulationen oder unbeabsichtigtes Verhalten.
Kulturelle Reibungen bremsen Security-Integration
Fast drei Viertel (74 Prozent) der Befragten berichten, dass Entwickler Security-Themen als Hindernis für KI-Innovationen sehen. Diese Wahrnehmung führt zu Reibungen und hält Entwickler davon ab, Security-Teams frühzeitig einzubinden.
Dieser Kulturkonflikt schwächt die Sicherheitsmaßnahmen. Sehen Entwickler Security als Bremse statt als Enabler, vermeiden sie die Zusammenarbeit – bis Probleme auftreten. Um diese Barriere abzubauen, muss Security als Ermöglicher sicherer Innovation vermittelt werden.
KI-Einführung schreitet schneller voran als Sicherheitsmaßnahmen
Das Tempo der KI-Adoption verschärft die Sicherheitsprobleme zusätzlich. 61 Prozent der neuen Unternehmensanwendungen integrieren KI-Komponenten bereits ab der Planung. Damit erweitert sich die Angriffsfläche rapide.
70 Prozent der Befragten geben an, dass APIs zur Nutzung von LLMs auf sensible Daten zugreifen. Das verdeutlicht das Risiko: Fehler in der KI-Sicherheit können vertrauliche Informationen, Kundendaten, geistiges Eigentum und weitere kritische Werte kompromittieren.
Arellano betont: Es geht längst nicht mehr darum, ob Cybersecurity-Vorfälle mit KI-Anwendungen auftreten, sondern wie schwerwiegend sie ausfallen. Die Entwicklungsgeschwindigkeit von KI-Anwendungen übersteigt weiterhin die Fähigkeit der Security-Teams, diese ausreichend abzusichern.
KI-generierter Code erzeugt neue Verwundbarkeitszyklen
Die meisten aktuellen LLMs für Codegenerierung wurden mit Beispielen aus dem Internet trainiert – darunter auch fehlerhafte Implementierungen mit Sicherheitslücken. Wenn LLMs Code nach diesen Mustern generieren, entstehen ähnliche Schwachstellen erneut.
Ohne etablierte Best Practices für den Umgang mit KI-Codetools führt mehr Codegenerierung direkt zu mehr Schwachstellen. Unternehmen müssen diese Schwächen finden und beheben, bevor Angreifer sie ausnutzen – ein Wettlauf, den Security-Teams kaum gewinnen können.
Die Herausforderung verschärft sich, weil Cyberkriminelle mittlerweile selbst KI-Tools nutzen, um Schwachstellen schneller als je zuvor zu entdecken. Angreifer setzen Automatisierung ein, um Schwächen mit Maschinengeschwindigkeit zu identifizieren und auszunutzen – das verkürzt das Reaktionsfenster für Security-Teams erheblich.
Fortschritte trotz Unsicherheit
Trotz dieser Sicherheitsbedenken können Unternehmen auf KI-Anwendungen nicht verzichten. Die Vorteile sind zu groß, und der Wettbewerbsdruck macht die Einführung unausweichlich. Wie Arellano sagt: Der Geist ist aus der Flasche.
Security-Teams sollten sich daher auf pragmatische Schritte zur Verbesserung ihrer Sicherheitslage konzentrieren. Entwickler zu mehr Sorgfalt zu motivieren, ist ein Anfang. Das Scannen von KI-generiertem Code auf Schwachstellen vor dem Einsatz in Produktionsumgebungen kann viele Risiken frühzeitig erkennen.
Unternehmen sollten klare Prozesse etablieren, um Security-Teams frühzeitig in KI-Projekte einzubinden. Wenn Security-Experten an der Architektur beteiligt sind, können sie sichere Implementierungen fördern und potenzielle Probleme vorab identifizieren.
Eine umfassende Inventarisierung von KI-Komponenten und LLM-Nutzung im Unternehmen schafft die nötige Transparenz. Security-Teams können nur schützen, was sie kennen. Regelmäßige Audits und Discovery-Prozesse helfen, den Überblick zu behalten, wenn neue KI-Anwendungen entstehen.
Der Aufbau spezialisierter Kompetenzen für KI-Security ist entscheidend. Security-Teams müssen verstehen, wie Prompt-Injection-Angriffe funktionieren, wie APIs zur Nutzung von LLMs abzusichern sind und wie sich KI-Modellausgaben validieren lassen. Schulungen und Zertifizierungen mit Fokus auf KI-Security helfen, diese Fähigkeiten zu entwickeln.
Unternehmen sollten zudem die Zusammenarbeit zwischen Entwicklung und Security fördern. Wenn Security als Enabler sicherer Innovation verstanden wird, sinken Reibungen und Entwickler beziehen Security-Experten proaktiv ein.
Vorbereitung auf zunehmende Bedrohungen
Cybersecurity-Teams sollten sich auf das Schlimmste vorbereiten und gleichzeitig ihre Abwehr stärken. Die Umfragedaten zeigen: KI-bezogene Sicherheitsvorfälle werden weiter an Häufigkeit und Schwere zunehmen. Unternehmen benötigen Incident-Response-Pläne, die speziell auf Kompromittierungen von KI-Anwendungen zugeschnitten sind.
Diese Pläne müssen die Besonderheiten von KI-Vorfällen berücksichtigen. Beispielsweise hinterlässt eine erfolgreiche Prompt-Injection oft keine klassischen forensischen Spuren – Security-Teams müssen daher LLM-Protokolle und Modellverhalten analysieren, um Vorfälle zu rekonstruieren.
Unternehmen sollten zudem klare Richtlinien für den KI-Einsatz etablieren. Solche Policies verhindern Shadow AI, indem sie genehmigte Wege für den KI-Zugriff schaffen und Security-Kontrolle sicherstellen. Können Mitarbeitende auf freigegebene KI-Tools zugreifen, sinkt der Anreiz für nicht autorisierte Lösungen.
Regelmäßige Security-Assessments von KI-Anwendungen helfen, Schwachstellen zu erkennen, bevor Angreifer sie ausnutzen. Diese Prüfungen sollten sowohl die KI-Komponenten selbst als auch die unterstützende Infrastruktur – APIs, Datenspeicher und Integrationspunkte – umfassen.
Der Weg nach vorn erfordert ein Gleichgewicht zwischen Innovation und Sicherheit. Unternehmen dürfen Sicherheitsbedenken nicht zum vollständigen Verzicht auf KI führen – das würde Wettbewerbsvorteile und Geschäftswert kosten. Gleichzeitig dürfen sie nicht unbedacht vorpreschen und die Risiken ignorieren.
Die Umfrage zeigt deutlich: Die meisten Unternehmen verfügen derzeit nicht über ausreichende Security-Praktiken für KI-Anwendungen. Diese Lücke zu schließen, erfordert Engagement des Managements, Investitionen in Tools und Schulungen sowie einen Kulturwandel, der Entwicklung und Security enger verzahnt. Wer diese Herausforderungen meistert, kann die Vorteile von KI nutzen und gleichzeitig die Risiken im Griff behalten.
Häufig gestellte Fragen
Prompt-Injections auf große Sprachmodelle stellen mit 76 Prozent die häufigste Bedrohung dar, gefolgt von fehlerhaftem, LLM-generiertem Code (66 Prozent) und LLM-Jailbreaking (65 Prozent). Diese Angriffe manipulieren KI-Eingaben, um sensible Informationen zu extrahieren, Schwächen im Code auszunutzen oder Sicherheitskontrollen zu umgehen. Unternehmen müssen den Schutz vor diesen drei Angriffsvektoren priorisieren, um ihre KI-Systeme effektiv zu sichern.
Shadow AI bezeichnet den nicht autorisierten Einsatz von KI-Tools ohne IT-Kontrolle – ähnlich wie Schatten-IT, aber potenziell noch gefährlicher. 75 Prozent der Security-Experten erwarten, dass Shadow AI die bisherigen Schatten-IT-Probleme übertrifft, da 63 Prozent nicht wissen, wo LLMs im Unternehmen laufen. Dieser Mangel an Transparenz verhindert, dass Security-Teams Systeme schützen können, die sie nicht kennen, und schafft erhebliche Lücken in der Sicherheitslage.
Nur 34 Prozent der Security-Teams erfahren von KI-Projekten, bevor Entwickler mit der Umsetzung beginnen, während 53 Prozent vor dem Rollout in die Produktion informiert werden. Alarmierend: 14 Prozent entdecken neue KI-Anwendungen erst nach dem Deployment oder einem Sicherheitsvorfall. Diese späte Einbindung schränkt den Einfluss auf Architekturentscheidungen und die Prävention von Schwachstellen erheblich ein.
Die meisten LLMs zur Codegenerierung wurden mit Beispielen aus dem Internet trainiert – darunter fehlerhafte Implementierungen mit Sicherheitslücken. Wenn LLMs Code nach diesen Mustern erzeugen, entstehen ähnliche Schwachstellen erneut. Ohne etablierte Best Practices für den Umgang mit KI-Codetools führt mehr Codegenerierung direkt zu mehr Schwachstellen, die Security-Teams erkennen und beheben müssen.
Unternehmen sollten KI-generierten Code vor dem Einsatz in der Produktion auf Schwachstellen prüfen, Security-Teams frühzeitig in die KI-Projektplanung einbinden und umfassende Inventare zu KI-Komponenten und LLM-Nutzung erstellen. Klare Richtlinien für den KI-Einsatz helfen, Shadow AI zu verhindern, indem sie genehmigte Zugriffswege mit Security-Kontrolle schaffen. Regelmäßige Security-Assessments von KI-Anwendungen und spezialisierte Schulungen für Security-Teams zu KI-spezifischen Bedrohungen sind ebenfalls unerlässlich.