Human in the Loop: Bedeutung für KI-Compliance und wann sie erforderlich ist
„Human in the loop“ ist eines der am häufigsten zitierten – und am wenigsten präzise definierten – Konzepte im Bereich der KI-Datengovernance. Unternehmen nutzen es, um Vorstände zu beruhigen, dass KI-Entscheidungen überprüft werden. Regulierungsbehörden verlangen es als Voraussetzung für den Einsatz von Hochrisiko-KI. Anbieter bewerben es als Feature. In der Praxis wird es jedoch oft so umgesetzt, dass zwar die Bezeichnung erfüllt ist, aber nicht die eigentliche Anforderung.
Dadurch entsteht eine erhebliche Compliance-Lücke. Ein menschlicher Prüfprozess, der zu oberflächlich, zu langsam oder zu weit vom eigentlichen KI-Entscheidungsprozess entfernt ist, stellt keine sinnvolle Aufsicht dar – und Regulierungsbehörden machen das zunehmend deutlich. Die Frage ist nicht, ob Menschen in Ihre KI-Workflows eingebunden sind. Entscheidend ist, ob diese Einbindung echt, dokumentiert und im Prüfungsfall nachvollziehbar ist.
Executive Summary
Kernaussage: Human in the loop ist kein fest definierter Standard – es handelt sich um ein Spektrum von Aufsichtsmechanismen, das von vollständiger menschlicher Überprüfung jeder KI-Ausgabe bis hin zu minimalen Eingriffsrechten reicht. Was als konforme Aufsicht gilt, hängt von der jeweiligen Regulierung, dem Risikoniveau des KI-Einsatzes und davon ab, ob der Mechanismus tatsächlich Ergebnisse beeinflussen kann oder nur prozedural ist.
Warum das relevant ist: DSGVO Artikel 22, der EU AI Act, HIPAA-Leitlinien für klinische Entscheidungsunterstützung und Risikorahmenwerke im Finanzdienstleistungssektor schreiben alle menschliche Aufsicht vor – mit unterschiedlichen Schwellenwerten und Nachweisstandards. Unternehmen, die nur nominelle Aufsicht ohne Dokumentation implementieren, um deren Sinnhaftigkeit zu belegen, sind denselben regulatorischen Risiken ausgesetzt wie Unternehmen ohne jegliche Aufsicht.
Wichtige Erkenntnisse
- Human in the loop ist ein Spektrum – die Anforderungen reichen vom Recht, eine menschliche Überprüfung zu verlangen (DSGVO Artikel 22), über verpflichtende menschliche Autorisierung vor KI-Handlungen (EU AI Act für Hochrisiko-Systeme) bis hin zu kontinuierlichem Monitoring von KI-Ausgaben (Modellrisiko im Finanzsektor).
- Nominelle Aufsicht ist keine konforme Aufsicht – ein Prüfer, dem Informationen, Befugnisse oder Zeit fehlen, um KI-Entscheidungen tatsächlich zu beeinflussen, erfüllt die Anforderungen an eine sinnvolle menschliche Überprüfung nicht.
- Die Delegationskette ist die Nachweisgrundlage menschlicher Aufsicht – jede KI-Agentenaktion muss einem menschlichen Autorisierer zugeordnet und in einem manipulationssicheren Prüfprotokoll festgehalten werden.
- Aufsichtspflichten gelten für KI-Agenten ebenso wie für KI-gestützte Entscheidungen – autonome Workflows, die auf regulierte Daten zugreifen, ohne menschliche Autorisierung, lösen dieselben Verpflichtungen aus wie KI-Empfehlungen, die Menschen zur Prüfung vorgelegt werden.
- Echte Aufsicht erfordert Durchsetzung auf Datenebene – ein Audit-Trail, der dokumentiert, wer was, wann und unter welcher Richtlinie autorisiert hat, unterscheidet echte Aufsicht von Compliance-Theater.
Was „Human in the Loop“ tatsächlich bedeutet
Der Begriff beschreibt, in welchem Ausmaß menschliches Urteilsvermögen in den Entscheidungs- oder Handlungsprozess eines KI-Systems einfließt. Für Compliance-Zwecke sind drei Stufen relevant – und welche Stufe eine Regulierung verlangt, bestimmt, was Ihr Unternehmen umsetzen und dokumentieren muss.
Menschliche Autorisierung (stärkste Form). Keine KI-Aktion erfolgt ohne explizite menschliche Freigabe. Der Mensch prüft die vorgeschlagene Aktion, hat echte Befugnis zur Änderung oder Ablehnung, und seine Entscheidung wird vor Ausführung protokolliert. Dies fordert der EU AI Act Artikel 14 für Hochrisiko-KI-Systeme – und so setzt Kiteworks die Delegationskette für KI-Agenten-Datenzugriffe um: Jede Agentenaktion wird von einem menschlichen Entscheider autorisiert, dessen Identität und Freigabe im Prüfprotokoll erhalten bleiben.
Menschliche Überprüfung (mittlere Form). KI-Ausgaben werden einem Menschen vorgelegt, der sie prüft, bevor gehandelt wird. Der Prüfer hat jedoch möglicherweise keinen vollständigen Einblick in die KI-Logik oder prüft eine so große Menge, dass sorgfältige Aufmerksamkeit unmöglich ist. Das erfüllt formal einige Anforderungen – etwa das Recht auf menschliche Überprüfung gemäß DSGVO Artikel 22 – aber Regulierungsbehörden prüfen zunehmend, ob die Überprüfung auf diesem Niveau tatsächlich sinnvoll ist.
Menschliche Aufsicht (schwächste konforme Form). Menschen überwachen KI-Ausgaben auf Populationsebene und können eingreifen, wenn Fehler auffallen, aber einzelne Entscheidungen werden nicht vor ihrer Umsetzung überprüft. Dies ist der Mindeststandard für KI mit geringem Risiko und das Modell im Finanzsektor. Für Hochrisiko-KI mit erheblichen Auswirkungen auf Einzelne reicht das nicht aus.
Der häufigste Compliance-Fehler ist, menschliche Aufsicht zu implementieren, wenn eigentlich menschliche Autorisierung erforderlich ist, oder nominelle Überprüfung, wenn echte Überprüfung gefordert ist. Zu wissen, welche Stufe für welchen Use Case gilt, ist die Grundlage für Human-in-the-Loop-Compliance.
Welche Data-Compliance-Standards sind relevant?
Jetzt lesen
Wann menschliche Aufsicht gesetzlich vorgeschrieben ist
Die regulatorischen Anforderungen an menschliche Aufsicht über KI nähern sich in den wichtigsten Rahmenwerken an – dennoch unterscheiden sich die konkreten Anforderungen, Auslöser und Nachweisstandards so stark, dass jedes Framework für jede KI-Implementierung separat bewertet werden muss.
DSGVO Artikel 22. Personen haben das Recht, nicht ausschließlich Entscheidungen unterworfen zu werden, die auf automatisierter Verarbeitung beruhen und rechtliche oder ähnlich erhebliche Auswirkungen haben. In solchen Fällen müssen Unternehmen eine rechtmäßige Grundlage, sinnvolle Informationen über die zugrunde liegende Logik und die Möglichkeit zur menschlichen Überprüfung, zur Stellungnahme und zum Anfechten der Entscheidung bieten. Es handelt sich um einen Anspruch auf Überprüfung – menschliche Überprüfung muss möglich und echt sein, aber nicht vor jeder Entscheidung erfolgen. Vor dem Einsatz eines Systems, das Artikel 22 auslöst, ist eine Datenschutz-Folgenabschätzung (DPIA) erforderlich.
EU AI Act – Hochrisiko-KI-Systeme. Für als Hochrisiko eingestufte KI-Systeme nach Anhang III – etwa Kreditvergabe, Personalauswahl, Gesundheitswesen, Bildung, Strafverfolgung, kritische Infrastrukturen und Grenzkontrolle – ist menschliche Aufsicht verpflichtend und muss architektonisch vor der Inbetriebnahme verankert sein. Artikel 14 verlangt, dass Hochrisiko-KI-Systeme eine Aufsicht durch Personen ermöglichen, die die Systemgrenzen verstehen, den Betrieb unterbrechen oder übersteuern und entscheiden können, es in einer bestimmten Situation nicht einzusetzen. Es handelt sich um eine architektonische Anforderung für echte menschliche Kontrolle, nicht nur um ein prozedurales Recht. Zuständige Aufsichtspersonen müssen geschult und ihre Befugnisse dokumentiert werden.
HIPAA und klinische Entscheidungsunterstützung. HIPAA-Compliance enthält keine explizite Human-in-the-Loop-Vorgabe für KI, aber FDA-Leitlinien unterscheiden zwischen Software, die die unabhängige Beurteilung eines Klinikers unterstützt (geringere regulatorische Anforderungen), und Software, die klinische Entscheidungen ersetzt (Einstufung als Medizinprodukt). Für klinische KI unter HIPAA gilt praktisch: Letztentscheidungen mit Auswirkungen auf Patienten müssen bei lizenzierten Klinikern liegen. Die HIPAA Security Rule verlangt zudem, dass KI-Systeme mit Zugriff auf PHI Audit-Trails erzeugen, die rekonstruieren lassen, wer welche Entscheidung wann getroffen hat.
Finanzdienstleistungen Modellrisiko (SR 11-7). Die SR 11-7-Leitlinie der Federal Reserve und OCC – De-facto-Standard für KI im US-Bankensektor – verlangt laufende menschliche Überwachung von Modellergebnissen mit definierten Validierungs-, Ergebnisprüfungs- und Dokumentationsprozessen für Übersteuerungen. FINRA hat vergleichbare Vorgaben für algorithmischen Handel und Kundenkommunikation. Im Finanzsektor gilt Verantwortlichkeit auf Modellebene – systematisches Monitoring, Ausnahmeberichte und ein dokumentierter Eskalationsprozess – nicht die Überprüfung jeder Einzelfallentscheidung.
| Framework | Erforderliches Aufsichtsniveau | Auslöser | Was „sinnvoll“ bedeutet |
|---|---|---|---|
| DSGVO Artikel 22 | Menschliche Überprüfung auf Anfrage | Automatisierte Entscheidungen mit rechtlichen oder erheblichen Auswirkungen auf Einzelpersonen | Prüfer muss echte Befugnis zur Ergebnisänderung haben; Überprüfung darf nicht rein formal sein |
| EU AI Act Artikel 14 | Menschliche Autorisierung (architektonische Vorgabe) | Kategorien Hochrisiko-KI-Systeme (Anhang III) | Benannte, geschulte Personen mit Befugnis und Fähigkeit zur Unterbrechung oder Übersteuerung müssen vor Inbetriebnahme bestimmt werden |
| HIPAA / FDA CDS Guidance | Klinisches Urteil bleibt erhalten | Klinische Entscheidungsunterstützungs-KI mit Einfluss auf Patientenversorgung | Lizenzierter Kliniker muss unabhängiges Urteil fällen; KI darf klinische Entscheidung nicht ohne Medizinprodukteklassifizierung ersetzen |
| SR 11-7 (Finanzdienstleistungen) | Menschliches Monitoring und Übersteuerung | Jedes Modell mit Einfluss auf Finanzentscheidungen | Modellvalidierung, Ergebnisüberwachung, Ausnahmeberichte und Dokumentation von Übersteuerungen mit definierten Eskalationsprozessen |
Was echte von scheinbarer Aufsicht unterscheidet
Der entscheidende Unterschied bei Human-in-the-Loop-Compliance ist, ob die Aufsicht tatsächlich KI-Ergebnisse beeinflussen kann (echt) oder nur formal vorhanden ist, aber strukturell dazu nicht in der Lage ist (theatralisch). Vier Bedingungen müssen für echte Aufsicht erfüllt sein.
Der Prüfer muss ausreichend informiert sein. Wer eine KI-Empfehlung erhält, aber keinen Einblick in die zugrunde liegenden Daten, die Ergebniszuverlässigkeit oder die Entscheidungsfaktoren hat, kann kein echtes Urteil fällen. Der EU AI Act Artikel 13 verlangt von Hochrisiko-KI-Systemen „ausreichende Transparenz“ für menschliche Aufsicht – der Prüfer muss genug sehen, um zu bewerten, nicht nur zu genehmigen.
Der Prüfer muss handlungsbefugt sein. Ein Prüfer, der zwar Widerspruch anmelden kann, dessen Einwand aber keine Wirkung hat – weil die KI-Entscheidung bereits umgesetzt wurde oder die Übersteuerungsbefugnis woanders liegt – übt keine echte Aufsicht aus. Echte Aufsicht heißt, der Prüfer kann die KI-Aktion ändern, ablehnen oder verzögern, und seine Entscheidung bestimmt das Ergebnis.
Das Prüfvolumen muss echte Aufmerksamkeit ermöglichen. Ein häufiger Fehler sind Prüfwarteschlangen, die jede sorgfältige Prüfung unmöglich machen. Regulierungsbehörden fragen bei Human-in-the-Loop-Compliance zunehmend nach Prüfvolumen, Zeit pro Prüfung und Übersteuerungsraten. Eine Übersteuerungsrate nahe null deutet darauf hin, dass die Überprüfungen nicht unabhängig vom KI-Ergebnis erfolgen.
Aufsicht muss dokumentiert sein. Nicht dokumentierte menschliche Aufsicht ist nicht nachweisbar. Der Prüfstandard ist ein manipulationssicheres Protokoll, das festhält, wer was, wann, unter welchen Informationen geprüft und welche Entscheidung getroffen hat. Dies ist die Delegationskette, die Kiteworks für jede KI-Agenten-Dateninteraktion durchsetzt – der menschliche Autorisierer ist identifiziert, seine Freigabe wird der spezifischen Aktion zugeordnet, und der vollständige Datensatz wird im Audit-Trail für Ihr SIEM gespeichert.
Menschliche Aufsicht für KI-Agenten – ein Sonderfall
In den meisten Unternehmen konzentriert sich die Human-in-the-Loop-Diskussion auf KI-gestützte menschliche Entscheidungen – etwa wenn ein Modell eine Kreditvergabe empfiehlt, Betrug meldet oder eine Diagnose vorschlägt. Der Mensch prüft die Empfehlung und entscheidet. Dieses Modell liegt DSGVO Artikel 22 und den meisten frühen KI-Governance-Ansätzen zugrunde.
Autonome KI-Agenten, die über die Unternehmensgrenzen hinweg auf Daten zugreifen, stellen eine andere Herausforderung dar. Ein Agent, der Dateien abruft, Kommunikationen versendet oder Transaktionen durchführt, gibt keine Empfehlung ab – er handelt direkt. Der Governance-Standard, der regulatorische Anforderungen für agentische KI erfüllt, ist die Delegationskette: Jede KI-Agentenaktion muss auf einen menschlichen Entscheider zurückführbar sein, der den Workflow autorisiert hat; diese Autorisierung muss in einem manipulationssicheren Protokoll dokumentiert werden. Der Mensch ist für den autorisierten Umfang verantwortlich – nicht für jede einzelne Aktion –, aber diese Verantwortlichkeit muss auf Interaktionsebene, nicht nur auf Workflow-Ebene, nachweisbar sein.
Dies ist ein sinnvolles und durchsetzbares Modell. Es verlangt, dass jeder KI-Agent mit einer Identität authentifiziert ist, die einem menschlichen Autorisierer zugeordnet ist; dass der Zugriffsumfang durch ABAC-Richtlinien auf Datenebene vor jeder Aktion festgelegt wird; dass jede Dateninteraktion in einem manipulationssicheren Audit-Trail mit Delegationskette protokolliert wird; und dass der menschliche Autorisierer für jede Agentenaktion im autorisierten Rahmen identifizierbar und zur Verantwortung gezogen werden kann. Human in the loop ist hier keine Prüfwarteschlange, sondern Governance-Architektur – Verantwortlichkeit ist im KI-Betrieb verankert, nicht nachträglich hinzugefügt.
Kiteworks Compliant AI: Die Delegationskette, die menschliche Aufsicht nachweisbar macht
Die größte Herausforderung bei Human-in-the-Loop-Compliance für KI-Agenten ist nicht die menschliche Beteiligung – sondern diese Beteiligung für jede Agenteninteraktion mit sensiblen Daten nachvollziehbar, zuordenbar und prüfbar zu machen. Die meisten Unternehmen setzen Aufsicht auf Workflow-Ebene um, indem ein Mensch einen Prozess vor dem Start freigibt. Prüfer verlangen jedoch Aufsicht auf Interaktionsebene – wer hat diese konkrete Aktion, auf diese konkreten Daten, zu diesem Zeitpunkt und unter welcher Richtlinie autorisiert.
Kiteworks Compliant AI erzwingt die Delegationskette auf Datenebene im Private Data Network:
- Jeder KI-Agent wird authentifiziert und vor jedem Datenzugriff einem menschlichen Autorisierer zugeordnet; eine ABAC-Richtlinie steuert, was der Agent auf Operationsebene mit den Daten tun darf;
- FIPS 140-3 Level 1-validierte Verschlüsselung schützt alle Daten während der Übertragung und im ruhenden Zustand;
- Ein manipulationssicherer Audit-Trail erfasst jede Interaktion – wer sie autorisiert hat, welche Daten abgerufen wurden, welche Aktion erfolgte und wann.
- Die Datenrichtlinien-Engine stellt sicher, dass keine Agentenaktion außerhalb des autorisierten Rahmens erfolgt – unabhängig von den Anweisungen an das Modell.
Wenn ein Regulator fragt, wie Ihr Unternehmen menschliche Verantwortlichkeit für KI-Agentenaktionen sicherstellt, liefern Sie ein strukturiertes Nachweispaket – keine Prozessbeschreibung.
Kontaktieren Sie uns, um zu erfahren, wie Kiteworks die Delegationskette für Ihre KI-Implementierungen umsetzt.
Häufig gestellte Fragen
Nein – DSGVO Artikel 22 verlangt, dass Einzelpersonen das Recht auf menschliche Überprüfung automatisierter Entscheidungen mit rechtlichen oder ähnlich erheblichen Auswirkungen haben, nicht aber, dass jede Entscheidung vor ihrer Umsetzung geprüft werden muss. Dieses Recht muss jedoch echt sein: Der Überprüfungsprozess muss verfügbar sein, der Prüfer muss die Befugnis zur Ergebnisänderung haben und das Unternehmen muss nachweisen können, dass die Überprüfung sinnvoll ist und nicht nur formal erfolgt. Wo Artikel 22 greift, müssen Unternehmen zudem sinnvolle Informationen über die Logik der automatisierten Entscheidung bereitstellen, der betroffenen Person die Möglichkeit zur Stellungnahme geben und dokumentieren, wie Überprüfungsanfragen bearbeitet und gelöst werden.
Der EU AI Act Artikel 14 verlangt, dass Hochrisiko-KI-Systeme – etwa für Kreditvergabe, Personal, Gesundheitswesen, Bildung, Strafverfolgung, kritische Infrastrukturen und Grenzkontrolle – so gestaltet sind, dass menschliche Aufsicht effektiv ausgeübt werden kann, bevor das System auf den Markt gebracht oder in Betrieb genommen wird. Das bedeutet, dass bestimmte Personen mit Kompetenz und Befugnis benannt werden, die KI-Ausgaben zu verstehen, den Betrieb zu überwachen, ihn bei Bedarf zu unterbrechen oder zu übersteuern und zu entscheiden, das System in einer bestimmten Situation nicht einzusetzen. Es handelt sich um eine architektonische und organisatorische Vorgabe – nicht nur um ein prozedurales Recht – und sie muss durch Schulungsnachweise, Aufsichtsprotokolle und dokumentierte Übersteuerungsprozesse belegt werden. Eine DPIA sollte vor der Inbetriebnahme prüfen, ob der vorgeschlagene Aufsichtsmechanismus diesen Standard erfüllt.
Autonome KI-Agenten, die Daten abrufen, Transaktionen durchführen oder entscheidende Handlungen vornehmen, ohne Ergebnisse einem Menschen zur Überprüfung vorzulegen, erfordern ein anderes Aufsichtsmodell als KI-Empfehlungssysteme. Der Governance-Standard, der regulatorische Anforderungen für agentische KI erfüllt, ist die Delegationskette: Jede Agentenaktion muss einem menschlichen Autorisierer zugeordnet sein, der den Handlungsspielraum des Agenten festgelegt hat; diese Autorisierung muss in einem manipulationssicheren Protokoll dokumentiert werden. Der Mensch ist für den autorisierten Umfang verantwortlich – nicht für jede einzelne Aktion –, aber diese Verantwortlichkeit muss auf Interaktionsebene, nicht nur auf Workflow-Ebene, nachweisbar sein. Eine KI-Datengovernance-Infrastruktur, die diese Delegationskette erzwingt und dokumentiert, erfüllt den Verantwortlichkeitsstandard, auf den Regulierungsbehörden bei agentischer KI hinarbeiten.
Sinnvolle Aufsicht erfordert drei Bedingungen: Der Prüfer hat ausreichende Informationen über die KI-Entscheidung und die zugrunde liegenden Daten, um ein echtes unabhängiges Urteil zu fällen; der Prüfer hat die Befugnis, die KI-Aktion zu ändern, abzulehnen oder zu verzögern; und das Volumen der zu prüfenden Entscheidungen ist mit der für echte Prüfung erforderlichen Zeit und Aufmerksamkeit vereinbar. Nominelle Aufsicht scheitert an mindestens einem dieser Punkte – ein Prüfer ohne Einblick in die KI-Logik, ohne tatsächliche Einflussmöglichkeit oder mit einem Prüfvolumen, das sorgfältige Aufmerksamkeit ausschließt, übt keine echte Aufsicht aus. Regulierungsbehörden fragen bei Human-in-the-Loop-Compliance zunehmend nach Übersteuerungsraten, Prüfvolumen und Zeit pro Entscheidung, um zu bewerten, ob die Aufsicht echt ist.
Der Nachweisstandard für menschliche Aufsicht variiert je nach Rahmenwerk, läuft aber auf einen Kern hinaus: ein manipulationssicheres Protokoll, das festhält, wer was, wann, unter welchen Informationen geprüft und welche Entscheidung getroffen hat – einschließlich der Frage, ob die KI-Ausgabe genehmigt, geändert oder abgelehnt wurde. Für KI-Agenten-Workflows umfasst dies die Delegationskette: Welcher Mensch hat den Agenten autorisiert, welchen Handlungsspielraum erhielt er, was hat der Agent im Rahmen dieses Spielraums abgerufen und getan, und wann. Dieser Nachweis muss so lange aufbewahrt werden, wie das KI-System produktiv ist und die getroffenen Entscheidungen rechtliche Wirkung entfalten. Ein Audit-Trail, der diese Informationen auf Operationsebene für Ihr SIEM erfasst – nicht nur Sitzungsprotokolle –, ist die Infrastruktur, die menschliche Aufsicht nachweisbar macht.
Weitere Ressourcen
- Blog Post
Zero‑Trust-Strategien für kosteneffizienten KI-Datenschutz - Blog Post
Wie 77 % der Unternehmen bei KI-Datensicherheit scheitern - eBook
AI Governance Gap: Warum 91 % der kleinen Unternehmen 2025 russisches Roulette mit Datensicherheit spielen - Blog Post
Für Ihre Daten gibt es kein „–dangerously-skip-permissions“ - Blog Post
Regulierungsbehörden wollen keine KI-Policy mehr sehen – sie verlangen den Nachweis der Wirksamkeit.