Human in the Loop : ce que cela signifie pour la conformité de l’IA et dans quels cas c’est obligatoire
« Human in the loop » est l’un des concepts les plus fréquemment cités — et les moins précisément définis — en matière de gouvernance des données pour l’IA. Les organisations l’invoquent pour rassurer leurs conseils d’administration sur la supervision des décisions de l’IA. Les régulateurs l’exigent comme condition pour déployer des IA à haut risque. Les fournisseurs le présentent comme un atout. Mais dans la pratique, il se limite souvent à une mise en œuvre de façade qui ne répond pas à l’exigence réelle.
Ce décalage crée un risque de non-conformité important. Un processus de revue humaine trop superficiel, trop lent ou trop déconnecté de la chaîne de décision de l’IA ne constitue pas une véritable supervision — et les régulateurs commencent à le dire explicitement. La question n’est pas de savoir si des humains interviennent dans vos workflows IA. Il s’agit de savoir si cette implication est réelle, documentée et défendable lors d’un audit.
Résumé Exécutif
À retenir : Human in the loop n’est pas une norme unique — il s’agit d’un éventail de mécanismes de supervision allant d’une revue humaine systématique de chaque sortie de l’IA à un simple droit d’intervention. La conformité dépend du cadre réglementaire, du niveau de risque de l’usage de l’IA et de la capacité du mécanisme à réellement influencer les résultats, et non d’une simple procédure.
Pourquoi c’est important : L’article 22 du RGPD, l’AI Act européen, les recommandations HIPAA sur le support à la décision clinique et les référentiels de gestion des risques pour les services financiers imposent tous des exigences de supervision humaine — avec des seuils et des critères de preuve différents. Les organisations qui mettent en place une supervision de façade sans preuve de son efficacité s’exposent au même risque réglementaire que celles qui n’en ont aucune.
Résumé des points clés
- Human in the loop est un spectre — les exigences vont du simple droit de demander une revue humaine (article 22 du RGPD) à l’obligation d’une autorisation humaine préalable à toute action de l’IA (AI Act européen pour les systèmes à haut risque), en passant par la surveillance continue des sorties de l’IA (gestion des risques modèles dans la finance).
- La supervision de façade n’est pas conforme — un relecteur qui n’a ni les informations, ni l’autorité, ni le temps d’influencer réellement une décision de l’IA ne répond pas aux exigences de supervision humaine effective.
- La chaîne de délégation fonde la preuve de la supervision humaine — chaque action d’un agent IA doit être attribuable à un autorisateur humain, avec une trace d’audit inviolable.
- Les exigences de supervision humaine s’appliquent aux agents IA comme aux décisions assistées par IA — les workflows autonomes accédant à des données réglementées sans autorisation humaine entraînent les mêmes obligations que les recommandations IA soumises à des relecteurs humains.
- Une supervision réelle exige une application au niveau des données — une piste d’audit documentant qui a autorisé quoi, quand et selon quelle règle distingue une supervision effective d’une simple conformité de façade.
Ce que signifie réellement « Human in the Loop »
Cette expression décrit le degré d’intégration du jugement humain dans le processus de décision ou d’action d’un système IA. Pour la conformité, trois niveaux distincts sont à considérer — et le niveau exigé par la réglementation détermine ce que votre organisation doit mettre en œuvre et documenter.
Autorisation humaine (forme la plus forte). Aucune action de l’IA n’a lieu sans validation explicite d’un humain. Celui-ci examine l’action proposée, a le pouvoir réel de la modifier ou de la rejeter, et sa décision est enregistrée avant exécution. C’est ce qu’exige l’article 14 de l’AI Act européen pour les IA à haut risque — et ce que la chaîne de délégation de Kiteworks met en œuvre pour l’accès aux données par les agents IA : chaque action d’agent est autorisée par un décideur humain dont l’identité et l’approbation sont conservées dans la piste d’audit.
Revue humaine (niveau intermédiaire). Les sorties de l’IA sont présentées à un humain qui les examine avant toute action, mais le relecteur peut manquer de visibilité sur la logique de l’IA ou traiter un volume trop important pour une attention réelle. Ce niveau satisfait à la lettre de certaines exigences — dont le droit à une revue humaine prévu par l’article 22 du RGPD — mais les régulateurs examinent de plus en plus si cette revue est réellement significative.
Supervision humaine (forme minimale conforme). Des humains surveillent les sorties de l’IA à l’échelle globale, avec la possibilité d’intervenir en cas d’erreurs détectées, mais sans examiner chaque décision individuelle avant son application. C’est le minimum toléré pour les IA à faible risque et le modèle retenu dans la gestion des risques modèles en finance. Ce n’est pas suffisant pour les IA à haut risque dont les décisions ont un impact significatif sur des personnes précises.
L’erreur de conformité la plus fréquente consiste à appliquer une supervision humaine là où une autorisation humaine est requise, ou une revue de façade là où une revue réelle est attendue. Identifier le niveau applicable à chaque cas d’usage est la question centrale de la conformité « human-in-the-loop ».
Quelles normes de conformité des données sont déterminantes ?
Pour en savoir plus :
Quand la supervision humaine est-elle légalement requise ?
Le paysage réglementaire de la supervision humaine de l’IA tend à converger entre les grands référentiels — mais les exigences, déclencheurs et critères de preuve diffèrent suffisamment pour que chaque cadre doive être analysé séparément pour chaque déploiement d’IA.
Article 22 du RGPD. Toute personne a le droit de ne pas faire l’objet d’une décision fondée uniquement sur un traitement automatisé produisant des effets juridiques ou similaires. En cas de traitement de ce type, l’organisation doit fournir une base légale, des informations pertinentes sur la logique utilisée, et la possibilité d’obtenir une revue humaine, d’exprimer son point de vue et de contester la décision. Il s’agit d’un droit sur demande — la revue humaine doit être possible et réelle, mais pas systématique avant chaque décision. Une AIPD est requise avant tout déploiement d’un système relevant de l’article 22.
AI Act européen — Systèmes IA à haut risque. Pour les systèmes IA classés à haut risque à l’annexe III — notation de crédit, recrutement, santé, éducation, sécurité, infrastructures critiques, contrôle aux frontières — la supervision humaine est obligatoire et doit être intégrée à l’architecture du système avant déploiement. L’article 14 impose que des personnes désignées, formées et autorisées puissent surveiller, interrompre ou refuser l’usage du système. Il s’agit d’une exigence structurelle de contrôle humain réel, et non d’un simple droit procédural. Les personnes chargées de la supervision doivent être formées et leur autorité documentée.
HIPAA et support à la décision clinique. La conformité HIPAA ne prévoit pas explicitement de « human-in-the-loop » pour l’IA, mais les recommandations de la FDA distinguent les logiciels qui assistent le jugement clinique (réglementation plus souple) de ceux qui le remplacent (classification dispositif médical). En pratique, pour l’IA clinique couverte par HIPAA : les décisions finales impactant les soins doivent revenir à des cliniciens habilités. La règle de sécurité HIPAA exige aussi que les systèmes IA accédant à des informations médicales protégées produisent des pistes d’audit permettant de reconstituer qui a pris quelle décision et quand.
Gestion des risques modèles en finance (SR 11-7). Les recommandations SR 11-7 de la Fed et de l’OCC — référence pour l’IA dans la banque américaine — imposent une surveillance humaine continue des sorties des modèles, avec validation, revue des résultats et documentation des dérogations. La FINRA a publié des recommandations similaires pour le trading algorithmique et la communication client. Le standard financier porte sur la responsabilité au niveau du modèle — surveillance systématique, reporting des exceptions, processus d’escalade documenté — et non sur la revue de chaque décision individuelle.
| Référentiel | Niveau de supervision requis | Déclencheur | Ce que « significatif » implique |
|---|---|---|---|
| Article 22 du RGPD | Revue humaine sur demande | Décisions automatisées ayant des effets juridiques ou significatifs sur des personnes | Le relecteur doit avoir le pouvoir réel de modifier le résultat ; la revue ne peut être purement théorique |
| Article 14 de l’AI Act | Autorisation humaine (exigence structurelle) | Catégories de systèmes IA à haut risque (Annexe III) | Des humains identifiés, formés, autorisés et capables d’interrompre ou de refuser le système doivent être désignés avant déploiement |
| HIPAA / Recommandations FDA CDS | Jugement clinique préservé | IA de support à la décision clinique impactant les soins | Un clinicien habilité doit exercer son jugement indépendant ; l’IA ne peut remplacer la décision clinique sans classification dispositif médical |
| SR 11-7 (Finance) | Surveillance humaine et droit de dérogation | Tout modèle influençant une décision financière | Validation du modèle, suivi des résultats, reporting des exceptions, documentation des dérogations et processus d’escalade définis |
Supervision humaine : réelle ou de façade ?
La distinction la plus importante en matière de conformité « human-in-the-loop » réside entre une supervision réelle — capable d’influencer les résultats de l’IA — et une supervision de façade — présente en apparence mais structurellement incapable d’agir. Quatre conditions doivent être réunies pour qu’une supervision soit réelle.
Le relecteur doit disposer d’informations suffisantes. Un relecteur qui reçoit une recommandation de l’IA sans accès aux données sous-jacentes, au niveau de confiance ou aux facteurs clés ne peut exercer un jugement réel. L’article 13 de l’AI Act européen exige que les systèmes IA à haut risque offrent une « transparence suffisante » pour permettre la supervision humaine — le relecteur doit pouvoir évaluer, pas seulement approuver.
Le relecteur doit avoir le pouvoir d’agir. Un relecteur qui peut signaler un désaccord mais dont l’avis n’a aucun effet — parce que la décision IA est déjà appliquée ou que le droit de dérogation appartient à un autre — n’exerce pas de supervision. Une supervision réelle implique que le relecteur puisse modifier, rejeter ou retarder l’action de l’IA, et que sa décision détermine effectivement le résultat.
Le volume de revue doit permettre une attention réelle. L’un des échecs les plus courants concerne des files de revue dépassant la capacité d’attention d’un individu. Les régulateurs s’intéressent de plus en plus au volume de revue, au temps par décision et au taux de dérogation. Un taux de dérogation quasi nul indique que les revues ne sont pas indépendantes des sorties de l’IA.
La supervision doit être documentée. Une supervision humaine non documentée ne peut être prouvée. Le standard d’audit exige une trace inviolable de qui a revu quoi, quand, avec quelles informations et quelle décision a été prise. C’est la chaîne de délégation que Kiteworks applique pour chaque interaction entre agent IA et données — l’auteur humain est identifié, son autorisation est liée à l’action précise, et l’ensemble est conservé dans la piste d’audit alimentant votre SIEM.
Supervision humaine pour les agents IA — un cas particulier
La réflexion « human-in-the-loop » porte souvent sur les décisions humaines assistées par IA — un modèle qui recommande une approbation de prêt, signale une fraude ou suggère un diagnostic. L’humain examine la recommandation et décide. C’est le modèle supposé par l’article 22 du RGPD et la plupart des premiers débats sur la gouvernance de l’IA.
Les agents IA autonomes opérant sur les systèmes de données d’entreprise posent un défi différent. Un agent qui accède à des fichiers, envoie des communications ou exécute des transactions ne fait pas une simple recommandation — il agit directement. Le standard de gouvernance conforme pour l’IA agentique est la chaîne de délégation : chaque action d’un agent IA doit être traçable jusqu’à un décideur humain ayant autorisé le workflow, avec une autorisation conservée dans une trace d’audit inviolable. L’humain est responsable du périmètre autorisé — pas de la revue de chaque action individuelle — mais cette responsabilité doit être prouvée au niveau de chaque interaction, et pas seulement du workflow global.
Ce standard est réel et applicable. Il impose que chaque agent IA soit authentifié avec une identité liée à un autorisateur humain ; que le périmètre d’accès soit défini par une politique ABAC appliquée au niveau des données avant toute action ; que chaque interaction soit enregistrée dans une piste d’audit inviolable retraçant la chaîne de délégation ; et que l’auteur humain puisse être identifié et tenu responsable de chaque action de l’agent dans le périmètre autorisé. Ici, « human in the loop » n’est pas une file d’attente de revue, mais une architecture de gouvernance — la responsabilité intégrée au fonctionnement de l’IA, et non ajoutée après coup comme une étape procédurale.
Kiteworks Compliant AI : la chaîne de délégation qui rend la supervision humaine défendable
Le plus difficile dans la conformité « human-in-the-loop » pour les agents IA n’est pas d’impliquer des humains — c’est de rendre cette implication traçable, attribuée et prête à l’audit pour chaque interaction avec des données sensibles. La plupart des organisations mettent en place une supervision au niveau du workflow, où un humain valide un processus avant son exécution. Ce que les auditeurs exigent, c’est une supervision au niveau de l’interaction — qui a autorisé cette action précise, sur ces données précises, à ce moment précis, et selon quelle règle.
L’IA conforme de Kiteworks applique la chaîne de délégation au niveau des données dans le Réseau de données privé :
- Chaque agent IA est authentifié et lié à un autorisateur humain avant tout accès aux données ; la politique ABAC définit ce que l’agent peut faire au niveau opérationnel ;
- Le chiffrement validé FIPS 140-3 Niveau 1 protège toutes les données en transit et au repos ;
- Une piste d’audit inviolable enregistre chaque interaction — qui l’a autorisée, quelles données ont été consultées, quelle action a été réalisée et quand.
- Le moteur de politique de données garantit qu’aucune action d’agent n’a lieu hors du périmètre autorisé, quel que soit l’ordre donné au modèle.
Lorsqu’un régulateur vous demande comment votre organisation assure la responsabilité humaine sur les actions des agents IA, la réponse doit être un dossier de preuves structuré — pas une simple description de procédure.
Contactez-nous pour découvrir comment Kiteworks met en œuvre la chaîne de délégation pour vos déploiements IA.
Foire aux questions
Non — l’article 22 du RGPD exige que toute personne ait le droit d’obtenir une revue humaine des décisions automatisées produisant des effets juridiques ou similaires, mais pas que chaque décision soit revue avant application. Ce droit doit toutefois être réel : le processus de revue doit exister, le relecteur doit pouvoir modifier le résultat et l’organisation doit pouvoir prouver que la revue est effective et non théorique. Lorsque l’article 22 s’applique, l’organisation doit aussi fournir des informations pertinentes sur la logique de la décision automatisée, permettre à l’individu d’exprimer son point de vue et documenter le traitement des demandes de revue humaine.
L’article 14 de l’AI Act européen exige que les systèmes IA à haut risque — notation de crédit, emploi, santé, éducation, sécurité, infrastructures critiques, contrôle aux frontières — soient conçus pour permettre une supervision humaine effective avant leur mise sur le marché ou leur mise en service. Cela implique de désigner des personnes spécifiques, compétentes et autorisées, capables de comprendre les sorties du système, de surveiller son fonctionnement, de l’interrompre ou de le refuser si nécessaire, et de décider de ne pas l’utiliser dans une situation donnée. Il s’agit d’une exigence structurelle et organisationnelle — pas d’un simple droit procédural — qui doit être prouvée par des attestations de formation, des journaux de supervision et des procédures de dérogation documentées. Une AIPD doit évaluer si le mécanisme de supervision proposé répond à ce standard avant le déploiement.
Les agents IA autonomes qui accèdent à des données, exécutent des transactions ou prennent des mesures importantes sans présenter les résultats à un humain pour validation nécessitent un modèle de supervision différent des systèmes de recommandation IA. Le standard de gouvernance conforme pour l’IA agentique est la chaîne de délégation : chaque action d’agent doit être attribuable à un autorisateur humain ayant défini le périmètre d’action de l’agent, avec une autorisation conservée dans une trace d’audit inviolable. L’humain est responsable du périmètre autorisé — pas de la revue de chaque action — mais cette responsabilité doit être prouvée au niveau de chaque interaction, et non seulement au niveau du workflow. Une infrastructure de gouvernance des données IA qui applique et enregistre cette chaîne de délégation répond au standard de responsabilité que les régulateurs imposent pour l’IA agentique.
Une supervision réelle repose sur trois conditions : le relecteur dispose d’informations suffisantes sur la décision IA et les données sous-jacentes pour exercer un jugement indépendant ; il a le pouvoir de modifier, rejeter ou retarder l’action de l’IA sur cette base ; et le volume de décisions à traiter est compatible avec le temps et l’attention qu’exige une vraie revue. Une supervision de façade échoue sur au moins un de ces points — un relecteur sans visibilité sur la logique de l’IA, sans pouvoir réel d’agir ou submergé par le volume n’exerce pas une supervision réelle. Les régulateurs examinent de plus en plus le taux de dérogation, le volume de revues et le temps alloué par décision pour évaluer le caractère effectif de la supervision.
Le standard de preuve varie selon le cadre mais converge sur un socle commun : une trace inviolable de qui a revu quoi, quand, avec quelles informations et quelle décision a été prise — y compris s’il y a eu approbation, modification ou rejet de la sortie IA. Pour les workflows d’agents IA, cela inclut la chaîne de délégation : quel humain a autorisé l’agent, quel périmètre a été accordé, ce que l’agent a consulté et fait dans ce périmètre, et quand. Cette trace doit être conservée tant que le système IA est en production et que ses décisions ont un effet juridique. Une piste d’audit alimentant votre SIEM et capturant ces informations au niveau opérationnel — et non de simples logs de session — constitue l’infrastructure qui rend la supervision humaine démontrable et non simplement déclarée.
Ressources complémentaires
- Article de blog
Stratégies Zero‑Trust pour protéger la vie privée en IA à moindre coût - Article de blog
Comment 77 % des organisations échouent à sécuriser les données IA - eBook
AI Governance Gap : pourquoi 91 % des petites entreprises jouent à la roulette russe avec la sécurité des données en 2025 - Article de blog
Il n’existe pas de « –dangerously-skip-permissions » pour vos données - Article de blog
Les régulateurs ne se contentent plus de vérifier l’existence d’une politique IA. Ils veulent des preuves de son efficacité.