La gouvernance d'un écosystème d'agents IA ne se mesure pas à l'intelligence de ses agents. Elle se mesure à sa prévisibilité. Une action réversible, comme reformuler un e-mail avant envoi, n'appelle pas le même niveau de validation qu'un paiement ou une publication externe, qui engagent l'entreprise et peuvent produire des effets difficiles à annuler. La question n'est pas « l'agent est-il assez intelligent ? », mais « que peut-il faire seul, et qui le sait avant que ça arrive ? ». C'est ce que nous appelons le zéro surprise : pas zéro autonomie, zéro action qui engage l'entreprise sans que quelqu'un ait pu la voir venir.
Pourquoi « zéro surprise » est-il le vrai critère de confiance dans la gouvernance d'un écosystème d'agents IA ?
Déployer un agent IA soulève une incertitude opérationnelle précise : le décideur doit savoir ce que l'agent peut faire seul, et comment une dérive sera contenue si elle survient. Le problème porte ici sur la gouvernance. Un agent gouverné est un agent dont le périmètre d'action est connu à l'avance, dont chaque action laisse une trace, et dont les décisions qui engagent l'entreprise passent par une personne avant d'être exécutées. Le zéro surprise, ce n'est pas la garantie que rien n'ira jamais mal : aucun système, humain ou automatisé, n'offre cette garantie. Ce cadre aide à détecter l'incident, à l'expliquer à partir des journaux et à revenir en arrière lorsque l'action a été conçue pour être réversible.
Quel prérequis faut-il poser avant de superviser un écosystème d'agents IA ?
Nous avons déjà détaillé le socle sur lequel repose cette gouvernance : le triptyque validation, journalisation, réversibilité et les 4 règles qui encadrent l'autonomie d'un agent, résumées par une formule simple : l'agent propose, vous disposez. Nous ne les redéveloppons pas ici. Cet article part de ce socle acquis pour répondre à la question suivante : comment calibrer la supervision quand on gère non plus un agent isolé, mais plusieurs agents qui agissent ensemble dans l'organisation ?
Qu'attend l'Union européenne d'un système d'IA à haut risque ?
Le règlement européen sur l'IA fixe deux obligations qui recoupent directement ce que nous décrivons : une supervision humaine appropriée et la journalisation de l'activité pour garantir la traçabilité des résultats. Ces obligations visent spécifiquement les systèmes d'IA à haut risque listés à l'annexe III du règlement, avec une échéance au 2 décembre 2027, elle-même reportée dans le cadre de l'« AI Omnibus ». Ce n'est donc pas une règle déjà en vigueur pour tout agent IA aujourd'hui. C'est un cap vers lequel la réglementation pousse déjà les usages sensibles, et qui confirme que validation humaine et journalisation ne sont pas des précautions d'agence prudente : c'est la direction que prend le cadre réglementaire pour les cas à risque (source : Commission européenne).
Comment calibrer la supervision selon le risque de chaque action ?
Toutes les actions d'un agent IA ne méritent pas le même niveau de supervision. Envoyer un brouillon d'e-mail à un collègue pour relecture n'a pas le même poids que publier ce même e-mail à une liste de clients. Calibrer la supervision, c'est accepter qu'un agent agisse seul sur les actions à faible enjeu, et qu'il s'arrête devant une personne sur les actions qui engagent l'entreprise.
Réversible ou irréversible : comment choisir le bon niveau de validation ?
Le principe que nous appliquons déjà dans le triptyque reste le bon repère ici : plus une action est irréversible, plus la validation humaine avant exécution doit être renforcée. Un agent qui propose un brouillon peut agir seul, parce que le contenu peut être corrigé avant sa diffusion. Un paiement, une suppression de données ou une publication externe appellent un niveau de validation renforcé, calibré selon le contexte et les mécanismes de réversibilité. Ce principe ne fixe pas de barème chiffré précis : il fixe une direction, à adapter au contexte de chaque entreprise.
Comment les limites architecturales contiennent-elles le périmètre des dégâts avant qu'il ne survienne ?
Valider chaque action une par une n'est pas la seule méthode qui existe. Une approche alternative, documentée par Okoone, consiste à fixer des limites architecturales de type confiance zéro (« zero trust ») : l'architecture vérifie chaque action proposée au regard de règles établies à l'avance, les autorisations sont limitées à ce qui est strictement nécessaire, et la supervision humaine porte alors sur le comportement global du système plutôt que sur chaque geste isolé. L'idée centrale, c'est que le périmètre des dégâts qu'une défaillance peut causer, ce que les équipes de sécurité appellent le périmètre de propagation d'un incident (« blast radius »), doit être limité par construction, y compris quand l'agent s'écarte de ce qui était prévu (source : Okoone). Les deux approches, validation préalable et limites architecturales, ne s'excluent pas : la première protège les actions ponctuelles les plus lourdes, la seconde protège le système dans son ensemble quand un agent dévie de sa trajectoire.
Peut-on superviser au-dessus de la boucle plutôt que dans chaque boucle ?
Selon l'approche décrite par l'expert cité dans l'article d'Okoone, la supervision peut se placer au-dessus de la boucle, plutôt que dans chaque étape de chaque agent, lorsque des limites architecturales appliquent déjà les règles sur chaque action. Dans ce schéma, on fixe des règles au niveau de l'écosystème entier : quelles catégories d'actions nécessitent une validation, quelles limites architecturales s'appliquent à tous les agents, quels signaux déclenchent une alerte. La personne qui supervise regarde alors le système se comporter, plutôt que de rejouer chaque décision à sa place.
Pourquoi les journaux rendent-ils cette supervision possible ?
Une matrice de décision sans journalisation ne tient pas longtemps : si personne ne peut rejouer ce qu'un agent a fait, personne ne peut vérifier que les règles ont bien été respectées. Nous l'avons détaillé dans le triptyque : des journaux structurés permettent d'identifier l'étape défaillante d'un agent, de la reproduire et de la corriger. Ils permettent aussi de répondre à une demande d'audit avec une réponse précise, datée et documentée, plutôt qu'avec une reconstitution approximative après coup. C'est exactement ce que le règlement européen vise avec l'obligation de journalisation pour garantir la traçabilité des résultats des systèmes à haut risque. La supervision au-dessus de la boucle ne fonctionne que si elle s'appuie sur une trace fiable de ce qui s'est passé dans la boucle.
Pourquoi tant d'entreprises peinent-elles encore à superviser leurs agents IA ?
La difficulté n'est pas seulement technique. Selon un rapport cité par Okoone, près de 4 entreprises sur 10 déclarent un déficit de compétences en sécurité et en gouvernance de l'IA. Ce chiffre vient d'une source citée de seconde main : nous ne l'avons pas vérifié directement auprès du rapport original, et nous le mentionnons avec cette réserve plutôt que comme un fait établi de première main. Avant de déployer plusieurs agents, les questions à régler sont concrètes : qui décide du périmètre de chaque agent, qui lit les journaux, et qui répond quand un agent sort du cadre prévu. La gouvernance n'est pas un module qu'on ajoute après coup, c'est une question qu'on règle avant de donner la moindre autonomie à un agent.
Que change « zéro surprise » concrètement pour une PME ou une ETI ?
Pour une PME ou une ETI qui envisage de déployer plusieurs agents IA, le zéro surprise se traduit en trois questions à se poser avant le déploiement, pas après : quelles actions chaque agent peut-il exécuter seul, et lesquelles doivent attendre une validation humaine ? Où sont les journaux, et qui sait les lire le jour où il faut répondre à une question précise ? Si un agent s'écarte de ce qui était prévu, qu'est-ce qui l'empêche structurellement d'aller plus loin ? Une entreprise qui peut répondre aux trois n'élimine pas le risque : elle sait où il se situe, et elle a prévu comment le contenir.
Questions fréquentes
Un agent IA « gouverné » signifie-t-il qu'il ne fait jamais d'erreur ?
Non. Un agent gouverné peut se tromper. La gouvernance ne supprime pas le risque : la validation humaine, la journalisation et la réversibilité augmentent les chances de détecter une erreur, de l'expliquer et de la corriger, sans garantir ni sa réversibilité ni l'absence de dommage avant sa détection.
La validation humaine sur chaque action est-elle la seule bonne pratique ?
Non. C'est une pratique parmi d'autres. Des limites architecturales qui contiennent automatiquement le périmètre d'action d'un agent constituent une approche alternative décrite par l'expert cité dans l'article d'Okoone.
Le règlement européen sur l'IA impose-t-il déjà cette supervision à tous les agents IA ?
Non, pas pour tous les agents IA. Les obligations de supervision humaine et de journalisation ciblent les systèmes à haut risque de l'annexe III, avec une échéance fixée au 2 décembre 2027. Appliquer ces principes dès aujourd'hui, pour des agents qui ne relèvent pas encore de cette catégorie, reste une précaution de bon sens plutôt qu'une obligation immédiate.
Pour aller plus loin
Cet article s'est concentré sur la matrice de supervision, les limites architecturales et le principe du zéro surprise. Pour la définition générale de ce que recouvre la gouvernance d'un agent IA chez DrupaLabs, vous pouvez lire ce que ça veut dire, concrètement.
Si vous envisagez de déployer plusieurs agents IA et que vous ne savez pas encore qui valide quoi, où vont les journaux, ni ce qui contiendrait une défaillance, c'est précisément le sujet d'un diagnostic. Demander un diagnostic.