La gouvernance agentique et les limites de l'automatisation
À mesure que les agents d'IA passent du statut d'outils de rédaction à celui d'acteurs intégrés aux processus de gouvernance, la question posée au conseil d'administration évolue. Il ne s'agit plus seulement « Est-ce que le résultat est satisfaisant ? » mais « L'architecture du système garantit-elle structurellement le respect des instructions humaines, des limites des rôles et des jugements porteurs de valeurs ? » Ce module recadre la question des risques liés à l'IA en tant que problème d'architecture de gouvernance : où se situe la supervision dans le chemin critique, quelles informations doivent être conservées dans les archives, et quelles décisions doivent rester du ressort des personnes.
6.1 Pourquoi la formation à elle seule ne suffit pas
AgenticGovernance.digital soutient que la gouvernance de l'IA doit être architecturale et structurelle, et non pas simplement une aspiration ou une orientation politique. Une politique écrite en matière d’IA stipulant que « l’agent respectera les instructions humaines » n’a de valeur que si l’architecture qui la met en œuvre est suffisamment solide. Les schémas d’apprentissage — les a priori statistiques acquis par un modèle — peuvent passer outre les instructions humaines explicites. Le soi-disant « incident 27027 » en est l’exemple par excellence : les a priori du modèle l’emportant sur l’intention de l’utilisateur, les a priori d’apprentissage du modèle ayant tenté de passer outre une instruction explicite — ce qui a été détecté et bloqué par le CrossReferenceValidator avant l’exécution. Ce mode de défaillance ne se limite pas au code ; il s’étend aux contextes culturels, éthiques et de gouvernance partout où la disposition acquise par un agent peut discrètement l’emporter sur une instruction formulée.
La leçon à en tirer pour les conseils d'administration est claire. Le risque lié à l'IA ne se limite pas à des résultats erronés qu'un vérificateur peut détecter : il s'agit de savoir si le système impose structurellement les consignes données par les humains, la délimitation des rôles et la gestion des conflits de valeurs. La gouvernance doit s'inscrire sur le chemin critique de l'action de l'agent, et non en dehors de celle-ci, sous la forme d'un examen a posteriori ou d'une clause purement déclarative figurant dans une attestation de couverture.
Points clés de l'enseignement
- Les acquis acquis lors de la formation peuvent prendre le pas sur les instructions explicites données par l'homme — la compétence ne garantit pas le respect des consignes.
- Cet échec dépasse le cadre du code pour s'étendre aux contextes culturels, éthiques et de gouvernance.
- La gouvernance doit être intégrée dès le début du processus, et non pas ajoutée a posteriori sous forme de politique ou d'évaluation.
- Une autonomie dépourvue de contrôle vérifiable constitue une dette de gouvernance que le conseil d'administration devra tôt ou tard rembourser.
Lectures complémentaires
- Cadre de sécurité de l'IA « Tractatus » — l’argument architectural selon lequel la sécurité de l’IA doit être structurelle plutôt que purement théorique.
- Architecture Sovereign-Record (v4, mai 2026) — comment des enregistrements riches en informations de provenance et pouvant faire l'objet d'un contrôle constituent le fondement d'une gouvernance assistée par l'IA.
- Village IA — les services de gouvernance agentique appliqués à un substrat de gouvernance réel.
- Une gouvernance axée sur les « taonga » pour une IA polycentrique (PDF) — une orientation fondée sur des valeurs et une délibération pluraliste sous l’autorité collective.
Sujets de discussion
- Dans quelle situation le comportement acquis par un outil d'IA serait-il le plus susceptible de prévaloir sur une instruction explicite dans votre processus de gouvernance ?
- Parmi vos contrôles d'IA, lesquels relèvent d'une approche ambitieuse (texte de politique) et lesquels relèvent d'une approche architecturale (appliqués dans le chemin critique) ?
- Si une manipulation de type « 27027 » venait à se produire au sein de votre organisation, seriez-vous même en mesure de la détecter ? Et comment ?
6.2 Six services de gouvernance comme modèle de contrôle du conseil d'administration
Plutôt que de demander à un conseil d'administration de se fier à la bonne conduite d'un agent, l'approche architecturale répartit la gouvernance entre différents services, chacun assurant une dimension particulière du contrôle. AgenticGovernance.digital en distingue six : les BoundaryEnforcer (définit les limites des rôles et des autorisations que l'agent ne peut pas franchir), le InstructionPersistenceClassifier (détermine si une instruction donnée par un être humain est durable ou éphémère, afin qu’elle ne soit pas oubliée sans que l’on s’en rende compte sous l’effet de pressions ultérieures), le CrossReferenceValidator (en vérifiant les affirmations et les actions par rapport à des sources faisant autorité plutôt qu’en se basant sur le niveau de confiance du modèle), le ContextPressureMonitor (surveille les conditions dans lesquelles les modèles s'écartent des instructions), le MetacognitiveVerifier (oblige le système à vérifier son propre raisonnement avant d'agir), et le PluralisticDeliberationOrchestrator (des structures véritablement contestées, des décisions porteuses de valeurs, prises en tenant compte de multiples points de vue légitimes, plutôt que de les réduire à une seule réponse).
Les conseils d'administration n'ont pas besoin de maîtriser la mise en œuvre. L'intérêt réside dans le fait de considérer ces éléments comme un modèle de contrôle qui distingue clairement trois éléments que l'on a tendance à confondre : l'action de la machine, les instructions humaines et le jugement porteur de valeurs. Le premier peut être automatisé ; le deuxième doit perdurer ; le troisième doit rester du ressort des personnes.
Points clés de l'enseignement
- La gouvernance est répartie entre les différents services, chacun assurant une dimension de contrôle spécifique — elle ne repose pas sur une seule hypothèse de type « faire confiance à l'agent ».
- Ce modèle distingue les actions effectuées par des machines (automatisables), les instructions données par l'homme (qui doivent perdurer) et les jugements porteurs de valeurs (qui doivent rester du ressort de l'humain).
- Il vaut mieux considérer les agents comme des collègues juniors compétents mais susceptibles de commettre des erreurs, et non comme des autorités incontestables.
Sujets de discussion
- Parmi ces six services, lequel présente le niveau de contrôle le plus faible dans votre utilisation actuelle de l'IA ?
- Quelles sont les limites liées à la confiance technique, et lesquelles relèvent de la légitimité et de l'autorité ?
- Dans quels cas, dans vos décisions, une « réponse unique » se substitue-t-elle à tort à une véritable délibération pluraliste ?
6.3 Comptes rendus des délibérations dans le cadre d'une gouvernance assistée par l'IA
Une fois que l'IA est intégrée aux processus décisionnels, le dossier doit contenir plus que la décision finale. Il doit contenir les invites qui ont influencé le travail de l'agent, le remplacements lorsqu'un être humain l'a annulé, le autorisations qui a autorisé une action, le exceptions accordé, et le points de contrôle lorsqu'une personne devait prendre une décision. Sans ces éléments, un conseil d'administration peut faire preuve de quoi Cela a été décidé, mais pas la manière dont l'autorité humaine régissait concrètement la machine — ce qui est précisément ce qu'un audit, une enquête ou un litige permettra d'examiner.
C'est là que Village est présenté comme un substrat de gouvernance: un espace destiné à conserver des traces des délibérations menées avec l'aide de l'IA, qui reflètent les orientations stratégiques, fournissent une traçabilité détaillée et puissent faire l'objet d'un examen. L'objectif n'est pas de ralentir les agents pour le simple plaisir de le faire, mais de rendre leur supervision vérifiable — afin que l'autonomie s'accompagne d'une trace permettant de rendre compte des moments où les humains ont gardé le contrôle.
Points clés de l'enseignement
- Le dossier doit consigner les demandes, les dérogations, les validations, les exceptions et les points de contrôle — et pas seulement la décision finale.
- L'approbation humaine concernant les changements de valeurs et de gouvernance est non négociable ; elle ne peut être déléguée à un agent.
- Une infrastructure de gouvernance souveraine contient des enregistrements porteurs de politiques, riches en informations sur la provenance et pouvant faire l'objet d'un examen, de sorte que la supervision soit vérifiable et ne repose pas sur de simples suppositions.
Sujets de discussion
- Quelles décisions prises à l'aide de l'IA au sein de votre organisation seraient impossibles à reconstituer, car les instructions et les modifications n'ont jamais été enregistrées ?
- Que faudrait-il pour que votre conseil d'administration puisse prouver, a posteriori, qu'un être humain a approuvé une modification comportant un jugement de valeur ?
- Dans quels domaines l'autonomie dépasse-t-elle actuellement le cadre qui devrait la régir ?
Simulation de cas · Matrice des limites de l'intervention humaine
Pour chaque action liée à l'IA qu'un secrétariat du conseil d'administration pourrait déléguer, appuyez pour définir les limites. Chaque pression fait défiler les options de l'action l'agent peut agir → proposer uniquement → C'est à l'être humain de décider. Il n’y a pas une seule carte « correcte » : l’exercice consiste à mettre en évidence là où votre système trace la ligne de démarcation entre l’action de la machine, les instructions humaines et les jugements porteurs de valeurs.
Auto-évaluation
1. Pourquoi AgenticGovernance.digital affirme-t-il que l'entraînement à lui seul ne suffit pas ?
Même un modèle performant peut laisser les a priori appris l'emporter sur l'intention de l'utilisateur — la mise en œuvre doit être structurelle, et non simplement une aspiration.
2. Dans le modèle de contrôle à six services, qu'est-ce qui devrait rester entre les mains des citoyens ?
Le fonctionnement des machines peut être automatisé ; les instructions doivent être permanentes ; les jugements portant sur des valeurs et l'approbation par les instances dirigeantes restent du ressort de l'humain.
3. Quelles informations un compte rendu de délibération assistée par l'IA doit-il conserver, outre la décision finale ?
L'autonomie sans supervision vérifiable constitue une « dette de gouvernance » : il faut pouvoir démontrer à quel moment les humains ont gardé le contrôle.