Avant le déploiement, le conseil d'administration doit voir cinq éléments par écrit : les workflows que l'IA touchera, qui approuve ses résultats, ce qui est journalisé, le cadre de gestion des risques suivi par l'évaluation et la manière dont l'entreprise arrête un workflow. Ensemble, ils forment un plan de gouvernance court que la direction tient à jour, et non une politique rédigée une fois puis classée.
#À retenir
- La gouvernance commence par un inventaire : le conseil ne peut pas superviser une IA dont il ignore qu'elle tourne.
- Chaque workflow a besoin d'une personne nommée qui approuve les résultats de l'IA et peut les corriger.
- Les journaux doivent permettre à un auditeur de reconstituer ce que le système a fait, avec quelles entrées, et qui l'a approuvé.
- Nommez un cadre reconnu, comme le cadre de gestion des risques de l'IA du NIST ou l'ISO/IEC 42001, pour que le conseil n'ait pas à juger un cadre maison.
- Les entreprises réglementées répondent aussi à leurs régulateurs sectoriels, dont les règles s'ajoutent aux règles générales.
#Quelle gouvernance mettre en place avant de déployer l'IA ?
- Un inventaire de chaque workflow où l'IA produit ou modifie quelque chose, y compris les outils que les collaborateurs utilisent de leur propre initiative.
- Un approbateur nommé pour chaque workflow, avec le pouvoir de rejeter ou de corriger le résultat.
- Une évaluation des risques pour chaque workflow selon un cadre nommé, conservée avec l'inventaire.
- Une journalisation qui enregistre les entrées, les résultats, les versions de modèle et les approbations.
- Un interrupteur : qui peut arrêter un workflow, comment, et ce que l'équipe fait à la main pendant l'arrêt.
- Une date de revue fixée par le conseil, à laquelle l'inventaire et les évaluations sont réexaminés.
C'est la liste que Stennir intègre à chaque mission de conseil. Nous avons expliqué pourquoi dans pourquoi nous livrons un plan de gouvernance avec chaque mission de conseil.
#Sur quels cadres de gestion des risques le conseil doit-il s'interroger ?
Deux sont largement utilisés. Le cadre de gestion des risques de l'IA du NIST considère la supervision humaine et la responsabilité comme des éléments de la gestion du risque lié à l'IA (NIST, janvier 2023). L'ISO/IEC 42001 est la norme internationale pour un système de management de l'IA (ISO, décembre 2023), sur laquelle une entreprise peut être certifiée.
Côté sécurité, le Top 10 OWASP pour les applications LLM place l'injection de prompt en tête : le texte d'un client ou d'un document peut tenter de modifier le comportement du modèle. Le conseil n'a pas besoin du détail technique, seulement de la confirmation que quelqu'un l'a testé sur chaque workflow.
#Qu'est-ce qui change pour une entreprise financière réglementée ?
Les régulateurs sectoriels, comme la SAMA et la NCA, fixent leurs propres règles ; vérifiez-les. Elles s'ajoutent au droit général de la protection des données : un workflow qui passe une revue générale peut donc exiger davantage pour une banque ou un assureur. Demandez à la conformité de confronter chaque workflow aux exigences publiées du régulateur avant toute utilisation de données clients.
Cet article ne constitue pas un conseil juridique ou réglementaire ; validez avec vos juristes et votre fonction conformité. Ce que Stennir apporte, c'est le détail du workflow dont ils ont besoin pour trancher : les données que touche chaque étape, le lieu de leur traitement, qui approuve le résultat et ce qui est journalisé.
#Que faut-il journaliser pour auditer ce qu'a fait un système d'IA ?
- L'entrée reçue par le système, ou une référence à celle-ci si le stockage du texte intégral n'est pas autorisé.
- Le modèle et sa version, ainsi que la version des instructions qui lui ont été données.
- Les documents ou enregistrements qu'il a consultés pour produire la réponse.
- Le résultat qu'il a produit, avant toute modification humaine.
- Qui l'a approuvé, modifié ou rejeté, avec un horodatage.
- Ce qui s'est passé ensuite dans le système en aval, comme une fiche mise à jour ou un message envoyé.
Avec ces six éléments, un auditeur peut reconstituer n'importe quelle décision a posteriori. Sans la ligne d'approbation, personne ne peut dire qui était responsable quand quelque chose tourne mal.
We are
Stennir intègre l'inventaire, les approbateurs, la journalisation et l'interrupteur à chaque workflow avant sa mise en service, et vous laisse propriétaire des comptes, des journaux et de l'interrupteur.
We aren't
Stennir n'est ni un cabinet d'avocats ni un organisme de certification, et ne remplace pas votre fonction conformité ni l'examen de votre régulateur.
#Que doit faire ensuite un conseil d'administration ou un comité des risques ?
Demandez d'abord l'inventaire à la direction : chaque endroit où l'IA touche déjà le travail, y compris les outils adoptés par les collaborateurs de leur propre initiative. Demandez ensuite un approbateur et une conception de journalisation pour chacun. Le conseil en IA produit les deux, et l'IA pour la conformité montre comment fonctionnent les workflows de revue. Faites l'évaluation de maturité gratuite ou réservez un appel de 30 minutes.
#Questions fréquentes
Le conseil doit-il approuver chaque workflow d'IA ?
Non. Le conseil approuve le plan de gouvernance et l'appétence au risque, et prend connaissance de l'inventaire. La direction approuve chaque workflow dans ce cadre. Le conseil doit être informé quand un workflow touche des données clients, prend une décision concernant une personne ou relève d'un régulateur sectoriel, car ce sont les cas les plus risqués.
Qui approuve ce que produit l'IA ?
Une personne nommée dans l'entreprise qui est déjà responsable de ce travail, comme le responsable de l'équipe sinistres ou finance. Elle peut rejeter ou corriger n'importe quel résultat, et sa décision est journalisée. Stennir ne prend pas ce rôle, car la responsabilité doit rester au sein de votre entreprise.
Que conservons-nous ?
Tout ce qui compte pour un audit : les comptes, les données, les journaux, les instructions données au modèle et l'interrupteur. Stennir les met en place à votre nom. Si vous cessez de travailler avec nous, les journaux et le dossier de gouvernance restent lisibles par votre équipe et vos auditeurs.
Qu'est-ce qui pourrait mal tourner ?
Les défaillances habituelles sont un inventaire qui oublie les outils adoptés par les collaborateurs eux-mêmes, des approbations qui se réduisent à un clic sans vraie vérification, et des journaux qui enregistrent le résultat mais pas qui l'a approuvé. Chacune se détecte facilement lors d'un audit à blanc avant le déploiement, et s'explique bien plus difficilement après.
