journal

Governação da IA: o que deve a administração ver antes de avançAR?

Antes de avançAR, a administração deve ver que fluxos a IA toca, quem aprova o resultado, o que fica registado, o referencial de risco usado e como se trava um fluxo.

sofia a.ai strategy5 min de leitura

Antes da implementação, a administração deve ver cinco coisas por escrito: que fluxos de trabalho a IA vai tocar, quem aprova o seu resultado, o que fica registado, que referencial de risco a avaliação segue e como a empresa trava um fluxo. Em conjunto, formam um plano de governação curto que a gestão mantém atualizado, e não uma política escrita uma vez e arquivada.

#Pontos principais

  • A governação começa com um inventário: a administração não consegue supervisionar IA que não sabe que está a funcionar.
  • Cada fluxo de trabalho precisa de uma pessoa nomeada que aprove o resultado da IA e o possa anular.
  • Os registos devem permitir a um auditor reconstruir o que o sistema fez, com que dados de entrada e quem o aprovou.
  • Indique um referencial reconhecido, como o NIST AI Risk Management Framework ou a ISO/IEC 42001, para que a administração não tenha de avaliar um modelo feito em casa.
  • As empresas reguladas respondem também aos reguladores do seu setor, cujas regras se somam às gerais.

#Que governação deve existir antes de a IA entrar em funcionamento?

  1. Um inventário de todos os fluxos de trabalho em que a IA produz ou altera algo, incluindo ferramentas que os colaboradores usam por iniciativa própria.
  2. Um aprovador nomeado para cada fluxo, com autoridade para rejeitar ou corrigir o resultado.
  3. Uma avaliação de risco de cada fluxo face a um referencial identificado, guardada junto do inventário.
  4. Registos que guardam dados de entrada, resultados, versões do modelo e aprovações.
  5. Um botão de desligar: quem pode travar um fluxo, como, e o que a equipa faz manualmente enquanto está parado.
  6. Uma data de revisão definida pela administração, em que o inventário e as avaliações voltam a ser verificados.

Esta é a lista que a Stennir inclui em todos os trabalhos de consultoria. Explicámos porquê em porque entregamos planos de governação em todos os trabalhos de consultoria.

#Sobre que referenciais de risco deve a administração perguntar?

Há dois de uso generalizado. O NIST AI Risk Management Framework trata a supervisão humana e a responsabilização como parte da gestão do risco de IA (NIST, janeiro de 2023). A ISO/IEC 42001 é a norma internacional para um sistema de gestão de IA (ISO, dezembro de 2023), face à qual uma empresa pode ser certificada.

Do lado da segurança, a lista OWASP Top 10 for LLM Applications coloca a injeção de prompts em primeiro lugar: o texto de um cliente ou de um documento pode tentar alterar o que o modelo faz. A administração não precisa do detalhe técnico, apenas da confirmação de que alguém testou esse risco em cada fluxo de trabalho.

#O que muda para uma empresa financeira regulada?

Reguladores setoriais como o SAMA e a NCA definem as suas próprias regras; confirme-as. Estas somam-se à legislação geral de proteção de dados, por isso um fluxo de trabalho que passa uma revisão geral pode ainda precisar de mais num banco ou numa seguradora. Peça à área de compliance que mapeie cada fluxo face aos requisitos publicados pelo regulador antes de usar quaisquer dados de clientes.

Este artigo não constitui aconselhamento jurídico nem regulatório; confirme junto do seu advogado e da sua função de compliance. O que a Stennir acrescenta é o detalhe do fluxo de trabalho de que precisam para decidir: os dados em que cada passo toca, onde são tratados, quem aprova o resultado e o que fica registado.

#O que registar para auditar o que um sistema de IA fez?

  • Os dados de entrada que o sistema recebeu, ou uma referência a eles se não for permitido guardar o texto completo.
  • O modelo e a versão, e a versão das instruções que lhe foram dadas.
  • Os documentos ou registos que consultou para produzir a resposta.
  • O resultado que produziu, antes de qualquer edição humana.
  • Quem o aprovou, editou ou rejeitou, com data e hora.
  • O que aconteceu a seguir no sistema de destino, como um registo atualizado ou uma mensagem enviada.

Com estes seis elementos, um auditor consegue reconstruir qualquer decisão a posteriori. Sem a linha da aprovação, ninguém consegue dizer quem era responsável quando algo corre mal.

We are

A Stennir inclui o inventário, os aprovadores, os registos e o botão de desligar em cada fluxo de trabalho antes de entrar em funcionamento, e deixa a empresa como dona das contas, dos registos e do botão.

We aren't

A Stennir não é uma sociedade de advogados nem um organismo de certificação, e não substitui a sua função de compliance nem a revisão do regulador.

#O que deve fazer a seguir uma administração ou comissão de risco?

Peça primeiro o inventário à gestão: todos os pontos em que a IA já toca no trabalho, incluindo ferramentas que os colaboradores adotaram por conta própria. Depois peça um aprovador e um desenho de registos para cada um. A consultoria de IA produz ambos, e IA para compliance mostra como funcionam os fluxos de revisão. Faça a avaliação de prontidão gratuita ou marque uma chamada de 30 minutos.

#Perguntas frequentes

A administração tem de aprovar cada fluxo de trabalho de IA?

Não. A administração aprova o plano de governação e o apetite de risco, e vê o inventário. A gestão aprova cada fluxo dentro dessas regras. A administração deve ser informada quando um fluxo toca em dados de clientes, toma uma decisão sobre uma pessoa ou está sob a alçada de um regulador setorial, porque são esses os de maior risco.

Quem aprova o que a IA produz?

Uma pessoa nomeada no negóCIO que já é responsável por esse trabalho, como o diretor de sinistros ou da equipa financeira. Pode rejeitar ou corrigir qualquer resultado, e a decisão fica registada. A Stennir não assume esse papel, porque a responsabilização tem de ficar dentro da empresa.

O que fica connosco?

Tudo o que importa para uma auditoria: as contas, os dados, os registos, as instruções dadas ao modelo e o botão de desligar. A Stennir configura-os em nome da vossa empresa. Se deixarem de trabalhar connosco, os registos e o histórico de governação continuam legíveis pela vossa equipa e pelos auditores.

O que pode correr mal?

As falhas habituais são um inventário que deixa de fora ferramentas adotadas pelos próprios colaboradores, aprovações que se tornam um clique sem verificação real e registos que guardam o resultado mas não quem o aprovou. Cada uma é fácil de detetar numa auditoria de teste antes da implementação, e muito mais difícil de explicar depois.

Diga-nos que tarefa leva mais tempo.

30 minutos. Sem preparação. Diremos com honestidade se a IA pode ajudar e por onde começar.