blog

Gobernanza de la IA: ¿qué debe ver el consejo antes del despliegue?

Antes del despliegue, el consejo debe ver qué flujos toca la IA, quién aprueba el resultado, qué se registra, qué marco de riesgo se usa y cómo se detiene un flujo.

sofia a.ai strategy5 min de lectura

Antes del despliegue, el consejo debe ver cinco cosas por escrito: qué flujos de trabajo tocará la IA, quién aprueba sus resultados, qué se registra, qué marco de riesgo sigue la evaluación y cómo detiene la empresa un flujo de trabajo. Juntas forman un plan de gobernanza breve que la dirección mantiene al día, no una política que se redacta una vez y se archiva.

#Ideas clave

  • La gobernanza empieza con un inventario: el consejo no puede supervisar una IA que no sabe que está funcionando.
  • Cada flujo de trabajo necesita una persona designada que apruebe los resultados de la IA y pueda anularlos.
  • Los registros deben permitir a un auditor reconstruir qué hizo el sistema, con qué entradas y quién lo aprobó.
  • Nombra un marco reconocido, como el marco de gestión de riesgos de IA del NIST o la ISO/IEC 42001, para que el consejo no tenga que juzgar uno de fabricación propia.
  • Las empresas reguladas también responden ante sus reguladores sectoriales, cuyas normas se suman a las generales.

#¿Qué gobernanza debe existir antes de desplegar la IA?

  1. Un inventario de cada flujo de trabajo en el que la IA produce o modifica algo, incluidas las herramientas que el personal usa por su cuenta.
  2. Un aprobador designado para cada flujo de trabajo, con autoridad para rechazar o corregir el resultado.
  3. Una evaluación de riesgos de cada flujo de trabajo según un marco concreto, guardada junto al inventario.
  4. Registros de las entradas, los resultados, las versiones del modelo y las aprobaciones.
  5. Un interruptor de apagado: quién puede detener un flujo de trabajo, cómo, y qué hace el equipo manualmente mientras está detenido.
  6. Una fecha de revisión fijada por el consejo, en la que se vuelven a comprobar el inventario y las evaluaciones.

Esta es la lista que Stennir incluye en cada proyecto de consultoría. Explicamos el motivo en por qué entregamos un plan de gobernanza en cada proyecto de consultoría.

#¿Por qué marcos de riesgo debe preguntar el consejo?

Hay dos de uso extendido. El marco de gestión de riesgos de IA del NIST trata la supervisión humana y la rendición de cuentas como parte de la gestión del riesgo de la IA (NIST, enero de 2023). La ISO/IEC 42001 es la norma internacional para un sistema de gestión de la IA (ISO, diciembre de 2023), en la que una empresa puede certificarse.

En el ámbito de la seguridad, la lista OWASP Top 10 para aplicaciones LLM sitúa en primer lugar la inyección de instrucciones: el texto de un cliente o de un documento puede intentar cambiar lo que hace el modelo. El consejo no necesita el detalle técnico, solo la confirmación de que alguien lo ha probado en cada flujo de trabajo.

#¿Qué cambia para una empresa financiera regulada?

Los reguladores sectoriales, como SAMA y NCA, fijan sus propias normas; compruébalas. Se suman a la legislación general de protección de datos, de modo que un flujo de trabajo que supera una revisión general puede necesitar más para un banco o una aseguradora. Pide a cumplimiento normativo que contraste cada flujo de trabajo con los requisitos publicados por el regulador antes de usar datos de clientes.

Este artículo no constituye asesoramiento jurídico ni regulatorio; confírmalo con tus asesores legales y tu función de cumplimiento. Lo que aporta Stennir es el detalle del flujo de trabajo que necesitan para decidir: los datos que toca cada paso, dónde se procesan, quién aprueba el resultado y qué se registra.

#¿Qué conviene registrar para auditar lo que hizo un sistema de IA?

  • La entrada que recibió el sistema, o una referencia a ella si no se permite guardar el texto completo.
  • El modelo y su versión, y la versión de las instrucciones que recibió.
  • Los documentos o registros que recuperó para producir la respuesta.
  • El resultado que produjo, antes de cualquier edición humana.
  • Quién lo aprobó, editó o rechazó, con fecha y hora.
  • Qué ocurrió después en el sistema de destino, como un registro actualizado o un mensaje enviado.

Con esos seis elementos, un auditor puede reconstruir cualquier decisión a posteriori. Sin la línea de aprobación, nadie puede decir quién era responsable cuando algo sale mal.

We are

Stennir incorpora el inventario, los aprobadores, los registros y el interruptor de apagado a cada flujo de trabajo antes de que funcione, y te deja como propietario de las cuentas, los registros y el interruptor.

We aren't

Stennir no es un despacho de abogados ni un organismo de certificación, y no sustituye a tu función de cumplimiento ni a la revisión de tu regulador.

#¿Qué debería hacer ahora un consejo o una comisión de riesgos?

Pide primero el inventario a la dirección: cada punto en el que la IA ya toca el trabajo, incluidas las herramientas que el personal adoptó por su cuenta. Después pide un aprobador y un diseño de registros para cada uno. La consultoría de IA produce ambos, e IA para cumplimiento normativo muestra cómo funcionan los flujos de revisión. Haz la evaluación de preparación gratuita o reserva una llamada de 30 minutos.

#Preguntas frecuentes

¿Tiene el consejo que aprobar cada flujo de trabajo de IA?

No. El consejo aprueba el plan de gobernanza y el apetito de riesgo, y ve el inventario. La dirección aprueba cada flujo de trabajo dentro de esas reglas. Debe informarse al consejo cuando un flujo toca datos de clientes, toma una decisión sobre una persona o está sujeto a un regulador sectorial, porque esos casos conllevan más riesgo.

¿Quién aprueba lo que produce la IA?

Una persona designada del negocio que ya es responsable de ese trabajo, como el responsable del equipo de siniestros o de finanzas. Puede rechazar o corregir cualquier resultado, y su decisión queda registrada. Stennir no asume ese papel, porque la responsabilidad tiene que quedarse dentro de tu empresa.

¿Qué conservamos nosotros?

Todo lo que importa para una auditoría: las cuentas, los datos, los registros, las instrucciones dadas al modelo y el interruptor de apagado. Stennir los configura a nombre de tu empresa. Si dejas de trabajar con nosotros, los registros y el historial de gobernanza siguen siendo legibles para tu propio equipo y tus auditores.

¿Qué podría salir mal?

Los fallos habituales son un inventario que omite las herramientas que el personal adoptó por su cuenta, aprobaciones que se convierten en un clic sin revisión real y registros que guardan el resultado pero no quién lo aprobó. Cada uno es fácil de detectar en una auditoría de prueba antes del despliegue y mucho más difícil de explicar después.

Dinos qué tarea te lleva más tiempo.

30 minutos. Sin preparación. Te diremos con honestidad si la IA puede ayudar y por dónde empezar.