在推广之前,董事会应当看到五样书面材料:AI 将涉及哪些工作流程,由谁审批它的产出,记录哪些内容,风险评估遵循哪个框架,以及公司如何叫停一个工作流程。合在一起,就是一份由管理层持续更新的简短治理计划,而不是写一次就归档的政策。
要点速览
- 治理从清单开始:董事会无法监督它不知道正在运行的 AI。
- 每个工作流程都需要一位指定的人,负责审批 AI 的产出,并有权推翻它。
- 日志应让审计人员能够还原系统做了什么、用了哪些输入,以及由谁审批。
- 指明一个公认的框架,例如 NIST AI 风险管理框架或 ISO/IEC 42001,这样董事会就不必评判一个自创的框架。
- 受监管的公司还要对行业监管机构负责,其规则叠加在通用规则之上。
#AI 推广之前,应该建立哪些治理机制?
- 一份清单,列出 AI 产生或修改任何内容的每一个工作流程,包括员工自行使用的工具。
- 每个工作流程一位指定的审批人,有权驳回或更正产出。
- 每个工作流程一份风险评估,对照指定框架进行,并与清单一起保存。
- 日志,记录输入、产出、模型版本和审批情况。
- 一个关闭开关:谁可以叫停工作流程、怎样叫停,以及叫停期间团队如何手工处理。
- 一个复核日期,由董事会设定,届时重新检查清单和各项评估。
这正是 Stennir 写进每一个咨询项目的清单。原因见 为什么我们的每个咨询项目都附带治理计划。
董事会应该问及哪些风险框架?
有两个被广泛采用。NIST AI 风险管理框架把人工监督和问责视为 AI 风险管理的一部分(NIST,2023 年 1 月)。ISO/IEC 42001 是 AI 管理体系的国际标准(ISO,2023 年 12 月),公司可以据此获得认证。
在安全方面,OWASP 大语言模型应用十大风险 把提示注入排在第一位:来自客户或文档的文字可能试图改变模型的行为。董事会不需要了解技术细节,只需确认有人已在每个工作流程上针对这一点做过测试。
对受监管的金融公司来说,有什么不同?
SAMA、NCA 等行业监管机构有各自的规则,务必核实。这些规则叠加在通用数据保护法之上,所以一个通过一般性审查的工作流程,放在银行或保险公司可能仍需满足更多要求。在使用任何客户数据之前,请合规部门把每个工作流程与监管机构公布的要求逐一对照。
本文不构成法律或监管建议,请与法律顾问和合规部门确认。Stennir 补充的是他们做判断所需的工作流程细节:每一步涉及哪些数据、在哪里处理、由谁审批结果,以及记录了什么。
#要审计 AI 系统做了什么,应该记录哪些内容?
- 系统收到的输入;如果不允许保存全文,就记录其引用。
- 模型及其版本,以及给它的指令的版本。
- 它为生成答案而检索的文档或记录。
- 它生成的产出,即任何人工修改之前的版本。
- 由谁审批、修改或驳回,并附时间戳。
- 下游系统随后发生了什么,例如更新了某条记录或发出了某条消息。
有了这六项,审计人员就能事后还原任何一个决定。缺了审批这一项,出问题时就没人说得清由谁负责。
We are
Stennir 在每个工作流程运行之前,就把清单、审批人、日志和关闭开关写进去,账号、日志和开关都归你所有。
We aren't
Stennir 不是律师事务所,也不是认证机构,不能替代你的合规部门或监管机构的审查。
董事会或风险委员会接下来该做什么?
先要求管理层提供清单:AI 目前已经涉及的每一项工作,包括员工自行采用的工具。然后要求为每一项指定审批人并设计日志方案。AI 咨询 会产出这两样东西,面向合规团队的 AI 则展示了审核类工作流程如何运行。你可以 做免费的就绪度评估,也可以 预约一次 30 分钟的通话。
常见问题
董事会需要批准每一个 AI 工作流程吗?
不需要。董事会批准治理计划和风险偏好,并查看清单。管理层在这些规则范围内批准具体的工作流程。当某个工作流程涉及客户数据、对个人做出决定,或受行业监管机构管辖时,应当报告董事会,因为这些风险最高。
由谁审批 AI 的产出?
业务部门中一位已经负责这项工作的指定人员,例如理赔或财务团队的负责人。他们可以驳回或更正任何产出,他们的决定也会被记录。Stennir 不承担这个角色,因为问责必须留在你的公司内部。
哪些东西留在我们这里?
审计所需的一切:账号、数据、日志、给模型的指令以及关闭开关。Stennir 以你的名义开设这些。如果你不再与我们合作,日志和治理记录依然可以由你自己的团队和审计人员查阅。
可能出什么问题?
常见的失误有:清单漏掉了员工自行采用的工具,审批沦为点一下按钮而没有真正核查,日志记录了产出却没有记录由谁审批。这些问题在推广前的一次模拟审计中都很容易发现,事后再解释就难得多。
