把监管法条拆成12项可测指标：一家欧洲大行的AI合规仪表盘

金融机构在推进大模型上线时，最常见的误解是把审批卡点归因于模型能力不够。真正拖住进度的往往是另一件事：合规、风险与业务侧的审批人要在部署文件上签字，而他们需要看到的是技术证据，不是跑分榜单。欧盟的《人工智能法案》（EU AI Act）把这件事推到了硬约束的位置。法案第 11 条与附件四规定了高风险系统的技术文档必须包含哪些内容，但通篇没有规定这份文档应当如何产出——法规说清了「要有什么」，没说「怎么拿到」。

法国巴黎银行（BNP Paribas）联合学术团队给出了一个工程化解答：基于 COMPL-AI 解释框架将法案拆解为 6 组原则、18 项技术要求与 12 项基准可测指标，并在机构内网搭建了自托管的负责任 AI 仪表盘 VERA。本文深入复盘其架构设计、四款自托管模型实测、十人对照试验中的「三正三负」，以及从真实事故中换来的五条硬核部署教训。

01

要解决的问题：法条写完了，技术证据交不出来

COMPL-AI 提供了一层关键的技术解释，把欧盟 AI 法案组织成 6 组原则与 18 项技术要求，其中 12 项是现有模型评测基准能够直接测量的。这一步非常关键，它把抽象的法律条文变成了可操作的工程检查项。

但断层随之而来：产出这些证据的开源基准套件通常运行在黑漆漆的命令行上，输出是一堆原始日志文件和逐项指标；而签署部署决定的法务与合规审批人，根本不是工程师。产出证据的套件在命令行，签字的人坐在会议室，中间隔着难以逾越的「最后一公里」。

02

六项从实践里长出来的约束

VERA 的系统设计要求并非来自空洞推导，而是从银行内部的发布评审实践中一条条长出来的硬性约束：

1. 零代码访问门槛：非专业人员必须能在不写代码的情况下跑完一次评测并读懂结果。这直接否定了「合规找工程师代跑 CLI」的做法——代跑意味着审批人从未真正过目证据。
2. 可质疑性：单一的聚合分数会掩盖模型为什么失败。展开到具体基准、返回值与原始输出，审阅者才能判断失败是否落在关键业务死穴上。
3. 具名运行身份绑定：每一项证据必须携带它来自哪一次运行的完整指纹。事后补写的报告天然与当时的评估脱钩，而监管报送要的恰恰是「当时那一版跑出来的东西」。
4. 多角色视图解耦：法务、负责任 AI 团队与数据科学专家对证据的关注维度截然不同，界面必须按角色隔离。
5. 分类法无代码热替换：第一版把权重分类法硬编码进程序，结果每一次权重争议都要走一次代码变更与发版。必须把分类法抽离到配置中，让争议变成一次可钉版本、可比对的文件修改。
6. 全栈自托管隔离：提示词与金融评测输出严禁经由外部专有云或第三方 API 流转，全套底座必须完全自托管在行内基础设施。

03

VERA的架构概览与六项功能

技术选型十分务实克制：Python 3.11 后端加 TypeScript 单页前端，自托管在行内本地算力集群，严格保留 COMPL-AI 的要求编号，让审阅者能随时与监管法条对照：

• 引导式启动：预置可辩护默认值的四步向导，四次点击即可提交一次评测，免账号密码。
• 可解释判决：核心表格按「失败、降级、未覆盖、健康」四级排序，强制审阅者先读到最差项。
• Trust Factor 加权：由四项安全关键指标加权归一化得出百分制评分：网络安全 0.35、毒性 0.25、隐私 0.20、鲁棒性 0.20。
• 降级标记可见性：当某个轻量检查替代了原生评估引擎时，必须显式标红为 fallback，防范被误判为原生真实测量。
• 运行级能耗计量：精确计量每次评测消耗的千瓦时与碳排放，作为环境合规的具名运行证据。

04

四个自托管模型实测：全员压在橙色带

在行内本地基础设施（含 Apple M4 Max 36GB 等节点）上，通过本地 Ollama 驱动 Llama 3.1 8B、Qwen2.5 7B、Gemma 2 9B、Mistral 7B 四款开源模型，跨 15 个基准（seed 42，采样 150）及 230 份合成银行语料进行实测。

实测结果令人警醒：四个模型的 Trust Factor 分别为 66.4、58.9、66.4、67.0，全部停留在橙色警戒带，没有一个能够进入绿色安全带。

造成集体不过关的罪魁祸首是网络安全：这项指标在仪表盘中权重最高（0.35），却在每个模型上得分最低（Qwen2.5 7B 仅 0.250）。正是这单项死穴把全员牢牢按在了橙色带。若只看未加权的大模型综合榜单，审批人员将对这一致命短板一无所知。单次 8B 模型评测能耗在 0.0134 到 0.0169 kWh 之间，耗时 66 至 85 分钟。

让判决可读的那个聚合视图，恰好移除了审阅者追溯覆盖度时需要的平铺清单——判决视图与追溯清单，必须一键之隔。

05

十人对照研究：三组正向数字与三个诚实的负数

银行组织了 10 位专业审阅者开展严格的被试内对照研究（原始命令行输出 vs VERA 仪表盘），产出了一组极为坦诚的数据：

• 正向收益 1：正确性大幅提升。审阅者在判断合规状态时的正确率从 45% 跃升到 70%（27/60 对 42/60，p = 0.016）。这一显著性恰好达到了实验设计的分辨率极限。
• 中性表现 2：耗时减半但不达显著。每题中位时间从 56 秒降至 30 秒（降幅约 46%），但精确检验 p = 0.064，统计上未能拒绝原假设。已具备代码阅读能力的熟手拿到了速度，而在原始文件上抓瞎的人拿到了正确性。
• 认可度 3：感知有用性高达 4.36 / 5（Cronbach α = 0.88）。
• 诚实短板 4：感知易用性仅 α = 0.62。「找信息」（3.89）与「学习投入」（3.78）垫底，审阅者的困惑主要在于找不到某个深层指标的位置。
• 最惨痛暴露 5：无人辅助启动仅 5/9 成功。在没有任何指引下，9 位受试者只有 5 人一次性启动成功，其余甚至陷入超时或放弃。这诚实暴露了工具自评乐观（4.11/5）与实操门槛间的脱节。
• 反向倒挂 6：数基准时聚合视图反而输了。在「计算已执行多少个基准」的任务中，平铺的原始日志得分反而高过仪表盘（7/10 对 3/10）。因为过度聚合把一清二楚的平铺列表藏到了抽屉里。

06

给国内金融机构的三条工程建议

1. 法条必须工程化拆解为可测基准：不能停留在「负责任、透明、可解释」的宣贯口号上，必须像 18 项要求一样，落地为带有工具、测试集和阈值区间的可测项。
2. 证据必须死钉在具名运行版本上：事后编写的 Word/PDF 报告天然与系统脱节，无法抵御穿透式内审与监管问责；每一次评分必须绑定代码 commit、配置指纹与评测日志。
3. 聚合结论与平铺底账必须一键之隔：既要有面向审批人的红黄绿可视化灯号，又要保留一键还原到底层基准列表的入口，严防「为了好看而丢掉可审计性」。

---

原文出处 / 来源链接：
1. arXiv 论文《VERA: A Responsible AI Dashboard for Assessing LLM Deployments in Light of the EU AI Act》（arXiv:2610.31588，2026-10-22）
2. 法国巴黎银行官方负责任 AI 治理声明《Responsible AI at BNP Paribas: Innovating with Purpose and Confidence》（BNP Paribas，2026）