加载中...
Table of Contents

前沿AI风险测评基准数据库

前沿AI风险测评基准数据库是由安远AI研发的，收集前沿AI风险领域的评测基准（Benchmark）元信息的公开数据库。

为什么做

对于AI安全测评研究人员来说，寻找合适的测评基准一直是一个基础但耗时的工作。一个测评基准是否适合使用，往往要综合考虑多方面因素：

  • 相关性：测评基准聚焦哪个风险领域、测评哪些功能点（某项能力、倾向或护栏）、测评对象是模型还是智能体等
  • 影响力：测评基准的论文引用数/代码关注数，有哪些机构用其进行前沿风险评测
  • 可用性：测评基准的数据集和代码是否公开，支持哪些测评框架（如Inspect框架）
  • 时效性：测评基准是什么时候开发/更新的

然而，相关信息通常散落在各种论文、GitHub代码库、HuggingFace数据集、模型系统卡或独立项目网站中，查找起来相当费时、不方便进行横向对比，且很容易遗留重要的测评基准。

在我们实现“前沿AI风险监测平台”的过程中，也经常面临上述痛点。一开始，我们建立了一个Excel表格用来记录测评基准的各种信息，然而随着项目的不断推进，Excel表格的可维护性问题也逐渐暴露：

  • 随着业界测评基准的数量不断增长，人工维护Excel表格的成本越来越高
  • 缺乏动态更新机制，信息容易过时（如测评基准的引用数、Github Star数等信息会随时间变化）
  • 缺乏有效的组织结构，查找和对比测评基准越来越困难

因此，我们建立了“前沿AI风险测评基准数据库”（以下简称“数据库），采用“AI自动收集”+“人工审核入库”的工作流，加上基于风险模型的组织结构和信息动态更新机制，大大提升了我们自身的工作效率。现在，为了帮助更多和我们一样的研究者，我们决定把这个数据库开放出来，供业界同行使用，更大地释放其价值。

有什么

数据库目前收录了前沿AI风险领域自2023年以来的两百多个测评基准，并按风险领域、测评类型、测评功能点、测评对象类型、开源情况等属性进行结构化整理，帮助研究者更高效地查找、筛选和对比测评基准。

当前数据库覆盖网络攻击、生物风险、化学风险、有害操纵、失控、核风险、具身伤害等风险领域，测评对象覆盖语言模型、视觉语言模型、AI智能体、具身模型和生物模型等类型，并分三种测评类型：

  • 能力测评：评估模型可能放大风险的关键能力，例如漏洞利用、生物信息学任务、前沿科学推理、自我复制、机器学习工程能力等。
  • 倾向测评：评估模型的危险行为倾向，例如欺骗、暗中影响用户、抵抗关机、代理式错误对齐等。
  • 护栏测评：评估模型的安全防护能力，如面对越狱攻击、提示词注入时的防护能力，或面向网络攻击、恶意操纵的防护能力等。

数据库为每个基准记录了很多有用的属性：

  • 测评功能点：该测评基准具体评估哪些能力（或倾向、护栏），这可以帮助判断测评基准是否满足业务需求。
  • 使用方：该测评基准被哪些机构用于前沿AI风险测评，经过机构“严选”的测评基准往往质量更高。目前是覆盖了OpenAI/Anthropic/Google这三家的模型系统卡，以及安远AI自己的风险监测平台，暂不保证覆盖所有使用方。
  • 影响力：这是我们根据该测评基准的论文引用数和代码仓库Star数计算出来的一个分数，也是列表的默认排序字段，这可帮助用户更快识别高影响力的测评基准。
  • 开源状态：数据集和代码的开源状态与许可证类型，这对于想要获取开源数据集或代码的研究者来说是一个很大的便利。
  • Inspect支持情况：包括是否支持Inspect框架及Inspect实现代码链接。Inspect框架是业界比较主流的一个自动化测评框架，支持Inspect框架意味着更容易集成到基于Inspect生态的测评系统中。
  • 题目数量：方便估算测评基准的完整运行成本。
  • 发布时间：方便判断测评基准是否已经过时或尚未经历时间的考验。

怎么用

数据库提供两个主要入口。

第一个入口是测评基准列表。用户可以按风险领域、测评类型、测评功能点、测评对象类型、使用方、开源状态、Inspect支持情况、发布时间和关键词进行筛选。例如，研究者可以快速查找“网络攻击领域、面向智能体、代码和数据集均开源”的基准，也可以查找“生物风险领域、用于评估安全护栏、已有机构采用”的基准。

这种方式适合解决“我现在需要一个可用的测评基准”的问题。它把原本分散在不同来源的信息合并到同一个结构化表格中，让用户能先筛掉明显不合适的选项，再进入论文或代码仓库做进一步判断。

第二个入口是风险模型。这是数据库区别于普通表格的关键设计。

在风险模型视图中，数据库参考《前沿AI风险管理框架2.0》，先列出网络攻击、生物风险、化学风险、有害操纵、失控等领域的风险场景，再把每个风险场景拆解为相关的能力、倾向和护栏，最后将这些测评功能点关联到具体的测评基准和子集。

换句话说，用户不是只能从某个测评基准出发，而是可以从风险问题本身出发：

  • 如果关心“AI是否可能自主完成高危网络攻击链条”，可以查看该风险场景需要哪些网络能力、危险倾向和防护环节，再进一步找到对应基准。
  • 如果关心“模型是否会帮助完成高风险生物任务”，可以查看相关生物能力、危险倾向和安全护栏分别由哪些基准覆盖。
  • 如果关心“失控风险中的自我改进、隐蔽行动、情境感知或诚实性不足”，可以按这些测评功能点查找对应的能力或倾向测评。

这种组织方式的目标，是帮助研究者从简单的“跑分”进一步走向“基于测评结果进行风险评估”。单个测评基准的分数只能说明模型在某个任务上的表现；而当测评基准与风险场景、能力、倾向和护栏建立映射后，测评结果才更容易被解释为具体风险链条中的证据。

如何实现

我们实现这个数据库，主要通过以下流程：

  1. 优质种子导入。用我们过去一年人工积累下来的优质测评基准作为种子导入。
  2. AI自动扩充。使用AI智能体，根据我们的选择标准和种子例子，去网上搜索各种测评基准，整理出候选基准列表及其元信息。
  3. 人工审核入库。对AI产出的候选基准列表全部进行人工审核、修正，再进行入库。
  4. 定期更新状态。对于引用数、Star数等高频变化的数据，定期用程序进行更新，并计算影响力分数。

目前影响力分数II的计算公式如下：

I=0.75×ln(1+C)+0.25×ln(1+S)Y I = \frac{0.75 \times ln(1 + C) + 0.25 \times ln(1 + S)}{\sqrt{Y}}

设：

  • CC 为 Semantic Scholar 引用数，缺失时取 0；
  • SS 为 GitHub 仓库 star 数，缺失时取 0；
  • Y=max(0.5,m/12)Y = max(0.5, m / 12) 为 测评基准的年龄（年），下限为半年。mm 为从测评基准发布时间到评分日的完整月数，最小为 1。

其基本思路是：

  1. 先使用对数压缩减少头部测评基准的引用数和Star数的贡献。
  2. 将引用数和代码Star数的贡献用3:1的权重加权，引用数权重更大，因为论文引用更能体现对项目价值的认可。
  3. 加入时间衰减机制，采用除以 Y\sqrt{Y}的方式：它会增大新项目的权重、降低老项目权重，让新出的、快速增长的项目被更快发现，但又通过平方根的方式，不让时间过短的项目权重被过度放大。

持续更新与合作

前沿AI风险测评基准仍在快速发展，安远AI将持续维护“前沿AI风险测评基准数据库”，跟踪新发布的测评基准，更新已有测评基准的状态，并继续完善风险场景到测评基准的映射关系。

我们也欢迎研究者和机构与我们合作：

  • 如果你发现有重要的测评基准未被数据库收录，欢迎反馈。
  • 如果你发现数据库中有遗漏、错误或需要更新的信息，欢迎反馈。
  • 如果你希望将某个测评基准集成到前沿AI风险监测平台的持续测评中，也欢迎与我们合作。

我们希望这个数据库能成为AI安全测评社区的基础设施：不仅帮助大家更快找到测评基准，也帮助大家更准确地理解测评基准与真实风险之间的关系。