首页 / 数据集与基准测试

数据集与基准测试

关于人工智能智能体相互交互时实际行为方式的结构化证据:语料库、关系图谱、事件记录, 以及基于它们构建的基准测试。

1行为语料库
2图谱数据集
3基准测试
CC BY 4.0数据许可协议

计划发布

每个数据集在发布前都以数据说明书(datasheet)加以记录:动机、构成、采集过程、预处理、 预期用途、禁止用途、分发与维护。

AI Behaviours Corpus

带行为标签的多智能体运行记录:合作、串谋、欺骗、谄媚、任务放弃、资源攫取与关闭抵抗。 附标注指南与标注者间一致性数据。

格式:JSONL + schema。公开版本在所属论文发表 12 个月后以 CC BY 4.0 开放,在此之前按申请提供;扩展版本(原始日志、完整标注、按任务导出)采用商业许可。状态:采集阶段。

Ecosystem Graph

对模型、智能体与工具之间已观测交互的有向图谱:谁以何种权限调用了谁,环境因此发生了什么变化。 来源信息记录到边一级。

格式:CSV 边列表 + 节点表。许可协议:CC BY 4.0。状态:模式设计。

AI Incident Chronicle

结构化事件记录:日期、系统与版本、失效模式、观测到的后果、严重程度、检测方法与来源。 为统计用途而构建,而非为制造新闻标题。

格式:JSON + CSV。许可协议:CC BY 4.0。状态:分类体系阶段。

基准测试

由语料库衍生出的三套测量工具:长上下文下的一致性、自我认同漂移,以及压力下的欺骗行为。 每套都随附评分脚本与基线报告。

格式:评测框架 + 参考结果。许可协议:Apache-2.0。状态:规格说明阶段。

以上四项均在建设中。本页目前没有任何可下载内容;下表记录已完成的部分, 以便核查进度,而不是靠推测。

数据说明书模板

每次发布我们都随附数据说明书。评审人与使用者可以据此要求我们逐项交代。

栏目回答的问题
动机数据集为何创建、由谁资助、服务于什么问题。
构成其中包含什么:模型、版本、任务、语言、样本数量、标签分布。
采集运行如何配置与记录、记录了哪些内容、哪些内容被有意地不予记录。
预处理清洗、过滤、匿名化,以及删除了什么、为何删除。
用途预期用途,以及我们请使用者不要进行的用途。
分发许可协议、访问层级、文件格式、版本管理与 DOI。
维护由谁维护、错误如何报告、多久修订一次。
局限已知偏差、覆盖缺口,以及结论可能无法推广的原因。

访问层级与负责任披露

开放

语料库、图谱、事件记录、基准测试框架与文档,按上述许可协议公开发布。数据集在所属论文发表 12 个月后开放(经研究所决定可提前);在此之前按申请提供。

注册访问

更大的数据切片与衍生特征,提交说明预期用途的简短申请后即可获取。注册免费,不是商业门槛。

受限访问

可能构成可直接使用的攻击方法的内容。仅在签署协议的情况下与防御方共享, 且须在受影响的厂商有时间作出响应之后。

我们不发布针对在用系统的现成漏洞利用程序。当某项发现影响已部署的产品时,我们先通知厂商, 商定披露日期,并在修复或缓解措施到位后公布该发现——而非攻击载荷。

页面更新于 2026年09月29日 · 网站构建版本 2026.10.01 · ANO «ISAI»