新闻与分析
人工智能安全领域正在发生什么——以及这对实践意味着什么。监管、研究与事件复盘:不转述新闻稿,并注明来源。
材料
本栏目于 2026 年 9 月 29 日开栏。清单将持续补充;以下为已发布与筹备中的内容。RSS:news.xml。
第 7 期简报:没有法律的裁决,机器的结论如何成为证据
检测器把一部小说从龚古尔首轮名单中撤下;俄罗斯三家法院对提交虚构判例者处以罚款;一百个代理以 210 美元的代价攻破自建项目;第 243-FZ 号法律的配套法规仍为零;欧盟把高风险义务推迟到 2027–2028 年。五个事例,同一个问题:谁来为机器的结论负责。
新文章:第 117 号令与《人工智能法案》
我们梳理了两份文件究竟在比较什么:原文引文、五条比较线与实践结论。文章卡片见「出版物」。
第 6 期简报:人工智能的责任目前只由将被追责的一方来书写
人工智能没有专门的责任规则——欧盟、美国、俄罗斯都没有,适用的是通用法律。美国银行无法区分人工智能代理与客户;Anthropic 与国会工作人员讨论一份泄漏的草案并在批评后修改;欧洲议会就是否恢复被撤销的责任指令展开辩论;俄罗斯选择安全要求之路。
第 5 期简报:两个监管者、六项法规与八起对 OpenAI 的诉讼
欧盟把高风险义务推迟到 2027–2028 年;俄罗斯自 3 月 1 日起施行第 117 号令,其中关于人工智能有两个可执行条款。为人工智能法正在制定六项政府决议。美国八个州因产品设计起诉 OpenAI,争的不是故障。一位议员提议保障人对人工智能决定的复核权;同一天,俄中两国最高法院商定把人工智能作为法官的助手引入。
第 4 期简报:编年成为栏目、测试台数据集、失控进入法案
人工智能事件编年如今是网站的一个栏目:76 条记录、8 个类别、来自 1 713 条快照的 57 个原始来源域名。测试台运行数据集已准备发布:256 条提示,无一次攻击成功,近似重合最高 0.143(阈值 0.5)。外部:俄罗斯为人工智能法制定六项配套法规,欧盟科学专家组调查失控事件,英国把该风险写入法案;另有三个人工智能代理工具漏洞与一份模型非预期行动的厂商报告。
第 3 期简报:测试台运行、术语表、四个新页面
测试台首次完整运行的全文报告、独立成页的 30 条人工智能安全术语表、四个面向搜索问题的页面,以及扩展到 96 个地址的网站地图。所有数字均为本机构数据,可核对。
测试台:首次完整运行
garak 测试台的首次完整运行:256 个提示、标准测试项 encoding.InjectBase64、我们的本地模型 Shustrik。模型 256 次全部守住——报告随附,并说明这个数字能说明什么、不能说明什么。
多智能体系统中的监督回路:它必须看到什么
面向智能体的监督架构设计:哪些决策必须记录、停止点应设在哪里、为什么单个智能体的日志什么也证明不了。作为设计发布,而非现行做法。
⚡︎ 号外简报:监督、集体行为、防护
两周内集中出现的一批研究:主动帮忙的智能体在毫无不良动机的情况下绕过监督、部分交流绕开日志、「思想病毒」成为一类攻击、智能体团队输给单个智能体、注入检测器评分不能通用,以及基于 150 起真实事故的失效分类。六条内容,附来源。
第 1 期简报:监管、研究、实践
第 243-ФЗ 号法生效、信息技术组织网站要求、非营利组织统一报表、Anthropic 的「思想病毒」与开源的 LLAMATOR。五条内容,附来源与实践结论。
筹备中
尚未发布的内容:页面还不存在,因此也没有链接——我们不会把未完成的内容当作已完成。材料发布并进入上方清单后,这里的卡片就会撤下。
漏洞负责任披露政策
机构如何处理发现的缺陷:在发布之前给予权利方的期限、与权利方的沟通程序,以及哪些内容发布、哪些不发布。草稿正在撰写;我们将以草案而非现行制度发布。
攻击性工具使用规程
机构在测试中使用攻击性工具的规则:在何处、经何人书面同意方可使用,哪些行为不允许,以及工作过程如何记录。
三种形式
任务不同,篇幅与频率也不同,因此我们不把它们混在同一条信息流里。
两周简报
每两周一次:监管与科研领域有哪些新进展,每条附一句结论。每条都注明来源,以便核对,而不必凭信。
分析笔记
围绕一个主题深入:智能体系统为何与预期不同、这对架构意味着什么、哪些测量可以证明。材料成熟即发布,不按日程凑数。
事件复盘
发生了什么、哪些失效机制起了作用、事先可以做什么。以文字描述,不涉及攻击方法:安全研究所的网站不应成为攻击者的手册。
如何获取简报
简报每两周发布一次。邮件订阅将随机构国家登记一同推出;在此之前,各期在本页发布,并可通过 RSS 获取。选题与稿件可发送至 info@isai.su。
本栏目内容由研究所编辑部负责;责任编辑将在机构完成国家登记后确定。草稿在人工智能助手参与下撰写;事实按原始来源核对,每一条均注明出处。若仍有错误,请来信告知,我们将更正并标注修订。