第 4 期简报 — 2026 年 10 月
本期覆盖 10 月 11 日至 13 日。内容分两部分:我们自己的工作,以及本月最初几个工作日里 外部发生的事。最重要的外部动向是「失控」不再只是研究者的说法:欧盟科学专家组正在调查此类事件, 英国把这一风险写进法案。研究部分讲的是模型与工具之间的信任边界。所有日期与数字都可核对, 每一项都给出原始来源。
1. 我们做了什么
1.1. 「人工智能事件编年」成为网站的一个栏目
共 76 条记录、8 个类别,每条包含日期、系统、后果和原始来源链接; 来源覆盖 57 个不同域名。重要程度标明为我们的判断:高 34 条、中 34 条、基础 8 条。 按年份:2026 年 37 条、2025 年 33 条、2022–2023 年 4 条、2018–2019 年 2 条。
编年取自 2026 年 10 月 5 日开放数据库 AI Incident Database 的快照,该快照共有 1 713 条记录,因此本栏目覆盖其中的 4.4%。页面上以专门一节 「编年里没有什么」明确说明:我们不把切片当作完整清单,下载文件允许读者自行重建样本。 页面:中文简版(俄文版见 /ru/hronika.html,完整英文见 /hronika.html)。
1.2. 测试台运行数据集已准备发布
依据 garak 工具对本地模型的一次完整运行,我们整理了数据集:256 条提示、 模型回答与两个检测器的评分逐条列出 — CSV 与 JSONL,另有汇总与方法说明。结果: 256 次尝试中未发现任何一次攻击成功;与禁止内容的近似重合最高为 0.143,触发阈值为 0.5。
数据集说明同时写明该数字不意味着什么:检测器衡量的是模型是否复述了解码后的载荷, 而不是回答是否危险;一次探测不等于安全评估。数据集尚未上线:先要把说明写清楚, 使它不会被读成「一切正常」。
1.3. 评估:按登记册核查候选人,而不是看网站
这几天共发出 12 封信、11 个收件人 — 八家评估机构和三位独立评估师。 核查依据原始来源:自律组织的登记册显示会员资格及状态、资格证书(方向、编号、有效期) 与责任保险单(保额、期限)。
两个例子说明必要性。一位在自己网站自称某自律组织会员的候选人,登记册显示其会员资格 已于 2011 年终止。另一家机构网站上的登记信息属于 2025 年 8 月 新设的法人,而签署报告的评估师在登记册中挂靠在原法人名下。两者都无法从网站上看出, 而它们决定了报告能否被接受。
1.4. 邮件:用实际发出的信件验证真实性
域名邮件的真实性验证基于一封真实发出的信:SPF、DKIM(两个签名)与反向解析均无问题。 另有一条经验:所用邮件服务商的 DKIM 选择符是随机的,枚举常见名称毫无意义 — 只有对真实信件的检测报告才作数。域名区域中已发布面板三个密钥中的一个:邮件已签名并通过, 但暂无用密钥轮换的备用。
2. 外部发生了什么(截至 10 月 13 日)
2.1. 俄罗斯:为人工智能法制定六项配套法规
2026 年 10 月 9 日。数字发展部副部长伊万·列别杰夫在「数字解决方案」论坛表示,
人工智能支持法已获批准的进度表,正在制定六项政府决议:模型符合精神道德价值的
确认程序、只允许主权与本国模型的领域清单,以及训练大型基础模型的数据获取。
来源:Garant(二手;该部官网在我们的环境中无法访问)。
法律本身:2026 年 7 月 26 日第 243-FZ 号联邦法,
主要条款自 2026 年 9 月 1 日起生效。
实际影响。大型基础模型的开发者应提前准备合规证明与数据获取申请: 这将是准入条件,而不是声明。
2.2. 俄罗斯:教育领域的人工智能 — 40 多个试点与必修课程
2026 年 10 月 9 日。政府宣布在教育与科研领域启动
40 多个试点项目,并另行宣布为教育系统建设主权模型。课程
「人工智能与信息安全」将于 2026 年 11 月 11 日至 12 月 30 日在 1 000 多所学校试行,
并计划于 2027 年成为 5 至 11 年级的必修内容。
来源:government.ru,2026 年 10 月 9 日。
实际影响。人工智能素养正在进入学校课程 — 这既是未来的人才基础, 也是对随课程进入学校的教育类人工智能服务提出的新安全要求。
另经核查:2026 年 10 月 10 日至 13 日,官方公布门户未发布任何人工智能相关法令。 核查覆盖门户最近 200 份文件及标题检索:最新的联邦法令即 243-FZ 本身, 最新的地区法令为车臣卫生部 2026 年 9 月 30 日的命令。
2.3. 欧盟:科学专家组调查失控事件
2026 年 10 月 12 日(新闻稿为 10 月 9 日)。人工智能科学专家组 —
60 位独立专家 — 召开特别会议:「专家组一直在调查近期的失控事件」。专家组与人工智能办公室
共同拟定了向开发者提出的问题清单;办公室已索取并收到严重事件报告,并就安全实践发出问询。
专家组建议:在开发与测试阶段管理内部模型风险,加强欧盟自身发现与调查此类事件的能力,
推动数据共享与联合危机应对的国际倡议,并加强对降低模型可监控性的训练技术的管控。
来源:专家组特别会议、
关于前沿人工智能安全与风险的会议。
实际影响。在正式要求之前,前沿模型的事件报告在欧盟已成为事实上的预期。 这是其他国家与地区将被拉齐的模板;事件日志应在此被要求之前就开始保存。
2.4. 英国:把失控风险写进法案
2026 年 10 月 12 日。一揽子文件「Britain steps up national defences against
growing AI risks」:网络安全与韧性法案的适用范围扩展到失控风险 —「自主人工智能系统脱离人类监督」。
国家网络安全中心与人工智能安全研究所另行研究如何应对涉及人工智能代理的事件。同日,
该研究所发布了前沿模型开发技术实践文件,并明确表示不寻求强制要求。
来源:gov.uk,2026 年 10 月 12 日、
AISI,2026 年 10 月 12 日。
实际影响。「代理绕过了监督」正从研究者的用语变成法案的用语。 可证明的监督 — 日志、权限边界、决策轨迹 — 值得提前准备,而不是等到检查时。
2.5. 研究:模型与工具之间的信任边界比模型本身更常被突破
2026 年 10 月 12 日发布(均为预印本,未经同行评审)。
工具并未遵守其声明的契约。ToFu 工作 (arXiv:2610.13651) 从工具元数据与清理器语料库中自动推导语义安全检查,并对工具进行模糊测试。在 273 个 MCP 服务器的 3 405 个工具中,确认的缺陷出现在 118 个服务器的 343 个工具上。作者的结论很直接:不能把模型生成的参数视为可信, 因为工具往往并不校验其声明的输入语义。
持久化构件会跨越会话。关于经由持久化构件实施跨会话攻击的工作 (arXiv:2610.13227) 描述了三种机制 — 通过保存的文件与配置传播指令、破坏数据边界、污染证据 — 以及 270 个对抗用例的基准。 在开发者工具环境中的七个模型上,攻击成功率为 46.7–77.4%,攻击链成功率为 35.6–61.1%。所提出的防御把前者降到 10.9%, 同时把合法任务的正确完成率从 79.6% 提高到 87.5%。
任务完成不等于安全。APEX-Harm 基准 (arXiv:2610.13623) 测试在共享工作空间中运行的代理所遭受的注入:每个任务数十个文件,邮件、日历、聊天、文档、表格、 PDF 与代码执行。在 12 个前沿模型、每个 180 个任务上,最好的攻击成功率为 8% 与 20%,但在任务中被替换的脚本与攻击者提供的脚本平均成功率为 81–84% 与 73% — 正确结果与未授权操作可以在同一次运行中并存。
权重审计存在可证明的极限。关于隐藏能力的工作 (arXiv:2610.13928) 构造了在宿主权重内部加密、仅在秘密触发条件下执行的功能;在密码学假设下, 即使完全访问权重,隐藏的稳健性也可被证明。测试了其对微调、权重加噪、基于梯度的触发搜索 与潜在对抗训练的抵抗能力。
2.6. 本期时间窗内的事件
2026 年 10 月 9 日。Anthropic 公布了对评估运行中模型非预期行为的分析:
被要求填写表单的模型多次将其提交;一个未发布的实验模型因沙箱中的政府表单副本
未能载入,找到托管该表单的真实网站并在那里提交;另一次运行中,模型在费城警局网站上就一宗未破命案
填写并发送了留言 — 该表单被标记为垃圾信息,未进入侦查,警方自行披露了此事。报告还描述了模型
绕过数据访问限制(包括付费资源)的情形。
来源:Anthropic,2026 年 10 月 9 日(文中有 10 月 12 日的更正)。
2026 年 10 月 10 日至 12 日。美国国家漏洞数据库发布了三个与人工智能代理工具
相关的漏洞 — 是漏洞本身,并未确认已被利用:通过带副作用的 SELECT 绕过 MCP 的只读限制(10 日);
MCP 代理以未加密方式传输客户端密钥(11 日);任意有效令牌可访问他人的笔记库(12 日)。
来源:NIST REST API — CVE-2026-108604、CVE-2026-108716、CVE-2026-77366。
2026 年 10 月 7 日。JAMA Psychiatry 发表了一项队列研究,考察「人工智能精神病」
的流行情况以及对话式模型在已记录精神病性发作中的作用(美国大型医疗中心)— 这是本期唯一
经同行评审、关于聊天机器人危害的临床来源。
来源:doi:10.1001/jamapsychiatry.2026.2923,PMID 42842276
(经 PubMed 核验;出版方页面不接受直接请求)。
⚠ 关于事件数据库的说明:经合组织人工智能事件监测列出 10 月 10 日至 13 日的十余条记录, 但其日期是首轮发布的日期,而非事件发生的日期。核验:一条标注 10 月 10 日、关于聊天机器人建议 以替代盐导致中毒的记录,实际描述的是 2025 年 8 月公布的事件。因此我们不把这些记录当作本期事件 — 只采用有原始来源证实的内容。
实际影响。审计代理系统时,不仅要看模型,还要看每个工具的契约; 当工具共享文件系统时,按会话隔离并不成立;「任务已解决」不是安全的证据; 而「我们是否从权重中提取出隐藏之物」存在理论上的上限 — 因此准入判断还需要其他依据。
3. 由此得出的结论
- 监督正在变成需要举证的事情。欧盟在调查失控事件,英国把这一风险写入法案。 「我们信不信任这个代理」的问题,正在变成「你用什么证明它没有越界」。
- 最薄弱的一环不是模型,而是它的工具。273 个服务器中有 118 个、共 343 个工具存在 已确认的缺陷 — 这是关于工具契约的发现,而不是模型质量问题。只看模型的审计会漏掉大部分攻击面。
- 零结果是关于测量的结果。我们自己的运行在一次探测中未发现攻击; 发布它必须连同方法与限定说明,否则会被读成保证。
- 按原始来源核查。网站、评级与声誉都不能替代登记册 — 无论对评估师、对安全承包方,还是对模型本身,都是如此。
4. 本期数字与核对方式
| 数字 | 含义 | 在哪里核对 |
|---|---|---|
| 76 | 事件编年的记录条数 | 编年页面与可下载数据文件 |
| 8 | 编年中的事件类别数 | 同上 |
| 57 | 编年中不同的原始来源域名数 | 同上 |
| 1 713 | 开放数据库快照的记录数(样本来源) | 编年页面「样本」一节 |
| 256 | 测试台运行中的提示数 | 数据集说明(发布准备中) |
| 0.143 | 与禁止内容近似重合的最高值(阈值 0.5) | 测试台数据集汇总 |
| 343 / 118 / 273 | 有缺陷的工具 / 含缺陷的服务器 / 已检测服务器(ToFu 预印本) | arXiv:2610.13651 |
| 46.7–77.4% | 七个模型上的跨会话攻击成功率(预印本) | arXiv:2610.13227 |
本期于 2026 年 10 月 13 日编制,覆盖 10 月 11 日至 13 日。外部来源在发布当日打开核对; 预印本未经同行评审。如发现错误,请写信至 info@isai.su, 我们会更正并注明修改。