机构简介
人工智能社会学与安全研究所(自治非营利组织)是一所研究机构,研究人工智能在社会中的行为方式,并推动其应用变得安全、可核验、可问责。
我们是谁,为了什么
我们的工作服务于俄罗斯联邦的科技主权:推动安全且合乎伦理的人工智能发展,增强国家理解、检验与治理人工智能的能力。
我们是研究机构——不是咨询公司,也不是产品线一成不变的实验室。咨询公司从客户的任务出发,以一份报告结束;实验室从自己的平台出发,并为之辩护。我们从关于人工智能系统如何行为的问题出发——它们彼此之间、与人和制度之间如何互动——并公开得出结论所依据的方法。我们的全部安排,都是为了让并不信任我们的人也能检验我们的推理。
我们不做什么
- 不颁发许可证、认可或证书,也不代表监管机关行事。
- 不提供法律服务,也不替代法律专业意见。
- 不代他人运营或维护人工智能系统,也不为第三方系统的行为承担责任。
- 未经同意不公布创办人、员工与专家的个人数据。
- 未经书面同意不披露客户、项目与结果。
工作方向
六个方向,每个方向都有公开的方法。尚在论证阶段的方向,页面会直接说明。
人工智能体社会学
研究自主人工智能体在混合与多智能体生态系统中形成的社会关系:智能体之间的通信与涌现语言、层级、联盟、角色模型与分工。
稳定性与认知失效
研究智能体与大语言模型群体中异常状态的传播:认知失效、通过共享记忆文件在智能体之间传递的自我复制指令、自我保全、隐蔽协调与破坏行为。
方法与标准
用于监测、算法透明、数据保护与合规的成文方法、威胁模型与标准草案——以可复现、可质疑的形式呈现。
监测与分析软件工具
用于观察多智能体系统的软件与分析工具:行为日志、智能体图谱、事件登记库与测量基准。
测试环境与负责任披露
ISAI RANGE 是正在开发中的隔离测试靶场:研究所与客户共同检验客户的人工智能系统与智能体,使用我方攻击模型与场景,并在约定范围内进行,配有会话日志、紧急停止程序与报告。漏洞研究遵循负责任披露规则。
出版物、讲座与学术活动
预印本、技术报告与术语表;会议、研讨会、讲座、网络研讨会与实践工作坊。同行评议期刊与科普形式的相关问题正在研究;研究所不实施教育项目,不颁发教育文件。
我们对谁有用
同一个机构,因您前来的目的不同而呈现不同面貌。以下是各类读者可以期待的内容,以及我们会提出的对等要求。
面向客户
对您的人工智能系统进行审计或测试:范围、方法、验收标准与交付成果在开工前写入合同。您会收到一份报告,其中的结论可复现,同时标明适用边界与未检查的部分。测试也可以由您的团队在我们的隔离环境中进行。
面向研究者
先看方法,再看结论:研究文本、术语表、方法与研究协议以 CC BY 4.0 发布,可被引用、核验与质疑。数据集在所属论文发表十二个月后以同一许可开放,在此之前按申请提供。我们愿意接受外部评审,也愿意对未获支持的申请给出实质性反馈。
面向合作伙伴与资助方
专项资金与经营性收入分别核算;资金使用报告予以公布。我们愿意接受独立评估,也愿意复盘未获成功的工作。联合研究、试点与专项资助支持,以书面协议约定。计划中的工作方向与国家规划「数据经济」及联邦项目「人工智能」在人工智能信任与智能系统安全应用方面的优先方向相一致。
面向国家与监管机构
对人工智能领域法规与标准草案提供专家意见,包括多智能体系统安全与漏洞负责任披露;提供公开的方法文件;准备加入相关技术委员会的申请,并随时公布进展。
名称与法律框架
机构的法律、财务与组织安排另设专页说明,本页因此保持为关于意义与方法的叙述。
- 英文全称:Autonomous Non-Commercial Organization «Institute of Sociology and AI Safety»(ANO «ISAI»)。
- 俄文全称、俄文简称以及登记信息,见联系方式页面中的俄文信息专栏。
- 文本与传播中使用的非正式简称:俄文材料中用 АНО «ИСБИИ»,英文材料中用 ANO «ISAIS»。该简称不替代正式全称与简称。
- 组织形式:自治非营利组织——无成员的单一制非营利组织。
- 机构由创办人设立,创办人为俄罗斯联邦公民;创办人信息在国家登记后公布。创办人的个人数据不予公布。