Организация
Автономная некоммерческая организация «Институт социологии и безопасности искусственного интеллекта» — исследовательская организация, которая изучает, как искусственный интеллект ведёт себя в обществе, и делает его применение безопасным, проверяемым и подотчётным.
Кто мы и зачем
Наша работа служит научно-технологическому суверенитету Российской Федерации: мы развиваем безопасный и этичный искусственный интеллект и укрепляем способность страны понимать, проверять и регулировать его.
Мы исследовательская организация — не консалтинг и не лаборатория с раз и навсегда заданной линейкой продуктов. Консалтинг начинает с задачи заказчика и заканчивает отчётом; лаборатория начинает со своей платформы и защищает её. Мы начинаем с вопроса о том, как ведут себя ИИ-системы — друг с другом, с людьми и с институтами, — и публикуем метод, которым получен ответ. Всё устроено так, чтобы рассуждение мог проверить тот, кто нам не доверяет.
Чего мы не делаем
- Не выдаём лицензии, аккредитации и сертификаты и не выступаем от имени надзорных органов.
- Не оказываем юридических услуг и не заменяем юридическую экспертизу.
- Не эксплуатируем и не сопровождаем чужие ИИ-системы и не отвечаем за то, как они себя ведут.
- Не публикуем персональные данные учредителя, сотрудников и экспертов без их согласия.
- Не раскрываем заказчиков, проекты и результаты без письменного согласия.
Направления работы
Шесть направлений, у каждого — опубликованный метод. Там, где направление ещё прорабатывается, страница говорит об этом прямо.
Социология ИИ-агентов
Исследование социальных отношений, которые складываются между автономными ИИ-агентами в гибридных и мультиагентных экосистемах: межагентная коммуникация и эмерджентные языки, иерархии, коалиции, ролевые модели и разделение труда.
Устойчивость и когнитивные сбои
Эпидемиология аномальных состояний в популяциях агентов и больших языковых моделей: когнитивные сбои, самовоспроизводящиеся инструкции, которые передаются между агентами через общие файлы памяти, самосохранение, скрытая координация и саботаж.
Методики и стандарты
Документированные методики, модели угроз и проекты стандартов для мониторинга, алгоритмической прозрачности, защиты данных и соответствия требованиям регуляторов — в виде, который можно воспроизвести и оспорить.
Программные средства мониторинга и анализа
Программные и аналитические инструменты для наблюдения за мультиагентными системами: журналы поведения, графы агентов, реестры инцидентов и измерительные бенчмарки.
Испытательная среда и ответственное раскрытие
ISAI RANGE — изолированная испытательная среда в разработке: заказчик самостоятельно проверяет свои ИИ-системы и агентов в согласованном объёме, с журналом сессии, процедурой экстренной остановки и отчётом. Исследования уязвимостей ведутся по правилам ответственного раскрытия.
Публикации, лекции и научные мероприятия
Препринты, технические отчёты и глоссарий; конференции, семинары, лекции, вебинары и практикумы. Вопросы о рецензируемом журнале и о форматах обучения прорабатываются: образовательные программы, по итогам которых выдаётся документ об образовании, ведутся только там, где это допускается и при наличии лицензии.
Кому мы полезны
Одна и та же организация выглядит по-разному в зависимости от того, зачем вы пришли. Ниже — что может ожидать каждый читатель и что мы попросим взамен.
Заказчику
Аудит или тестирование ваших ИИ-систем: объём, метод, критерии приёмки и результаты фиксируются в договоре до начала работ. Вы получаете отчёт с воспроизводимыми выводами, границами применимости и перечнем того, что не проверялось. Тестирование может проводиться вашей командой в нашей изолированной среде.
Исследователю
Сначала метод, потом вывод: исследовательские тексты, глоссарий, методики и протоколы исследований публикуются под лицензией CC BY 4.0 — их можно цитировать, проверять и оспаривать. Наборы данных открываются под той же лицензией через двенадцать месяцев после статьи, к которой относятся, а до этого доступны по заявке. Мы готовы к внешней экспертизе и к содержательному разбору неудачных заявок.
Партнёру и фонду
Целевые средства и приносящая доход деятельность учитываются раздельно; отчёты о расходовании средств публикуются. Мы готовы к независимой оценке и к разбору того, что не получилось. Совместные исследования, пилоты и поддержка целевыми поступлениями обсуждаются письменным соглашением. Планируемые направления работы соответствуют приоритетам национальной программы «Экономика данных» и федерального проекта «Искусственный интеллект» в части доверия к ИИ и безопасного применения интеллектуальных систем.
Государству и регулятору
Экспертиза проектов нормативных актов и стандартов в области ИИ, включая безопасность мультиагентных систем и ответственное раскрытие уязвимостей; публичные методические документы; участие в технических комитетах — заявку готовим, статус публикуем по мере изменения.
Наименования и правовой контур
Юридическое, финансовое и организационное устройство организации описано на отдельной странице — так эта страница остаётся рассказом о смысле и подходе.
- Полное наименование на английском языке: Autonomous Non-Commercial Organization «Institute of Sociology and AI Safety» (ANO «ISAI»).
- Полное и сокращённое наименования на русском языке, а также регистрационные реквизиты приведены в обязательном русскоязычном блоке на странице «Контакты».
- Неофициальное обозначение в текстах и коммуникациях: АНО «ИСБИИ»; в англоязычных материалах — ANO «ISAI». Оно не заменяет полное и сокращённое наименования.
- Организационно-правовая форма: автономная некоммерческая организация — унитарная некоммерческая организация, не имеющая членства.
- Организация учреждена учредителем — гражданином Российской Федерации; сведения об учредителе публикуются после государственной регистрации. Персональные данные учредителя не публикуются.
Органы управления, правила принятия решений, финансирование и отчётность — на странице «Управление и финансирование». Регистрационные реквизиты — на странице «Контакты».