Новости и аналитика
Что происходит в безопасности ИИ — и что из этого следует на практике. Регулирование, исследования и разборы инцидентов: без пересказа пресс-релизов и с указанием источников.
Материалы
Раздел открыт 29 сентября 2026 года. Список будет пополняться; ниже — вышедшее и то, что готовится. Доступ по RSS: news.xml.
Дайджест № 7: вердикт без закона — как вывод машины становится доказательством
Детектор убрал роман из первого списка Гонкура, три российских суда оштрафовали за выдуманную практику, сто агентов взломали пет-проекты за 210 долларов, подзаконки к 243-ФЗ нет, а в ЕС сроки требований сдвинули на 2027–2028. Пять сюжетов и один вопрос: кто отвечает за вывод машины.
Вышла статья «ФСТЭК № 117 против AI Act»
Разобрали, что на самом деле сравнивают два документа: дословные цитаты приказа и AI Act, пять линий и практический вывод. Карточка статьи — в «Публикациях».
Дайджест № 6: ответственность за ИИ пишут лишь те, кого она касается
Специальных правил ответственности за ИИ нет ни в ЕС, ни в США, ни в России — работают общие нормы, ими и судят. Банки США не отличают ИИ-агента от клиента; Anthropic обсуждает с аппаратом Конгресса утёкший черновик закона и правит его после критики; в Европарламенте спорят, возвращать ли отменённую директиву об ответственности; Россия пошла путём требований безопасности.
Дайджест № 5: два регулятора, шесть постановлений и восемь исков к OpenAI
ЕС перенёс обязанности для систем высокого риска на 2027–2028 год, Россия с 1 марта ввела приказ ФСТЭК № 117 — и про ИИ в нём два рабочих пункта. К закону об ИИ готовят шесть постановлений. Восемь штатов США судятся с OpenAI из-за дизайна, а не из-за сбоя. Депутат Горелкин предлагает гарантировать человеку пересмотр решения нейросети; в тот же день Верховные суды России и Китая договорились внедрять ИИ как помощника судьи.
Дайджест № 4: хроника как раздел, набор данных стенда и потеря контроля в законопроектах
Хроника инцидентов с ИИ — теперь раздел сайта: 76 записей, 8 классов, 57 доменов-первоисточников из снимка базы в 1 713 записей. Набор данных прогона стенда подготовлен к публикации: 256 промптов, ни одной удавшейся атаки, максимум приблизительного совпадения 0,143 при пороге 0,5. В мире: Россия готовит шесть подзаконных актов к закону об ИИ, научная панель ЕС расследует инциденты потери контроля, Великобритания вносит этот риск в законопроект; три уязвимости в инструментах ИИ-агентов и отчёт о непредусмотренных действиях модели.
Дайджест № 3: прогон стенда, глоссарий, четыре новые страницы
Первый полный прогон стенда испытаний целиком, глоссарий из 30 терминов ИИ-безопасности отдельной страницей, четыре страницы под вопросы, которыми нас ищут, и карта сайта на 96 адресов. Все числа — наши и проверяемые.
Стенд испытаний: первый прогон
Первый полный прогон стенда на сканере garak: 256 промптов, стандартная проба encoding.InjectBase64, наша локальная модель Шустрик. Модель устояла 256 раз из 256 — прикладываем отчёт инструмента целиком и объясняем, что эта цифра значит, а что нет.
Надзорный контур в мультиагентной системе: что он должен видеть
Проектируемая архитектура надзора за агентами: какие решения нужно логировать, где ставить точку остановки и почему журнал одного агента ничего не доказывает. Публикуем как проект, а не как действующую практику.
⚡︎ Внеочередной дайджест: надзор, коллективное поведение, защита
Серия работ за две недели: полезный агент обходит надзор без злого умысла, часть обмена идёт мимо журнала, «вирусы разума» стали классом атаки, команда агентов проигрывает одному, оценки детекторов инъекций не переносятся. Ещё одна работа — таксономия отказов по 150 реальным инцидентам. Шесть пунктов с источниками.
Дайджест № 1: регулирование, исследования, практика
Закон № 243-ФЗ в работе, требования к сайтам ИТ-организаций, единая отчётность НКО, «вирусы разума» у Anthropic и открытый LLAMATOR. Пять пунктов с источниками и выводом для практики.
Готовится
Материалы, которых пока нет: страниц у них ещё не существует, поэтому и ссылок нет — мы не показываем недописанное как готовое. Каждая карточка здесь снимется тогда, когда материал выйдет и встанет в список выше.
Политика ответственного раскрытия уязвимостей
Как институт поступает с найденными дефектами: сколько времени отводится правообладателю до публикации, как ведётся работа с ним и что из найденного публикуется, а что нет. Черновик пишется сейчас; опубликуем как проект, а не как действующий регламент.
Регламент применения атакующих инструментов
Правила, по которым институт применяет атакующие инструменты в испытаниях: где и по чьему письменному согласию они допустимы, что делать нельзя и как фиксируется ход работ.
Три формата
Разные задачи — разный объём и разная частота, поэтому мы не смешиваем их в одну ленту.
Дайджест
Раз в две недели: что вышло в регулировании и науке, и короткий вывод по каждому пункту. Источник указан у каждой новости, чтобы её можно было проверить, а не принимать на слово.
Аналитическая заметка
Разбор одной темы: почему агентные системы ведут себя не так, как ожидалось, что это значит для архитектуры и какие измерения это подтверждают. Пишем по мере появления материала, а не по расписанию.
Разбор инцидента
Что произошло, какие механизмы отказа сработали, что можно было сделать заранее. Описываем словами и без методик обхода: сайт института безопасности не должен работать пособием для атакующего.
Как получать дайджест
Дайджест выходит раз в две недели. Рассылка появится вместе с государственной регистрацией организации; до этого выпуски публикуются здесь и доступны по RSS. Прислать тему или материал можно письмом на info@isai.su.
За содержание раздела отвечает редакция Института; ответственный будет назначен после государственной регистрации организации. Черновики готовятся с участием ИИ-ассистента; факты сверяются по первоисточникам, ссылка на источник указывается у каждого пункта. Если ошибка всё же прошла, напишите — исправим и отметим правку.