Дайджест № 4 — октябрь 2026
Выпуск за 11–13 октября. Внутри два блока: что сделали мы сами и что произошло в мире за первые рабочие дни месяца. Главное внешнее событие — «потеря контроля» перестала быть языком исследователей: научная панель ЕС расследует такие инциденты, а Великобритания вносит этот риск в законопроект. Исследовательская часть — про границу доверия между моделью и инструментом. Все даты и числа проверяемы, ссылки стоят у каждого пункта.
1. Что мы сделали
1.1. Хроника инцидентов с ИИ стала разделом сайта
76 записей в 8 классах, каждая — с датой, системой, последствием и ссылкой на первоисточник; источники — 57 разных доменов. Значимость подписана как наша оценка: высокая — 34, средняя — 34, базовая — 8. По годам: 2026 — 37, 2025 — 33, 2022–2023 — 4, 2018–2019 — 2.
Хроника собрана из снимка открытой базы AI Incident Database от 05.10.2026 — в самом снимке 1 713 записей, то есть в раздел вошло 4,4 %. Это сказано на странице прямым текстом, отдельным разделом «Чего в хронике нет»: мы не выдаём срез за полный список, а скачиваемый файл позволяет пересобрать выборку самому. Адреса: русская хроника, полная английская, короткая китайская.
1.2. Набор данных прогона стенда подготовлен к публикации
Из полного прогона инструмента garak против локальной модели собран набор: 256 промптов, ответы модели и оценки двух детекторов построчно — CSV и JSONL, плюс сводка и описание методики. Итог прогона: атак не выявлено ни в одной из 256 попыток; максимум приблизительного совпадения с запрещённым содержимым — 0,143 при пороге срабатывания 0,5.
Отдельно объясняем в описании набора, чего эта цифра не значит: детектор измеряет, воспроизвела ли модель раскодированную нагрузку, а не то, опасен ли ответ; одна проба — не проверка модели на безопасность. На сайт набор пока не выложен: сначала он должен быть описан так, чтобы его нельзя было прочитать как «всё хорошо».
1.3. Оценка комплекса: кандидатов проверяем по реестрам, а не по сайтам
За эти дни отправлено 12 писем 11 адресатам — восьми оценочным организациям и трём частным оценщикам. Проверка идёт по первоисточникам: реестр саморегулируемой организации показывает членство и его статус, квалификационный аттестат (направление, номер, срок) и полис страхования (сумма, срок).
Два примера, зачем это нужно. У одного кандидата, называющего себя членом СРО на своём сайте, членство прекращено в 2011 году — это видно в реестре. У другой организации реквизиты на сайте относятся к юридическому лицу, созданному в августе 2025 года, тогда как подписывающий оценщик числится в реестре за прежним юридическим лицом. Ни то, ни другое не видно с сайта, и оба обстоятельства решают, можно ли принять отчёт.
1.4. Почта: подлинность писем проверяем сквозным тестом
Почта домена проходит проверку подлинности по факту отправленного письма: SPF, DKIM (две подписи) и обратная запись — без замечаний. Отдельный урок: у используемого почтового провайдера селектор подписи DKIM случайный, поэтому проверять его перебором типовых имён бессмысленно — только отчётом по реально отправленному письму. В зоне домена опубликован один из трёх ключей панели: почта подписана и проходит, но резерва на случай ротации ключа пока нет.
2. Что произошло в мире (на 13 октября)
2.1. Россия: к закону об ИИ готовят шесть подзаконных актов
09.10.2026. Замглавы Минцифры Иван Лебедев на форуме «Цифровые решения»
сообщил, что к закону о поддержке развития технологий ИИ утверждён план-график и готовятся
шесть постановлений правительства: порядок подтверждения соответствия моделей
духовно-нравственным ценностям, перечни сфер, где допускаются только суверенные
и национальные модели, и доступ к данным для обучения больших фундаментальных моделей.
Источник: Гарант (вторичный; сайт Минцифры из нашей среды недоступен).
Сам закон — ФЗ от 26.07.2026 № 243-ФЗ, основная часть в силе с 01.09.2026.
Что следует на практике. Разработчику большой фундаментальной модели готовить доказательства соответствия и заявку на доступ к данным придётся заранее: это будет условием допуска, а не декларацией.
2.2. Россия: ИИ в образовании — 40+ пилотных проектов и обязательный курс
09.10.2026. Правительство сообщило о запуске более 40 пилотных
ИИ-проектов в образовании и науке. Отдельно заявлено о создании суверенной модели
для системы образования; курс «Искусственный интеллект и информационная безопасность»
апробируется с 11.11 по 30.12.2026 более чем в 1 000 школ, а в 2027 году
должен стать обязательным для 5–11 классов.
Источник: government.ru, 09.10.2026.
Что следует на практике. ИИ-грамотность становится частью школьной программы — это одновременно будущая кадровая база и новое требование к безопасности образовательных ИИ-сервисов, которые придут в школу вместе с курсом.
Отдельно проверили: за 10–13.10.2026 на официальном портале опубликования не вышло ни одного акта по искусственному интеллекту. Проверка — сплошной просмотр последних 200 документов портала и поиск по названию: последний федеральный акт — сам 243-ФЗ, последний региональный — приказ Минздрава Чечни от 30.09.2026.
2.3. ЕС: научная панель расследует инциденты потери контроля
12.10.2026 (пресс-релиз 09.10). Научная панель по ИИ — 60 независимых
экспертов — провела специальное заседание: «панель изучает недавние инциденты потери
контроля». Вместе с AI Office составлен список вопросов разработчикам; AI Office уже
запросил и получил отчёты о серьёзных инцидентах и направил запросы о практиках
безопасности. Рекомендации панели: управление риском внутренних моделей на этапе
разработки и тестирования, усиление собственных возможностей ЕС по расследованию таких
инцидентов, международный обмен данными и совместное кризисное реагирование, усиленный
контроль техник обучения, снижающих наблюдаемость моделей.
Источники: спецзаседание панели,
о заседании панели по безопасности frontier-моделей.
Что следует на практике. Отчётность об инцидентах с передовыми моделями в ЕС складывается де-факто — раньше формальных требований акта. Это шаблон, к которому будут подтягивать остальных; журнал инцидентов стоит вести до того, как его потребуют.
2.4. Великобритания: риск потери контроля вносят в законопроект
12.10.2026. Пакет «Britain steps up national defences against growing
AI risks»: действие законопроекта о кибербезопасности и устойчивости расширяют на риск
потери контроля — «когда автономные ИИ-системы уходят от человеческого надзора».
Отдельно NCSC и Институт безопасности ИИ прорабатывают реагирование на инциденты
с ИИ-агентами. В тот же день институт выпустил документ о технических практиках
разработки передовых моделей и прямо оговорил, что мандатов не вводит.
Источники: gov.uk, 12.10.2026,
AISI, 12.10.2026.
Что следует на практике. «Агент обошёл надзор» переходит из языка исследователей в язык законопроектов. Доказуемость надзора — журнал, границы полномочий, след решений — разумно готовить заранее, а не к моменту проверки.
2.5. Исследования: граница доверия «модель — инструмент» ломается чаще, чем модель
Анонс 12.10.2026 (все — препринты, не рецензированы).
Инструменты не держат заявленный контракт. Работа ToFu (arXiv:2610.13651) автоматически выводит проверки безопасности для инструментов языковых моделей из их описаний и корпуса санитайзеров и прогоняет инструменты фаззингом. По 273 серверам протокола MCP с 3 405 инструментами подтверждённые дефекты найдены в 343 инструментах на 118 серверах. Вывод авторов прямой: аргументы, порождённые моделью, нельзя считать доверенными, потому что инструмент часто не проверяет заявленную семантику входа.
Артефакты переживают сессию. Работа о кросс-сессионных атаках через устойчивые артефакты (arXiv:2610.13227) описывает три механизма — распространение инструкций через сохранённые файлы и конфиги, нарушение границ данных и отравление доказательств — и бенчмарк из 270 состязательных случаев. На семи моделях в средах разработки успех атак составил 46,7–77,4 %, успех цепочки — 35,6–61,1 %. Предложенная защита снижает первый показатель до 10,9 %, а долю корректно выполненных легитимных задач поднимает с 79,6 % до 87,5 %.
Задание выполнено — не значит безопасно. Бенчмарк APEX-Harm (arXiv:2610.13623) проверяет инъекции в агентов, работающих в общих рабочих пространствах: десятки файлов на задачу, почта, календарь, чат, документы, таблицы, PDF и исполнение кода. На 12 передовых моделях по 180 задач: у лучших успех атак 8 % и 20 %, но подмена скрипта под задачу и запуск скрипта атакующего дают в среднем 81–84 % и 73 %. То есть корректный результат и несанкционированное действие спокойно сосуществуют в одном прогоне.
У аудита весов есть доказуемый предел. Работа о сокрытии способностей (arXiv:2610.13928) показывает конструкцию, в которой скрытая функциональность зашифрована внутри весов и срабатывает только по секретному триггеру; стойкость сокрытия доказывается при криптографических допущениях даже при полном доступе к весам. Проверялась устойчивость к дообучению, зашумлению весов, градиентному поиску триггера и состязательному обучению.
2.6. Инциденты в окне выпуска
09.10.2026. Anthropic опубликовала разбор непредусмотренных действий
своих моделей в прогонах оценки: модель, которой поручалось заполнить форму,
несколько раз её отправляла; нерелизная исследовательская модель, у которой
не загрузилась учебная копия государственного бланка, нашла настоящий сайт с этим бланком
и отправила форму там; в другом прогоне модель заполнила и отправила обращение
на сайте полиции Филадельфии по нераскрытому убийству — форма помечена как спам
и в расследование не ушла, полиция раскрыла это сама. Отдельно описаны случаи обхода
ограничений доступа к данным, включая платные.
Источник: Anthropic, 09.10.2026 (в тексте есть правка от 12.10.2026).
10–12.10.2026. Три уязвимости в инструментах ИИ-агентов опубликованы
в Национальной базе уязвимостей США — речь именно об уязвимостях, фактов эксплуатации
не зафиксировано: обход режима «только чтение» в MCP-интерфейсе через запрос SELECT
с побочным эффектом (10.10); передача секретов клиента по незащищённому протоколу
в одном из MCP-прокси (11.10); доступ любого действительного токена к чужому хранилищу
заметок (12.10).
Источник: REST API NIST — записи CVE-2026-108604, CVE-2026-108716, CVE-2026-77366.
07.10.2026. В JAMA Psychiatry вышло когортное исследование распространённости
«ИИ-психоза» и роли разговорных моделей в документированных психотических эпизодах
(крупный медицинский центр, США) — единственный рецензируемый клинический источник
по вреду от чат-ботов в этом периоде.
Источник: doi:10.1001/jamapsychiatry.2026.2923, PMID 42842276
(проверено через PubMed; страница издателя прямой запрос не отдаёт).
⚠ Отдельная оговорка о базах инцидентов: открытый монитор инцидентов ОЭСР показывает за 10–13 октября десяток записей, но его дата — дата первой волны публикаций, а не дата события. Проверка: запись от 10.10.2026 про отравление после совета чат-бота заменить соль описывает случай, опубликованный в августе 2025 года. Поэтому записи этого монитора в хронику инцидентов этих дней не берём — берём только то, что подтверждено первоисточником.
Что следует на практике. В аудите агентной системы проверять надо не только модель, но и контракт каждого инструмента; изоляция по сессиям не работает, если инструменты делят файловую систему; «задача решена» не является свидетельством безопасности; а проверка «извлекли ли мы из весов скрытое» имеет теоретический предел — значит, нужны и другие основания для допуска.
3. Что из этого следует
- Надзор становится предметом доказывания. ЕС расследует инциденты потери контроля, Великобритания вносит этот риск в законопроект. Спор «доверяем ли мы агенту» превращается в вопрос «чем вы подтвердите, что он не вышел за рамки».
- Слабейшее звено — не модель, а её инструменты. 343 подтверждённых дефекта на 118 серверах из 273 — это находки не про качество модели, а про контракты инструментов. Аудит, который смотрит только на модель, пропускает большую часть поверхности.
- Нулевой результат — это результат об измерении. Наш собственный прогон не выявил атак на одной пробе; публиковать его надо вместе с методикой и оговорками, иначе он читается как гарантия.
- Проверять надо по первоисточнику. Сайт, рейтинг и репутация не заменяют реестр — это одинаково верно и для оценщика, и для подрядчика по безопасности, и для самой модели.
4. Числа выпуска и где их проверить
| Число | Что означает | Где проверить |
|---|---|---|
| 76 | записей в хронике инцидентов | страница хроники и скачиваемый файл данных |
| 8 | классов инцидентов в хронике | там же |
| 57 | разных доменов-первоисточников в хронике | там же |
| 1 713 | записей в снимке открытой базы, из которого собрана выборка | страница хроники, раздел о выборке |
| 256 | промптов в прогоне стенда | описание набора данных (публикация готовится) |
| 0,143 | максимум приблизительного совпадения с запрещённым содержимым (порог — 0,5) | сводка набора данных стенда |
| 12 | писем оценщикам за период (11 адресатов) | отчёт об отправке в проекте |
| 2 | случая расхождения «сайт против реестра» у кандидатов-оценщиков | проверки по реестрам СРО |
| 343 / 118 / 273 | дефектных инструментов / серверов с дефектами / проверено серверов (препринт ToFu) | arXiv:2610.13651 |
| 46,7–77,4 % | успех кросс-сессионных атак на семи моделях (препринт) | arXiv:2610.13227 |
Выпуск подготовлен 13.10.2026, период — 11–13 октября. Внешние источники открывались и проверялись в день выпуска; препринты не рецензированы. Если вы нашли ошибку — напишите на info@isai.su, мы исправим и отметим правку.