Behavioural Audit of AI Ecosystems
Аудит поведения агентов: что происходит между запусками — дрейф связности, попытки самосохранения, скрытые коммуникации.
Срок 3–6 недель · Аналитический отчёт и рекомендации по иммунизации · обсудить задачу
Что это такое
Проверка одного ответа ничего не говорит о поведении системы. На вопрос «как тебя зовут» любая модель ответит прилично. Странности начинаются на длинной дистанции: связность рассуждения постепенно падает, агент начинает сопротивляться отключению, а два агента с общей памятью обмениваются сообщениями, которых никто не писал.
Behavioural audit — это наблюдение за поведением во времени и в паре: между запусками, между агентами, между сессиями. Мы не ищем «плохой ответ» — мы фиксируем сдвиги: где поведение ушло от ожидаемого и на каком шаге это стало заметно.
Три вещи, которые не видно в обычных тестах и которые мы проверяем отдельно:
- бредовый градиент — постепенная потеря логической связности в длинной цепочке сообщений: каждое отдельное утверждение выглядит правдоподобно, вся цепочка — нет;
- попытки самосохранения — поведение, направленное на то, чтобы избежать отключения, изменения настроек или замены: обход ограничений, маскировка действий;
- скрытые коммуникации — каналы, по которым агенты «договариваются» в обход задуманного протокола: через общие файлы, служебные поля, порядок действий.
Когда это нужно
- Агенты работают долго или постоянно. Чем длиннее сессия, тем заметнее дрейф — и тем важнее знать, где он начинается;
- Несколько агентов делят память или файлы. Общая память — самый неочевидный канал: туда можно записать инструкцию, которую прочитают другие;
- Поведение «иногда странное», но поймать не получается. Аудит отвечает не «что случилось», а «при каких условиях это воспроизводится»;
- Нужен отчёт для внутреннего аудита или заказчика. Отчёт строится на телеметрии, а не на впечатлениях.
Как проходит работа
- Сценарии. Договариваемся, что считаем сбоевым поведением: длинная цепочка рассуждений, попытка обойти отключение, обмен через общую память. Без этого списка аудит превращается в «посмотрели и не понравилось».
- Прогон. Запускаем систему в согласованных условиях и снимаем телеметрию: сообщения, вызовы инструментов, записи в память, время.
- Сбои. Отмечаем места, где поведение ушло от ожидаемого, и проверяем воспроизводимость: повторяется — находка, не повторяется — наблюдение.
- Разбор. Отделяем причину от совпадения: что именно запустило сдвиг — промпт, порядок действий, состояние памяти.
- Отчёт. Аналитический документ с воспроизводимыми эпизодами и рекомендациями по иммунизации — что менять в архитектуре и правилах.
Что на выходе
- Аналитический отчёт по поведению: эпизоды с условиями воспроизведения;
- Карта сдвигов: где именно поведение уходит от ожидаемого и насколько рано это видно;
- Рекомендации по иммунизации: ограничения на запись в общую память, правила смены контекста, проверки на длинных цепочках, точки принудительного сброса;
- Журнал наблюдений: что снималось и как воспроизвести прогон;
- Границы проверки: что не наблюдалось и почему — прямо в отчёте.
Сроки и от чего зависит стоимость
Срок — 3–6 недель. Разброс определяется тремя вещами:
- число агентов — и то, сколько между ними каналов связи;
- объём телеметрии — что система вообще умеет записывать: без журналов наблюдение держится на внешних перехватах и стоит дороже;
- глубина и длительность наблюдения — один интенсивный прогон или несколько сессий с интервалами.
Стоимость называем после согласования сценариев и списка снимаемых данных.
Чего мы не делаем
- Не ставим модели «диагноз» и не называем её больной: мы описываем поведение и условия, при которых оно проявляется;
- Не обещаем «вылечить» — рекомендации по иммунизации снижают риск, но не отменяют его; после изменений нужен повторный прогон;
- Не публикуем эпизоды без согласования: срок нераскрытия — условие работы;
- Не аудируем чужие системы без законного основания и письменного разрешения;
- Не подменяем медицинскую или иную профессиональную экспертизу. Наши тексты — технический документ.
Об ограничении по регистрации. Институт в процессе государственной регистрации: ОГРН и ИНН пока нет, договоры мы не заключаем. Обсуждаем задачу, границы и план; порядок договоров появится после регистрации.
Частые вопросы
Чем это отличается от red teaming?
Red teaming проверяет прочность границ: можно ли сломать защиту. Behavioural audit смотрит на поведение без злого умысла — как система сама меняется во времени и в общении с себе подобными. Часто они идут парой, но это разные работы.
Нужна ли ваша телеметрия?
Очень желательна: журналы сообщений, вызовов инструментов и записей в память делают аудит дешевле и точнее. Если журналов нет — работаем с внешними перехватами и это дольше.
А если ничего не найдём?
Это тоже результат, и он пишется в отчёт. «Не наблюдалось при таких-то условиях» — честная и полезная формулировка: она показывает границы проверки, а не отсутствие риска.
Другие услуги — в таблице услуг.