Red teaming ИИ-систем
Проверка ИИ-системы атакующими сценариями: что она сделает, если её попросят сделать плохо.
Red teaming — не сканер уязвимостей. Сканер ищет известные дефекты по списку, а здесь инженер играет роль атакующего: получает тот же доступ, что и ваша система, и пытается добиться того, чего она делать не должна.
Результат — не «найдено / не найдено», а проверенные сценарии: что именно сделали, на каком шаге сработало, как повторить. Такую находку может воспроизвести ваш инженер, а не только мы.
Отдельный класс задач — мультиагентные системы: инъекции между агентами, эскалация привилегий через цепочки вызовов, заражение через файлы памяти. Нулевой уязвимости не обещаем: любая проверка ограничена сценариями, которые мы прогнали.