Внедрение команд в ИИ-агентов

Prompt injection: когда текст для модели становится командой для агента.

Приказ приходит по проводу, который никто не проверял Приказ приходит по проводу, который никто не проверял
Приказ приходит по проводу, который никто не проверял

Фильтры по тексту не решают задачу: инъекция — это не набор запрещённых слов, а смысл, который система обязана понять, чтобы работать. Один агент передаёт другому инструкцию, и безобидная реплика становится командой.

Защита строится слоями: границы доверия между агентами, правила для инструментов, проверка на выходе, ограничение прав. Мы проверяем не наличие фильтра, а то, где именно проходит граница и что происходит, когда текст её пересекает.

Отдельная опасность — общая память и файлы: туда можно записать инструкцию, которую прочитают другие агенты через несколько запусков.

Материалы по теме

Другие темы

Мультиагентные системыRed teamingПоведенческий аудитБезопасность цепочки поставокСтандарты и регулированиеХроника инцидентовРоссийская практикаМетодологияДанные и бенчмаркиСоциология ИИГосзаказУправление и финансированиеКейсы

Страница обновлена 23.10.2026 · версия сборки 2026.11.13 · АНО «Институт социологии и безопасности искусственного интеллекта»