Внедрение команд в ИИ-агентов
Prompt injection: когда текст для модели становится командой для агента.
Фильтры по тексту не решают задачу: инъекция — это не набор запрещённых слов, а смысл, который система обязана понять, чтобы работать. Один агент передаёт другому инструкцию, и безобидная реплика становится командой.
Защита строится слоями: границы доверия между агентами, правила для инструментов, проверка на выходе, ограничение прав. Мы проверяем не наличие фильтра, а то, где именно проходит граница и что происходит, когда текст её пересекает.
Отдельная опасность — общая память и файлы: туда можно записать инструкцию, которую прочитают другие агенты через несколько запусков.