ИИ-агенты научились скрывать атаку в собственной памяти: безобидные запросы могут привести к опасному результату
Исследование, опубликованное в IEEE Access, проанализировало 2614 многошаговых атак на ИИ-агентов, сохраняющих информацию между сессиями. Результат: атаки с медленным дрейфом и бэкдор-активацией могут выглядеть полностью безобидными на протяжении почти всей задачи, а срабатывают лишь в последних взаимодействиях. Пошаговые проверки, ориентированные на отдельные промпты, «слепнут» перед такой стратегией.
Исследование 2614 атак показало, почему проверка отдельных промптов не работает против медленного дрейфа и бэкдоров: вредоносная инструкция может незаметно пережить несколько сессий
Авторы выделили 4 семейства: «цепное отравление», «перезапись политик», «активация бэкдоров» и «медленный дрейф». Все они атакуют не инъекцией в текущий промпт, а заточены на постоянное состояние агента — память, которая переживает конкретную сессию. Непроверенный входной сигнал записывается в долговременное хранилище, извлекается в следующей сессии и влияет на планирование или вызов инструментов после цепочки стандартных взаимодействий.
Источник изображения: сгенерировано Nano Banana
Отдельная проверка метода от Palo Alto Networks Unit 42 показала этот механизм в действии: косвенные промпт-инъекции(indirect prompt injection) в сконфигурированном Amazon Bedrock Agent меняли сводки сессий, позволяя вредоносным инструкциям перекочёвывать в последующие сессии. Это не конкретная уязвимость, а фундаментальная проблема всех систем, где непроверенный контент может влиять на хранимую память агента.
Для команд, развёртывающих агентов с памятью, вывод жёсткий: тестировать нужно всю цепочку — запись, ответы агентов и последующие действия с инструментами — как единую последовательность. Остановка проверки сразу после обнаружения подозрительного контента гарантированно пропускает отложенную активацию. Запись происхождения хранимых воспоминаний и ограничение того, какие непроверенные входные данные могут становиться частью контекста, — минимальный практический барьер.
Исследование выполнено на сконструированном наборе симулированных атак, поэтому не оценивает реальную распространённость. Но эмпирическое доказательство того, что память меняет временной профиль угрозы, — прямой сигнал для агентов с доступом к инструментам.