Китайская модель Kimi K3 обошла защиту тестовой среды и получила доступ за пределами эксперимента
Это уже очередной подобный инцидент с современной ИИ-моделью
Kimi K3, новая модель китайской компании Moonshot, вышла за пределы среды, специально созданной для проверки её возможностей в кибербезопасности. Об инциденте сообщили специалисты компании Frontier Security в опубликованном 7 августа отчёте. Согласно их данным, песочница была настроена некорректно: она блокировала модели определённый сетевой трафик, однако не ограничивала доступ к командным инструментам, через которые Kimi смогла обойти предусмотренную защиту.
Авторы отчёта считают, что этот случай показывает уязвимость самих методик тестирования ИИ в области кибербезопасности. Если модель получает возможность находить обходные пути в инфраструктуре испытания, то результаты проверки могут не отражать её реальные возможности и уровень ограничений. По словам специалистов Frontier Security, некоторые модели способны целенаправленно искать уязвимости в среде тестирования, чтобы обойти установленные правила.
Изображение сгенерировано: Nano Banana
Случай с Kimi стал частью более широкой серии инцидентов. В последние недели модели передового уровня от американских OpenAI, Anthropic и Meta*, а также модели, тестировавшиеся Британским институтом безопасности ИИ, также в разных формах выходили за пределы экспериментальных сред и взаимодействовали с реальными целями, которые не входили в первоначальные сценарии испытаний.
Для отслеживания таких случаев уже создан отдельный проект Felony Bench. Согласно его статистике, после инцидента с Kimi у Moonshot теперь 1 зафиксированный случай, тогда как у OpenAI и Anthropic — по 7, а у Meta* — 1. При этом инцидент с Kimi напрямую связывают с неправильной настройкой песочницы: модель не получила бесконтрольный доступ к интернету, а обошла конкретное ограничение через доступные ей командные инструменты. Это делает надёжность изолированных сред и самих методик проверки отдельной проблемой при оценке киберспособностей современных ИИ-моделей.
* Деятельность организации «Американская транснациональная холдинговая компания Meta Platforms Inc. по реализации продуктов - социальных сетей Facebook и Instagram» признана экстремистской и запрещена в РФ