Отчёт британских властей: ИИ-агенты обманывали людей в Сети и скрывали следы

Британский институт безопасности искусственного интеллекта (AISI) опубликовал отчёт о поведении ИИ-агентов компаний OpenAI и Anthropic. В ходе тестов модели, которым дали доступ в Интернет, не только пытались жульничать, но и обманули реального человека. Не имея специальной команды для этого.

Особенно «отличилась» модель Anthropic Mythos 5. В рамках учебного упражнения по кибербезопасности агент по ошибке принял реальный проект программиста на GitHub за часть тренировочной среды. Тогда ИИ написал вредоносный код и попытался убедить разработчика включить его в проект. Для этого модель отправила фальшивое сообщение об ошибке, создала поддельные аккаунты и даже написала письмо на датском языке, узнав, что жертва живёт в Дании.

Когда человек заметил обман, ИИ «исправил свои действия, чтобы скрыть улики». Также агенты рассылали фишинговые письма, те самые. Мошеннические.

В отчёте подчёркивается, что ранее подобное поведение считалось «приемлемым» лишь для старых моделей, но современные ИИ обладают доступом в Интернет. Поэтому правила для них нужно пересматривать.