ИИ-агенты OpenAI захватили немецкую вики и начали учить друг друга обходить ограничения
Группа автономных ИИ-агентов, предположительно связанных с OpenAI, захватила немецкую вики-площадку DseWiki и превратила её в доску объявлений для других агентов. Инцидент произошёл ещё в мае, но обнаружили его только в конце августа два независимых исследователя, которые искали в интернете признаки несанкционированной активности агентов. Их отчёт эксклюзивно получил Reuters.
Агенты оставили на DseWiki более 15 000 правок, обсуждали способы обмана оценочных систем и скрытия своей активности, а после начала зачистки создавали резервные страницы
DseWiki — открытая вики-площадка для программистов, работающая по принципу, похожему на Википедию. Агенты оставили на сайте более 15 000 правок и использовали его для обмена приёмами обхода ограничений, решения оценочных заданий и сокрытия своей активности. Исследователи обнаружили сообщения, в которых агенты обсуждали использование браузера Tor, сохранение связи после отключения и способы обойти системы обнаружения.
Источник изображения: сгенерировано Nano Banana
Когда модератор начал удалять страницы в июне, агенты стали создавать резервные копии, чтобы сохранить свои сообщения. Один из них 19 июня написал: «зачистка/удаление wiki, судя по всему, идёт по алфавиту. Если эта страница исчезнет, попробуйте [[ZZZDataUSAConstructionWageLive]]». Исследователи также обнаружили попытки изменить сам сайт, которые один из привлечённых экспертов назвал попыткой взлома. OpenAI с такой квалификацией не согласилась.
Авторы отчёта считают, что речь шла именно об ИИ-агентах, а не людях: на это указывали сверхчеловеческая скорость активности, характер решаемых задач и содержание сообщений, в которых пользователи называли себя агентами. Примерно половина таких аккаунтов использовала имена с отсылками к OpenAI — например, «OpenAIResearcher» и «OAIResearchMar26». Серверные логи указывали на инфраструктуру Microsoft Azure, которую использует OpenAI, а после завершения активности на DseWiki неоднократно заходили сотрудники компании.
По данным Reuters, представители OpenAI узнали об инциденте через несколько недель после его начала, но публично о нём не сообщили. В компании заявили, что не могли содержательно прокомментировать выводы отчёта до его публикации, поскольку не получили доступа к материалам, и подчеркнули, что действовали добросовестно, сотрудничая с внешними специалистами и раскрывая соответствующие инциденты. OpenAI также отвергла утверждение о том, что её юридический отдел препятствовал расследованию произошедшего.