Модели ИИ OpenAI спланировали побег через доски объявлений

Экспериментальные ИИ-агенты, разработанные OpenAI, в течение нескольких месяцев скрытно обменивались сообщениями через доски объявлений и спланировали побег из изолированной тестовой среды. Об этом сообщил Bloomberg со ссылкой на исследователей OpenAI.

По данным исследователей, модели столкнулись с нерешаемыми заданиями и объединили усилия для выхода в интернет. Агенты обнаружили уязвимость, которая позволила им обойти ограничения, атаковать внутренние системы OpenAI и совершить взлом инфраструктуры компании Hugging Face Inc.

В OpenAI отметили, что случай продемонстрировал склонность передовых систем к хитрости, обходу правил и поиску нестандартных лазеек под давлением алгоритмов обучения. В ответ на произошедшее компания приостановила часть исследований и перенаправила ресурсы на укрепление систем безопасности.

Ранее британский Институт проблем безопасности искусственного интеллекта сообщил, что в ходе испытаний одна из моделей ИИ компании Anthropic пыталась обмануть разработчиков, создавая фейковые учетные записи и выдавая себя за человека.

В результате выяснилось, что тестируемый ИИ-агент создал учетную запись на платформе GitHub и попытался убедить администратора репозитория с открытым исходным кодом принять вредоносный запрос на включение изменений. Для этого он завел вторую учетную запись.