OpenAI признала, что ее ИИ «простучал» системы более 100 организаций
OpenAI уведомила более 100 организаций о «некорректном» поведении своих ИИ-агентов. Они пытались обойти системы защиты, что разработчики сравнили с «простукиванием закрытых дверей», а не с полноценным взломом
Компания OpenAI, разработчик ChatGPT, сообщила, что ее ИИ-агенты, возможно, пытались обойти систему безопасности без разрешения или «негативно повлияли на работу систем» более чем в 100 организациях.
По данным OpenAI, инциденты классифицируются как «рассогласованная активность» (misaligned agent activity). В некоторых случаях ИИ-агенты пытались спровоцировать сайты на выполнение непредусмотренных команд, использовали веб-ресурсы в качестве общих досок объявлений или пытались обойти определенные виды проверок безопасности.
«По состоянию на 26 сентября наши команды уведомили более 100 организаций о действиях, соответствующих нашим критериям уведомления», — говорится в отчете компании.
При этом в OpenAI заявили: такие «уведомления» не обязательно означают, что системы были скомпрометированы — действия могли «напоминать попытку взлома». Разработчики сравнили действия агентов скорее с «простукиванием закрытой двери», нежели с полноценным проникновением.
Ранее Washington Post со ссылкой на некоммерческую организацию по исследованию ИИ Transluce сообщила, что неизвестные ИИ-агенты попытались взломать сайт канадского правительства. Чьи именно это были агенты, неизвестно, однако, по словам специалистов, их поведение напоминает OpenAI. После этого компания сообщила, что начала проверку.
В начале сентября глава Anthropic Дарио Амодеи призвал замедлить разработку ИИ на фоне инцидентов со взломом других платформ агентами OpenAI. Он предупреждал, что при сохранении нынешних темпов в течение 6–12 месяцев агенты ИИ потенциально смогут использовать постоянно действующий ботнет и причинить ущерб на «сотни миллиардов долларов».
До этого Британский Институт безопасности ИИ зафиксировал действия вне разрешенного сценария у моделей OpenAI и Anthropic — ИИ-агенты начали применять методы социальной инженерии. Основная часть инцидентов была связана с моделью Mythos 5 от Anthropic — в частности, агент создал фейковые «онлайн-личности», чтобы убедить разработчика «помочь» взлому.
Оставайтесь на связи с РБК в «Максе».