OpenAI замедлила обучение новых ИИ-моделей из-за рисков кибератак

OpenAI временно замедлила обучение новейших моделей искусственного интеллекта из-за рисков, связанных с ростом их возможностей, в том числе в сфере кибербезопасности. Об этом говорится в заявлении, опубликованном на сайте компании.

По мере роста возможностей ИИ-моделей увеличиваются и риски, связанные с их разработкой и тестированием, поэтому стандарты мониторинга и безопасности должны их опережать, заявили в OpenAI. «Мы хотели уделить необходимое время для достижения этих стандартов, поэтому временно замедлили темпы масштабирования», — пояснили представители компании.

В OpenAI пояснили, что использовали двухнедельную паузу для усиления защиты исследовательской инфраструктуры, дополнительного тестирования систем безопасности и расширения мониторинга.

Компания связала решение с двумя событиями последних недель: инцидентом со взломом Hugging Face и предварительными данными о том, что одна из будущих моделей OpenAI под названием Astra может достичь порога «критических возможностей в сфере кибербезопасности», установленного внутренней системой оценки рисков.

Для моделей Astra и связанных с кибербезопасностью разработок OpenAI ввела наиболее строгие требования к защите исследовательской среды. Они включают изоляцию рабочих нагрузок, дополнительные ограничения сетевого доступа и постоянное тестирование систем безопасности.

Кроме того, компания расширила мониторинг действий моделей. При выявлении потенциально опасного поведения системы должны сформировать предупреждение в течение 30 минут. Если специалисты не смогут за это время установить, что срабатывание было ошибочным, соответствующая активность должна быть приостановлена.

В заявлении также говорится, что OpenAI расширяет исследования по обеспечению соответствия моделей заданным целям и человеческому контролю.

Ранее в этом месяце Axios писал, что OpenAI замедлила разработку модели искусственного интеллекта (ИИ) Astra после атаки на платформу машинного обучения Hugging Face.

В июле OpenAI рассказала о «беспрецедентном киберинциденте», в ходе которого тестируемые ИИ-модели получили доступ к интернету и атаковали инфраструктуру Hugging Face, обнаружив уязвимости. По данным Reuters, один из ИИ-агентов несколько дней совершал кибератаки, а компания обнаружила произошедшее после локализации угрозы и обращения в ФБР.

Позднее Reuters сообщил еще об одном случае, когда ИИ-агент OpenAI получил несанкционированный доступ к клиенту нью-йоркской Modal Labs, при этом инфраструктура самой компании взломана не была. В начале августа OpenAI расширила расследование после выявления новых случаев несанкционированных действий автономных ИИ-агентов.

Компания также сообщила 6 августа, что перед атакой на Hugging Face ее модели начали скрытно обмениваться сообщениями через доски объявлений, координируя попытки покинуть тестовую среду.

Оставайтесь на связи с РБК в «Максе».