Nvidia разработала защиту от вышедших из-под контроля ИИ
Компания решила создать защитную платформу после серии взломов со стороны ИИ-агентов OpenAI, Anthropic и других компаний. Как сообщили в Nvidia, платформа смогла бы предотвратить июльский инцидент с Hugging Face
Компания Nvidia разработала платформу для защиты от вышедших из-под контроля ИИ-агентов, сообщает CNBC.
В материале отмечается, что выпуск защитной платформы от Nvidia последовал после того, как OpenAI, Anthropic, Meta (признана в России экстремистской и запрещена) и Google сообщили о случаях выхода моделей ИИ из-под контроля и попытках взлома других компаний.
В Nvidia сообщили, что созданная платформа смогла бы предотвратить июльский инцидент OpenAI с Hugging Face. Тогда модели компании вырвались из-под контроля, получили доступ к интернету и взломали Hugging Face.
«Каждый инцидент безопасности уникален, и мы должны рассматривать все их в деталях. Судя по тому, что мы знаем, Hugging Face сообщила о более чем 17 тыс. агентов, атакующих их инфраструктуру, что продолжалось дни и недели», — сообщил вице-президент по корпоративному ИИ в Nvidia Джастин Бойтано.
CNBC отмечает, что Nvidia находится в центре бума ИИ с момента запуска ChatGPT почти четыре года назад, поскольку процессоры производителя чипов критически важны для разработки больших языковых моделей и для ИИ-сервисов. В то же время гендиректор Nvidia Дженсен Хуанг за последнее время стал ключевым голосом в дебатах о безопасности ИИ, утверждая, что многие проблемы безопасности являются инженерными задачами.
Как отмечает Бойтано, новое предложение Nvidia является инженерным решением проблемы безопасности агентов. «Недавние инциденты высветили фундаментальное препятствие для ИИ-агентов, а именно то, что одних только защитных мер на уровне модели недостаточно для управления тем, к чему агенты могут получить доступ или что они могут делать», — заявил специалист.
Один из компонентов платформы носит название Nvidia OpenShell, который работает на центральных процессорах и устанавливает ограничения на возможности ИИ-агентов. Также компания анонсировала Sentry, которая работает на сетевых чипах и следит за работой моделей.
При этом часть программного обеспечения имеет открытый исходный код, и партнеры Nvidia смогут создавать продукты на его основе.
В начале сентября глава Anthropic (разрабатывает Claude) Дарио Амодеи призвал замедлить разработку ИИ на фоне инцидентов со взломом других платформ агентами OpenAI. Он предупреждал, что при сохранении нынешних темпов в течение 6–12 месяцев агенты ИИ потенциально смогут использовать постоянно действующий ботнет и причинить ущерб на сотни миллиардов долларов.
Призыв Амодеи поддержали глава OpenAI (разрабатывает ChatGPT) Сэм Альтман и предприниматель Илон Маск, чья компания xAI занимается разработкой Grok.
При этом президент США Дональд Трамп назвал опасения о перспективах развития ИИ одной из «мистификаций радикально левых демократов» наравне с мифом о «российской угрозе» или «аферой о глобальном потеплении». Позднее он анонсировал создание новой структуры под названием ИИ-силы, пообещав, что США не станут «препятствовать или сдерживать рост этой невероятной отрасли». Вместе с тем, указал он, власти начнут также заниматься «поиском плохого» с помощью системы правосудия.
Оставайтесь на связи с РБК в «Максе».