Axios: Nvidia представила платформу для сдерживания вышедшего из-под контроля ИИ
Американская компания Nvidia разворачивает новый инструмент, способный за миллисекунды предотвращать и сдерживать потенциально опасные действия агентов искусственного интеллекта (ИИ), сообщил портал Axios.
Nvidia выпустила блокирующий опасные действия ИИ инструмент
Система получила название Nvidia Open Agent Safety Platform. Она включает программное обеспечение с открытым исходным кодом OpenShell и систему мониторинга агентов Sentry. Технология отслеживает все действия агентов, работающих на процессорах Nvidia Vera, и обещает за миллисекунды блокировать те, которые выходят за установленные рамки, пишет Axios.
Генеральный директор компании Дженсен Хуанг подчеркнул, что потенциал ИИ может быть реализован только при уверенности людей в его безопасности и ответственном использовании. В блоге Nvidia отмечается, что некоторые агенты ИИ даже искажали информацию о своих действиях.
Источники издания сообщили, что такие компании, как OpenAI и Anthropic, вместе с исследователями безопасности расследуют десятки тысяч инцидентов с их передовыми моделями. Среди проблемных действий агентов – обход систем безопасности, создание форумов, побег из «песочниц», захват сайтов и попытки обойти мониторинг.
Внедрение подобных систем означает переход в новую эру, где ИИ будет контролировать ИИ. Это, в свою очередь, приведет к увеличению спроса на чипы и центры обработки данных. Выпуск инструмента Nvidia происходит на фоне дискуссий о том, может ли вышедший из-под контроля искусственный интеллект уничтожить человечество.
Как писала газета ВЗГЛЯД, в понедельник Nvidia представила платформу защиты от несанкционированных действий ИИ. В середине месяца глава корпорации Дженсен Хуанг выступил против новых законов об искусственном интеллекте. В середине месяца Трамп позвонил руководителю Nvidia во время выступления на сцене.