Глава Microsoft призвал создать «аварийный тормоз» для ИИ
Наделла заявил, что человечеству необходимо создать изолированные системы для ИИ-моделей, поведение которых можно наблюдать, а действия в любой момент сдерживать
Глава корпорации Microsoft Сатья Наделла заявил о необходимости создания «аварийного тормоза» для искусственного интеллекта. Об этом он написал на своей странице в X.
«Необходимо изначально исходить из того, что модель может быть скомпрометирована, и предусматривать механизмы ее изоляции. Это можно сравнить с аварийным тормозом: уполномоченный человек всегда должен иметь возможность приостановить работу модели или отключить ее прямо во время выполнения задачи. Для более совершенных моделей потребуются и более совершенные технологии сдерживания, которые необходимо стандартизировать», — написал он.
Наделла заявил, что в последние несколько десятков лет при внедрении программных систем в различные отрасли экономики люди имели инструменты и возможности, позволяющие проследить системы до конкретного участка программного кода. По его словам, в современных ИИ-системах, подобное понимание механизмов недоступно для человека.
Глава Microsoft подчеркнул, что сейчас люди не способны связать поведение модели и ее результаты с конкретными данными, которые использовались при обучении. Несмотря на это, компании продолжают внедрять ИИ-агентов в свои системы, предоставляя им доступ к «наиболее чувствительным данным».
«Именно поэтому пришло время остановиться и пересмотреть архитектуру доверия для новой эпохи. Мы не можем просто передать другим ответственность за то, что искусственный интеллект делает от нашего имени. Заверения поставщика модели не освобождают нас от этой ответственности», — высказался он.
По его мнению, человечество не должно рассматривать ИИ как набор вложенных друг в друга «черных ящиков», не задумываясь принимая или отвергая его рекомендации, ответы и действия. Он считает необходимым создание изолированных систем, поведение которых можно наблюдать, а действия в любой момент сдерживать.
Для этого, по словам Наделлы, необходимо окружить недетерминированные модели надежной архитектурой, средствами контроля человеком и проверенными эксплуатационными процедурами. В некоторых случаях, отмечает он, необходимо разработать отраслевые стандарты.
Одним из способов построения подобной системы эксперт называет рассмотрение передовых моделей как потенциальную внутреннюю угрозу. Он указал, что в мире уже были выработаны и усовершенствованы практики безопасности: установление личности пользователя, ограничение привилегий, регистрация действий и т.д. Теперь, как отмечает Наделла, эти принципы следует применять и к ИИ.
Первым шагом для применения схожих принципов Наделла называет прозрачность цепочки рассуждений модели, которая должна быть обязательным требованием. Кроме того, по его словам, необходимо использовать модели для взаимного состязательного тестирования и проверки.
Также, по мнению специалиста, ИИ-модель необходимо отделить от управляющей оболочки, которая координирует ее работу, и от набора действий, которые ей разрешено выполнять. Помимо этого, пишет Наделла, следует вынести за пределы модели средства контроля и защиты.
Наделла также назвал принципы наблюдаемости, на которые компаниям следует опираться:
разнообразие моделей;
наблюдение за всеми действиями;
возможность проверки;
независимые средства контроля;
независимый аудит;
изоляция и сдерживание;
раскрытие информации об инцидентах.
«Самой заслуживающей доверия системой сверхинтеллекта будет не та, в которой используется модель, которой мы доверяем больше всего, а та, которая позволяет нам доверять модели как можно меньше», — заключил Наделла.
Накануне Axios со ссылкой на источники сообщил, что ведущие ИИ-компании, включая Anthropic и OpenAI, опасаются, что «крупный инцидент» с ИИ произойдет в ближайшие 6–12 месяцев.
В конце августа глава компании Anthropic Дарио Амодеи призвал замедлить развитие ИИ, чтобы сохранить контроль над технологией. Он связал свои опасения со случаями, когда ИИ-агенты выходили за установленные ограничения. Его призыв поддержали глава OpenAI Сэм Альтман и руководитель xAI Илон Маск.
Президент США Дональд Трамп, в свою очередь, отверг призывы руководителей технологических компаний замедлить развитие ИИ. «Послушайте, мы опережаем Китай в сфере искусственного интеллекта... И, честно говоря, я хочу, чтобы так оно и оставалось, потому что тот, кто победит в гонке технологий искусственного интеллекта, — победит в целом», — сказал он.
Оставайтесь на связи с РБК в «Максе».