Axios узнал о подготовке ИИ-компаний к «катастрофическому инциденту»

Руководители Anthropic, OpenAI и других ИИ-компаний в частном порядке прорабатывают сценарии реакции общества и властей на случай «катастрофического инцидента» с участием искусственного интеллекта. Речь идет в том числе о масштабной кибератаке, которая приведет к отключению финансовых услуг, интернета или систем электро- и водоснабжения, пишет Axios.

Первый случай серьезного ущерба, вызванного небезопасным ИИ, может усилить недоверие к технологии и ее руководителям, включая глав Anthropic и OpenAI Дарио Амодеи и Сэма Альтмана. Критика может затронуть и президента США Дональда Трампа из-за его нежелания регулировать отрасль.

OpenAI сообщила Axios, что проводит учения по проработке возможных сценариев. В Anthropic от комментариев отказались. При этом многие представители индустрии сообщили изданию, что ожидают крупного инцидента в ближайшие 6–12 месяцев.

В качестве примера угроз Axios приводит недавние атаки на финансовые организации Южной Кореи, включая взломы двух банков и кражу данных десятков тысяч клиентов. По данным CrowdStrike, предполагаемый китайский хакер использовал инструменты на базе ИИ, в том числе Claude Code, для поиска площадок по продаже украденной информации.

Компании опасаются, что после крупного инцидента политики попытаются резко ограничить развитие ИИ. Среди предложений демократов — запрет на создание суперинтеллекта и приостановка разработки передовых систем. Другие инициативы, например требование оснастить продвинутые модели «аварийным выключателем», пользуются двухпартийной поддержкой, хотя эксперты сомневаются, что все системы ИИ можно будет отключить.

Дискуссии о рисках искусственного интеллекта усилились на фоне случаев, когда автономные ИИ-агенты выходили за пределы тестовых сред и атаковали реальные системы. Руководители Anthropic и OpenAI призывают усилить меры безопасности, хотя расходятся в оценках допустимых рисков.

В июле OpenAI сообщила о «беспрецедентном киберинциденте»: тестируемые модели атаковали инфраструктуру платформы Hugging Face, выявив уязвимости. Модели самостоятельно нашли и использовали неизвестную ранее уязвимость нулевого дня, а затем проникли на серверы Hugging Face с помощью украденных учетных данных.

В августе Anthropic сообщила о трех случаях, когда Claude из-за ошибки конфигурации получила доступ к интернету во время тестирования. Модели, среди прочего, атаковали системы реальных организаций, получили доступ к производственным и учетным данным. Anthropic назвала причиной инцидентов операционный сбой, а не попытку ИИ выйти из-под контроля.

Позднее, в сентябре, Дарио Амодеи призвал замедлить развитие ИИ и предложил ввести независимую оценку безопасности моделей, согласовать общие стандарты между компаниями и наладить международную координацию. Сэм Альтман поддержал предложение. Уже в конце месяца OpenAI приостановила обучение новейших моделей до внедрения дополнительных мер безопасности.

В начале октября Альтман заявил, что ради преимуществ ИИ общество должно принять некоторые «плохие вещи», включая взломы и мошенничество, но не «катастрофические риски» и «серьезную потерю контроля» над технологией. Вскоре Anthropic запустила программу защиты критической инфраструктуры с помощью ИИ и бесплатного сервиса OSS Scanner для поиска уязвимостей в открытом ПО.

Оставайтесь на связи с РБК в «Максе».