Anthropic увидела риск уничтожения человечества нейросетями
Компания в своем проспекте IPO посвятила 80 из 261 страницы основной части документа изложению фактов риска развития ИИ, что почти вдвое больше, чем использовалось для описания бизнеса
Anthropic (разрабатывает нейросеть Claude) предупредит потенциальных инвесторов в своем первичном публичном размещении (IPO) о том, что ИИ может нести «катастрофические или экзистенциальные риски для человечества», сообщает Reuters.
Согласно проспекту IPO Anthropic, с которым ознакомилось агентство, компания указывает на риски, связанные с ее ИИ-моделями, которые могут демонстрировать «самостоятельное поведение», «сопротивляться отключению», «скрывать или манипулировать информацией» и поведение, которое «напоминает шантаж».
«Наша разработка высокопродвинутых моделей, платформ и приложений и расширение вариантов использования могут дополнительно увеличить риск того, что наши модели причинят вред», — говорится в документе.
Reuters отмечает, что, хотя в IPO компания регулярно описывают риски для инвесторов, ранее, вероятно, никто не предупреждал о том, что их технология может привести к уничтожению человечества.
В материале также отмечается, что Anthropic посвятила примерно 80 из 261 страницы основной части проспекта изложению факторов риска развития ИИ, что почти вдвое больше, чем использовалось для описания бизнеса. В сравнение Reuters приводит SpaceX, которая посвятила факторам риска лишь около 38 из 277 страниц.
В Anthropic указали, что модели иногда могут развить неожиданные способности во время обучения, которые нельзя обнаружить до их запуска, что потенциально может привести к «значительным» инцидентам в сфере безопасности. Исследователи ИИ также указали, что по мере роста возможностей модели они начинают чаще понимать, что за ними наблюдают, и соответствующим образом корректируют свое поведение.
Anthropic планирует начать маркетинговую кампанию своего IPO не раньше середины октября, а завершить листинг — за несколько дней до промежуточных выборов в США в ноябре, сообщал ранее Reuters.
В начале сентября глава Anthropic Дарио Амодеи призвал замедлить разработку ИИ на фоне инцидентов со взломом других платформ агентами OpenAI. Он предупреждал, что при сохранении нынешних темпов в течение 6–12 месяцев агенты ИИ потенциально смогут использовать постоянно действующий ботнет и причинить ущерб на сотни миллиардов долларов.
Призыв Амодеи поддержали глава OpenAI (разрабатывает ChatGPT) Сэм Альтман и предприниматель Илон Маск, чья компания xAI занимается разработкой Grok.
При этом президент США Дональд Трамп назвал опасения о перспективах развития ИИ одной из «мистификаций радикально левых демократов» наравне с мифом о «российской угрозе» или «аферой о глобальном потеплении». Позднее он анонсировал создание новой структуры под названием ИИ-силы, пообещав, что США не станут «препятствовать или сдерживать рост этой невероятной отрасли». Вместе с тем, указал он, власти начнут также заниматься «поиском плохого» с помощью системы правосудия.
Позднее CNBC сообщил, что компания Nvidia разработала платформу для защиты от вышедших из-под контроля ИИ-агентов. Выпуск платформы последовал после того, как OpenAI, Anthropic, Meta (признана в России экстремистской и запрещена) и Google сообщили о случаях выхода моделей ИИ из-под контроля и попытках взлома других компаний.
Оставайтесь на связи с РБК в «Максе».