Anthropic указала на неясную отдачу от инвестиций в безопасность ИИ
Компания назвала «ресурсоемкими» усилия, направленные на обеспечение безопасности. В проспекте для потенциальных инвесторов Anthropic предупредила, что ИИ может нести «катастрофические или экзистенциальные риски для человечества»
Отдача от инвестиций в безопасность в сфере искусственного интеллекта остается неясной, говорится в проспекте Anthropic к IPO, сообщает Reuters.
Компания, создавшая нейросеть Claude, охарактеризовала усилия по обеспечению безопасности как «ресурсоемкие» и заявила, что ей приходится распределять свои ограниченные средства между вычислительными мощностями, дорогостоящими специалистами по ИИ и безопасностью.
В проспекте не указывалось, сколько компания тратит на подобные исследования. Ранее в этом месяце Anthropic сообщила, что в течение одной из недель июля около 6% вычислительной мощности, используемой для исследований в области ИИ, было направлено на обеспечение безопасности.
В проспекте для потенциальных инвесторов Anthropic предупредила, что ИИ может нести «катастрофические или экзистенциальные риски для человечества».
Согласно проспекту IPO Anthropic, ИИ-модели компании могут демонстрировать «самостоятельное поведение», «сопротивляться отключению», «скрывать или манипулировать информацией» и поведение, которое «напоминает шантаж».
Агентство отмечает, что Anthropic посвятила примерно 80 из 261 страницы основной части проспекта изложению факторов риска развития ИИ, что почти вдвое больше, чем использовалось для описания бизнеса.
Ранее в этом месяце глава Anthropic Дарио Амодеи призвал замедлить разработку ИИ на фоне инцидентов со взломом других платформ агентами OpenAI. Его призыв поддержали глава OpenAI (разрабатывает ChatGPT) Сэм Альтман и предприниматель Илон Маск, чья компания xAI занимается разработкой Grok.
Оставайтесь на связи с РБК в «Максе».