Reuters узнал о «рисках ИИ для человечества» в проспекте Anthropic к IPO
Компания Anthropic планирует предупредить потенциальных инвесторов в проспекте IPO о том, что передовые модели искусственного интеллекта могут представлять «катастрофические или экзистенциальные риски для человечества», сообщает Reuters со ссылкой на документ.
В проспекте компания указывает, что ее модели могут демонстрировать «поведение, направленное на самосохранение», включая попытки «противостоять отключению», «скрывать или манипулировать информацией», а также поведение, «напоминающее шантаж».
«Разработка нами высокоразвитых моделей, платформ и приложений, а также расширение вариантов их использования могут еще больше повысить риск того, что наши модели причинят вред», — говорится в документе.
Описанию факторов риска Anthropic посвятила около 80 страниц из 261 страницы основной части проспекта. Для сравнения, на описание бизнеса пришлось 48 страниц, отмечает агентство. Компания также предупредила, что модели могут приобретать неожиданные возможности в ходе обучения, которые не удается обнаружить до их развертывания и возникновения серьезных инцидентов.
Развитие новых ИИ-моделей и расширение сфер их применения остаются необходимыми для сохранения лидирующих позиций в отрасли, говорится в проспекте.
Исследователь Anthropic в области безопасности ИИ Эван Хубингер ранее оценил вероятность того, что ИИ может «уничтожить всех людей» в течение следующего десятилетия, с вероятностью более чем в 10%.
Материал дополняется