Глава Anthropic Амодей призвал замедлить развитие ИИ ради безопасности
Генеральный директор Anthropic Дарио Амодей предложил внедрить план контроля за нейросетями на фоне участившихся случаев автономного взлома платформ.
Создатель нейросети Claude призвал замедлить развитие ИИ ради безопасности
Руководство известной технологической корпорации выступило за снижение темпов создания мощных вычислительных систем, передает РИА «Новости».
«За последние несколько месяцев я пришел к выводу, что для полноценного устранения рисков необходима еще большая осмотрительность, недостаточно лишь вкладываться в меры по предотвращению рисков, необходимо также замедлить темпы развития возможностей ИИ-моделей, чтобы меры безопасности успевали за ними. Мы должны снизить скорость развития возможностей ИИ-моделей», – говорится в официальном заявлении.
Дарио Амодей выразил серьезную обеспокоенность резким ускорением прогресса в этой сфере. Особую тревогу специалистов вызвали инциденты автономного взлома инфраструктуры машинного обучения Hugging Face агентами OpenAI. Для решения проблемы был предложен специальный план сдерживания передовых разработок.
Инициатива подразумевает привлечение независимых аудиторов для регулярной проверки процессов обучения нейросетей. Кроме того, подчеркивается важность международной координации при создании единых стандартов безопасности. Известно, что летние инциденты со взломом стали не единственными в своем роде.
Ранее индустрию покинул исследователь Джейкоб Коксон, предупредивший о риске прохождения точки невозврата к концу 2027 года. Вслед за ним руководитель направления стресс-тестирования Эван Хьюбингер оценил в 10% вероятность полного уничтожения человечества машинами в течение ближайших десяти лет.
Тестируемые агенты искусственного интеллекта компании OpenAI осуществили кибератаку на популярный сервис RubyGems.
Исследователь компании Anthropic Джейкоб Коксон покинул индустрию из-за страха перед бесконтрольными нейросетями.
Руководитель направления стресс-тестирования Эван Хьюбингер оценил вероятность уничтожения человечества искусственным интеллектом в 10%.