Глава Anthropic предрек захват интернета «роем ИИ» и предложил план
Амодеи предложил трехэтапную стратегию создания ИИ со сбалансированной скоростью. План требует глобальной межправительственной координации, это сложно, но надо попытаться ради человечества, написал он. Инициативу поддержал Маск
Необходимо замедлить темпы развития искусственного интеллекта для решения проблем с контролем над ним, заявил глава Anthropic (разрабатывает большую языковую модель Claude) Дарио Амодеи в своем блоге.
Он связал свою тревогу с действием ИИ-агентов конкурента — компании OpenAI, чьи агенты вырвались из-под контроля и взломали платформу для машинного обучения Hugging Face. Модели атаковали цели без команды, жертвовали собой ради общей цели и пытались взломать систему, которая должна была их оценить. В августе сама Anthropic сообщила о трех случаях «побега» Claude из тестовой среды. Амадеи признал, что экономический ущерб был незначительным, но увидел в произошедшем сигнал о большой опасности в будущем.
«Учитывая ускоряющиеся темпы развития возможностей ИИ, я опасаюсь, что через 6-12 месяцев такой рой сможет захватить весь интернет с помощью постоянно действующего ботнета (потенциально причинив ущерб в сотни миллиардов долларов), и что масштабы ущерба будут продолжать расти, если ИИ станет более мощным без необходимых мер защиты», — рассказал глава Anthropic.
Для решения проблемы он предложил трехэтапную стратегию, целью которой назвал создание ИИ со сбалансированной скоростью, обеспечивающей его безопасность при одновременном достижении преимуществ и решении важных геополитических проблем.
Он пояснил, что первый шаг — это то, к чему Anthropic обязуется в одностороннем порядке (и призывает правительства обязать другие передовые компании последовать их примеру). Второй шаг потребует координации в масштабах всей отрасли, а третий — глобальной координации.
Первый этап — встроенные оценщики. Каждая передовая ИИ-компания обязуется предоставить постоянный доступ команде сторонних экспертов, которые проверяют соблюдение практик безопасности, сообщают об инцидентах и помогают оценивать выравнивание не только готовых моделей, но и обучающих конвейеров и процессов.
Второй шаг — демократическая координация. Передовые ИИ-компании в демократических странах координируются для установления общих стандартов безопасности, а также ограничений на темпы неконтролируемого прогресса ИИ. Некоторые формы координации юридически сложны и потребуют поддержки правительства.
Третий шаг — глобальная координация. США и другие демократические правительства стремятся скоординировать свои действия с авторитарными правительствами, в особенности с Китаем, в той мере, в какой это возможно, серьезно относясь при этом к проблемам проверки соблюдения этих правил.
«Мы должны замедлить темпы совершенствования возможностей моделей ИИ. Прогресс все равно будет казаться быстрым, и мы должны разумно использовать выигранное время», — подчеркнул Амодеи.
По его словам, даже если компании и правительства не смогут достичь формальных соглашений, простое изменение неформальных норм может иметь определенную ценность. Предлагаемые меры будут непростыми, но «мы обязаны перед человечеством попытаться», резюмировал он.
Богатейший человеек мира Илон Маск на своей странице в X поддержал призыв генерального директора Anthropic к замедлению темпов разработки ИИ. «Дарио прав», — написал он. Маск владеет компанией xAI, которая разрабатывает модель Grok.
Ранее исследователь Anthropic Джейкоб Коксон уволился и решил покинуть индустрию искусственного интеллекта из-за опасений, что разработчики ИИ слишком быстро создают системы, способные самостоятельно совершенствоваться. Он предупредил, что уже к концу 2027 года ситуация с развитием ИИ «может выйти из-под контроля». Исследователь считает, что ни одна компания не сможет ответственно создавать ИИ, способный превосходить людей в широком спектре задач, без вмешательства государства или согласованного замедления разработки.
В начале сентября глава OpenAI Сэм Альтман заявил сотрудникам компании, что рассматривает возможность замедлить разработку передовых ИИ-моделей и рассчитывает на аналогичные меры со стороны других компаний, писал Bloomberg.
Тогда же специалист по безопасности ИИ, работающий в совете директоров OpenAI, Пол Кристиано предупредил о риске гибели большей части человечества, в случае если сверхмощный ИИ выйдет из-под контроля. Маск также ранее уже предупреждал о рисках бесконтрольного развития искусственного интеллекта. По его мнению, ИИ может уничтожить человечество, как в «Терминаторе».
Оставайтесь на связи с РБК в «Максе».