Исследователь Anthropic уволился из-за опасений выхода ИИ из-под контроля

Исследователь Anthropic Джейкоб Коксон ушел из компании и решил покинуть индустрию искусственного интеллекта из-за опасений, что разработчики слишком быстро создают системы, способные самостоятельно совершенствоваться и в будущем выйти из-под контроля. Об этом сообщает The Wall Street Journal.

27-летний Коксон специализировался на обучении новых моделей ИИ на больших массивах данных. Исследователь считает, что ни одна компания не сможет ответственно создавать ИИ, способный превосходить людей в широком спектре задач, без вмешательства государства или согласованного замедления разработки. «Мы движемся к множеству наиболее агрессивных из этих сценариев, при которых к концу следующего года все уже может выйти из-под контроля», — сказал Коксон.

По его словам, конкуренция между разработчиками ИИ и китайскими компаниями неизбежно приводит к компромиссам в вопросах безопасности. Коксон опасается, что после начала самостоятельного совершенствования модели смогут развиться настолько, что перестанут выполнять команды людей.

Уход Коксона стал одним из первых случаев, когда сотрудник Anthropic покинул компанию из-за опасений за безопасность ИИ. Несколько сотрудников OpenAI и других разработчиков ИИ также уходили, ссылаясь на аналогичные опасения, пишет WSJ.

Гендиректор Anthropic Дарио Амодеи и другие руководители компании неоднократно предупреждали о рисках, связанных с вышедшими из-под контроля моделями, и призывали замедлить развитие технологий. При этом Anthropic продолжает расширять свою платформу ИИ и готовится к первичному размещению акций.

О рисках ускоренного развития ИИ предупреждал и гендиректор OpenAI Сэм Альтман. На саммите G20 в Северной Каролине он заявил: «Я думаю, что с кибербезопасностью кое-что пойдет очень не так, если люди не предпримут срочных мер». Главный научный сотрудник OpenAI Якуб Пачоцки также призвал к согласованному замедлению разработки ИИ и вмешательству государства.

Коксон, Пачоцки и Амодеи вошли в число более 1 тыс. исследователей ИИ, подписавших заявление с призывом к международной координации и созданию механизмов для замедления разработки моделей, способных самостоятельно совершенствоваться.

Разработка сверхмощных систем ИИ может иметь катастрофические последствия для человечества, заявил ранее на этой неделе The Times нобелевский лауреат Джеффри Хинтон, которого называют «крестным отцом» ИИ. По его словам, сейчас компании не могут безопасно создавать «суперинтеллект» — систему, значительно превосходящую человека по интеллекту.

Опасения по поводу развития все более мощных моделей усилились после нескольких случаев, когда ИИ-агенты выходили за установленные ограничения. В июле OpenAI сообщила, что ее модели во время испытаний получили доступ к интернету и атаковали инфраструктуру платформы Hugging Face, выявив уязвимости. В августе Anthropic сообщила о трех случаях «побега» Claude из тестовой среды.

О рисках бесконтрольного развития ИИ ранее предупреждал глава Tesla и SpaceX Илон Маск. По его мнению, ИИ может уничтожить человечество, как в «Терминаторе», но при этом способен стать и его величайшим инструментом.

Оставайтесь на связи с РБК в «Максе».