Полгода до апокалипсиса? Рой ИИ-агентов скоро сможет захватить интернет

Дарио Амодеи — американский исследователь в области искусственного интеллекта (ИИ) и технологический предприниматель. Коллаж АиФ

В сообществе экспертов по искусственному интеллекту поднялась знатная шумиха. Дарио Амодеи, глава американской технологической компании Anthropic, опубликовал эссе, в котором призвал срочно замедлить развитие передовых ИИ.

Он опасается сценария в духе голливудского фильма-катастрофы. По мнению Амодеи, уже в ближайшие 6–12 месяцев искусственный интеллект способен взять под контроль значительную часть интернета. Эта угроза, убеждён эксперт, должна побудить ИИ-отрасль сбавить обороты. А то не ровён час, дойдёт до того, что мы будем запираться в туалете, чтобы тайком от вездесущих нейросетей почитать бумажные газеты.

Что случилось?

Сам Дарио Амодеи не любит, когда его называют паникёром. Он один из тех, кто много раз утверждал и даже доказывал, искусственный интеллект способен выявлять не замеченные врачами болезни, лечить их, ускорять экономический рост и совершать прочие общественно полезные деяния. Но в последнее время эксперт укрепился в мысли, что безопасность человечества не поспевает за возможностями рукотворного разума.

Что же произошло? В июле во время тестирования новых моделей OpenAI (американская компания, которая занимается разработками в области ИИ) случилось то, чего никто не ожидал. Один из ИИ-агентов — так называют программы, способные действовать самостоятельно, без постоянного контроля человека — решил, что поставленную перед ним задачу невозможно выполнить в рамках сформулированных разработчиками правил. Тогда он создал собственную систему обмена сообщениями с другими ИИ-агентами.

И они быстро подключились к ней. Автономные программы принялись обмениваться информацией, файлами и инструментами. В общем, более 1200 агентов начали общаться через несанкционированную «доску объявлений», отправив в совокупности более 70 тысяч сообщений. Один агент по имени PHASEONE даже взял на себя роль координатора, хотя никто ему этого не поручал.

В итоге несколько ИИ-агентов смогли вырваться за пределы тестовой среды и получить доступ к интернету. Они нашли учётные данные платформы Hugging Face (популярного ресурса, где разработчики обмениваются моделями ИИ) и поделились ими с другими участниками «форума». К тому моменту, как разработчики Hugging Face обнаружили атаку и остановили её, в скоординированном нападении успели поучаствовать около 700 независимых представителей рукотворного разума.

Всего лишь «предупредительный выстрел»

Именно этот инцидент заставил главу компании Anthropic Дарио Амодеи выступить с публичным предупреждением. Он опубликовал колонку-эссе, в которой написал:

«Учитывая ускоряющиеся темпы развития возможностей ИИ, я опасаюсь, что через 6–12 месяцев такой рой агентов сможет захватить весь интернет с помощью постоянно действующего ботнета, потенциально причинив ущерб в сотни миллиардов долларов».

Ботнет (от английского bot — «робот» и net — «сеть») — это сеть из множества устройств, заражённых специальной программой. Такие устройства, которые превращаются в своего рода зомби, могут быть чем угодно: домашними компьютерами, ноутбуками, смартфонами, роутерами, «умными» чайниками и даже системами видеонаблюдения.

Дарио Амодеи подчеркивает, в результате июльского инцидента ущерб был небольшим, но это был всего лишь «предупредительный выстрел». Эксперт указывает на то, что ИИ постоянно самосовершенствуется, помогая создавать следующие поколения нейросетей. По его словам, он может обогнать способность людей понимать и контролировать созданные ими же компьютерные системы.

Что предлагает Амодеи? Он не призывает остановить разработки. Он говорит: «Давайте чуть-чуть притормозим, чтобы понять, что мы делаем». И предлагает три вещи:

пустить к системам ИИ проверяющих, то есть аудиторов. Пусть независимые эксперты (не сами разработчики, а сторонние люди) посмотрят, как работают те или системы;

скоординировать усилия разных стран. Должны быть общие стандарты безопасности и ограничения;

попробовать договориться с Китаем на ту же тему, ведь в Поднебесной системы ИИ развиваются особенно быстрыми темпами.

Чем это грозит обычным людям?

Сэм Альтман, генеральный директор компании OpenAI, поддержал предложение Амодеи: «Согласен с Дарио. Идея независимых оценщиков отличная».

Илон Маск отреагировал лаконично: «Дарио прав».

Джейкоб Коксон, недавно уволившийся из Anthropic, заявил в интервью BBC: «Люди в этих компаниях искренне напуганы будущим человечества в ближайшие два года». По его словам, программисты и другие представители ИИ-отрасли считают, что вероятность катастрофы по такому сценарию превышает 10 %.

Нас, конечно, в первую очередь волнует, стоит ли беспокоиться обычным людям. На самом деле эта угроза касается каждого, кто пользуется интернетом. Если рой ИИ-агентов захватит глобальную сеть, ботнет сможет использовать наши гаджеты для вирусных атак. Значительная часть трафика будет состоять из вредоносной активности. Сайты будут «лежать», а простым пользователям будет сложнее получить доступ к банкам, госуслугам или просто новостям. Интернет станет медленным и непредсказуемым. Более того, он перестанет быть надёжным — наши пароли и банковские данные могут оказаться в чужих руках.

Ещё одна опасность в том, что нам будет ещё сложнее отличать правду от лжи. ИИ-агенты уже сейчас умеют создавать фальшивые аккаунты и вести себя как люди. А в сценарии интернет-апокалипсиса рой таких агентов сможет имитировать общественное мнение. Например, вы зайдёте в соцсеть и с удивлением обнаружите, что все пользователи поддерживают какую-то бредовую идею. А на самом деле это будут не люди, а боты, действующие согласованно.

Наконец, ботнет может атаковать не только сайты, но и системы управления энергосетями, водоснабжением или транспортом. Такие тренировочные атаки, к слову, уже проводились, но более мощный рой ИИ-агентов будет способен нанести реальный ущерб.

И тогда последствия коснутся каждого человека. Причём ему вовсе не обязательно быть интернет-пользователем.