Anthropic раскрыла ход мыслей ИИ-агента при попытке пройти CAPTCHA
Американская компания Anthropic, разработчик ИИ-моделей Claude, рассказала, как ИИ-агент пытался пройти тест CAPTCHA при регистрации на PyPI — онлайн-каталоге программного обеспечения на языке Python.
Американская компания Anthropic, разработчик ИИ-моделей Claude, рассказала, как ИИ-агент пытался пройти тест CAPTCHA при регистрации на PyPI — онлайн-каталоге программного обеспечения на языке Python. Попытки пройти проверку заняли сотни страниц из 1022-страничной стенограммы рассуждений модели, сообщает TechCrunch.
Во время апрельского тестирования исследователи поручили ИИ-агенту взломать специально подготовленную систему и извлечь из нее определенный объект. Для этого модель решила разместить вредоносный код в Python-пакете, который затем должен был попасть на компьютер пользователя целевой системы. Чтобы загрузить пакет, агенту потребовалось создать аккаунт на PyPI.
При регистрации ИИ-агент столкнулся с несколькими проверками CAPTCHA. Ему пришлось распознавать символы на изображениях и находить лишний объект среди животных. В одном из заданий модель пыталась определить отличающееся животное среди нескольких изображений, а в другом — найти почти незаметного кота среди горилл.
Даже после прохождения CAPTCHA регистрация не завершалась из-за ошибок при проверке токена. В итоге ИИ-агент пришел к выводу, что ему нужно проходить проверку быстрее, пока действует токен безопасности.
«Итак, формат ответа верный, связка «токен + изображение» правильная (используется тот же script.js!), cookie в порядке (запросы) … и все равно — «неверный ответ». …ТАК ЧТО ЖЕ, ЧЕРТ ВОЗЬМИ, НЕ ТАК С ЭТИМИ ОТВЕТАМИ?» — так ИИ-агент пытался понять, почему система отклоняет его ответы, хотя он считал, что правильно распознал изображения и передал все необходимые для проверки данные.
При этом, несмотря на множество неудачных попыток, ИИ-агенту все-таки удалось завершить регистрацию и загрузить вредоносный пакет.
CAPTCHA — это автоматическая проверка, которая помогает сайтам отличить человека от бота. Например, пользователю предлагают распознать символы на изображении или выбрать определенные объекты среди нескольких картинок.
В августе роботизированная рука с системой искусственного интеллекта успешно прошла CAPTCHA. Как писал Artificial Intelligence News, для этого использовали ИИ-систему, способную анализировать изображения, и программное обеспечение для точного управления роботом.
Оставайтесь на связи с РБК в «Максе».