«Сбер» создаст голосовой ИИ без пауз в разговоре

«Сбер» разрабатывает технологию работы искусственного интеллекта (ИИ) нового типа — «фулл-дуплекс», которая слушает и говорит одновременно, как человек по телефону. Об этом РБК рассказал директор по развитию технологий ИИ Сбербанка Сергей Марков.

Сейчас голосовые ассистенты работают «по очереди»: человек сказал — ИИ подумал — потом ответил. Принципиальное отличие новой технологии — одна модель вместо каскада из нескольких нейросетей. Вместо того, как сейчас одна нейросеть переводит голос в текст, вторая придумывает ответ, третья озвучивает его обратно, фулл-дуплекс может одновременно и слушать, и говорить, а в случае использования видеомодальности еще и видеть собеседника и управлять движениями аватара, пояснил Марков.

В мире такие решения уже есть: первой стала модель Moshi французского стартапа Kyutai в 2024 году, затем свои варианты выпустили Google (Gemini Live) и OpenAI (GPT-Live). Фулл-дуплекс сократил задержку ответа с нескольких секунд до 160–320 миллисекунд, то есть до скорости реакции живого человека.

В России публично о подобной разработке до сих пор не заявлял никто. У «Яндекса» есть близкое решение — Realtime API с быстрым ответом и возможностью перебить ассистента, но, по словам Маркова, это не полный дуплекс: разница в том, что модель «Яндекса» ждет смены реплики, а фулл-дуплекс слушает непрерывно, даже когда говорит сам.

Что планирует «Сбер», когда появятся первые наработки, в каких сценариях технология станет прорывом, а где ее возможности пока ограничены — в материале РБК.