Hyundai и Kookmin University научили 3D-детектор работать с 75% сокращением модели без потери точности
Метод SharedKD объединяет сжатие нейросети и дистилляцию знаний внутри одного детектора
Исследователи Университета Кукмин и Hyundai Motor представили метод SharedKD для сжатия моделей 3D-детекции, применяемых в системах восприятия окружающей среды.
На тесте nuScenes метод показал результат NDS (nuScenes Detection Score — комплексная оценка качества 3D-детекции) на 2,55% выше предыдущего рекорда при удалении 75% структуры исходной модели.
Ключевое отличие SharedKD заключается в том, как авторы объединили 2 распространённых подхода к уменьшению нейросетей — pruning и дистилляцию знаний. Обычно при дистилляции большая модель-«учитель» и компактная модель-«ученик» существуют отдельно: учитель передаёт ученику информацию о том, как решать задачу. В SharedKD полная версия сети сама выступает динамическим учителем, а её уменьшенная подсеть — учеником. Градиентно-управляемый механизм выбора позволяет этим компонентам одновременно изменяться в процессе обучения, поэтому отдельную постоянно поддерживаемую сеть-учителя создавать не требуется.
Авторы проверили метод на nuScenes — наборе данных для разработки систем автономного вождения с данными автомобильных сенсоров и разметкой объектов окружающей среды. При коэффициенте pruning 75% SharedKD превзошёл предыдущий результат на 2,55% по NDS. Этот показатель объединяет несколько характеристик качества 3D-детектора и используется для комплексной оценки того, насколько точно система распознаёт и локализует объекты в пространстве. Таким образом, заявленный результат относится именно к указанной степени сокращения модели и конкретному тесту nuScenes.
Архитектура SharedKD рассчитана на ситуацию, когда модели компьютерного зрения приходится одновременно сохранять точность и работать с ограниченными вычислительными ресурсами. По данным Университета Кукмин, метод позволяет снижать вычислительную нагрузку и время выполнения, однако в опубликованных материалах нет конкретных измерений этих параметров. В частности, авторы не сообщили о производительности на автомобильных ускорителях, задержке обработки кадров, пропускной способности, потреблении памяти или электроэнергии.
Поэтому представленный результат пока что относится к исследовательскому уровню: он демонстрирует преимущество метода на бенчмарке, но не подтверждает готовность SharedKD к установке в серийный автомобиль. Для такого вывода требуются отдельные испытания на целевом оборудовании, с конкретными конфигурациями сенсоров, ограничениями по задержке и наборами данных, используемыми при проверке безопасности систем автономного вождения.