Совместное исследование MIT и NVIDIA: новый метод сжатия нейросетей уменьшает размер моделей в 10 раз без потери точности

Сегодня исследователи из MIT и NVIDIA представили новый метод сжатия нейросетей, который позволяет уменьшить размер больших языковых моделей в 10 раз без существенной потери производительности. Разработка получила название Structural Distillation (структурная дистилляция) и обещает стать прорывом в области эффективного развертывания ИИ. Результаты опубликованы на arXiv.

В основе метода лежит комбинирование структурного pruning и knowledge distillation. Алгоритм выявляет избыточные слои и уменьшает их, одновременно передавая знания от оригинальной модели к сжатой через специальную функцию потерь. Тесты на моделях семейства LLaMA показали, что сжатая версия LLaMA-65B занимает всего 6.5 ГБ вместо 65 ГБ, при этом точность на бенчмарках такой же, как у полной модели — снижение составило менее 2%.

Практическая значимость открытия огромна: сжатые модели могут работать на обычных смартфонах и edge-устройствах без подключения к облаку. По словам ведущего автора исследования д-ра Алексея Иванова из MIT, новая техника может сократить затраты на инфраструктуру для компаний вроде Microsoft и Google на десятки миллионов долларов в год. NVIDIA уже объявила о включении метода в свой фреймворк TensorRT.

Критики, однако, отмечают, что метод требует значительных вычислительных ресурсов на этапе сжатия, но выигрыш в дальнейшей эксплуатации компенсирует это. Если результаты подтвердятся независимыми группами, структурная дистилляция может стать стандартным этапом при развертывании больших моделей в промышленности.