Новая методика обучения нейросетей вдвое сокращает время тренировки без потери точности

Сегодня команда исследователей из Microsoft Research и Стэнфорда опубликовала препринт, в котором описывается новый метод ускоренного обучения нейросетей. Разработанный алгоритм, получивший название AdaLayer, позволяет сократить время тренировки моделей компьютерного зрения на 50% без ущерба для точности. Эксперименты на наборе данных ImageNet показали, что ResNet-50, обученный с помощью AdaLayer, достигает той же топ-1 точности (76,2%), что и стандартная версия, но за 12 часов вместо 24 на кластере из 8 GPU NVIDIA V100.

Метод основан на динамическом пропуске промежуточных слоёв во время прямого распространения. Адаптивная маска вычисляется легковесным вспомогательным модулем и определяет, какие слои следует активировать на каждом шаге. Таким образом, модель обучается на всех слоях, но использует только их подмножество, что снижает объём вычислений. При тестировании AdaLayer совместим с любой архитектурой CNN и не требует дополнительных аппаратных ухищрений.

Ключевое преимущество AdaLayer в том, что он не ухудшает обобщающую способность модели. Исследователи провели серию экспериментов на CIFAR-10, CIFAR-100 и ImageNet и подтвердили, что финальная точность классификации находится в пределах погрешности от эталонных значений. По словам ведущего автора работы, Dr. Anna Petrova, новый подход может быть особенно полезен для стартапов и академических групп, которые ограничены в вычислительных ресурсах.

Промышленные эксперты уже назвали разработку одним из самых значимых прорывов в области эффективного обучения в этом году. Microsoft планирует интегрировать AdaLayer в свой фреймворк DeepSpeed, а исходный код метода будет открыт в ближайшие недели. Это может существенно демократизировать доступ к обучению больших моделей и снизить углеродный след от тренировок.