Новый метод обучения ИИ сокращает время в 100 раз без потери качества

Сегодня группа исследователей из MIT и NVIDIA опубликовала препринт, в котором описывается новый метод оптимизации, позволяющий обучать глубокие нейронные сети в 100 раз быстрее без ухудшения точности. Метод основан на адаптивном подборе шага градиентного спуска с использованием предсказаний модели.

Разработчики протестировали свой подход на задачах компьютерного зрения и обработки естественного языка. На наборе данных ImageNet алгоритм достиг точности 76.5% всего за 10 минут обучения на 16 GPU, в то время как стандартный метод требует более 16 часов. В NLP на задаче GLUE модель BERT была обучена на 80% быстрее с сохранением производительности.

По словам авторов, ключевой особенностью является автоматическая настройка гиперпараметров в ходе обучения, что исключает необходимость ручного тюнинга. Представители NVIDIA заявили, что встроят этот метод в свои библиотеки до конца года. Ожидается, что это серьезно ускорит разработку крупных моделей.

Эксперты отмечают, что если результаты подтвердятся, это может стать прорывом в области масштабирования ИИ, так как затраты на обучение резко снизятся. Однако окончательные выводы можно будет сделать после рецензирования.