Исследователи из MIT и DeepMind создали энергоэффективный ИИ, снижающий затраты на обучение в 50 раз

Сегодня команда исследователей из Массачусетского технологического института (MIT) и DeepMind представила революционный метод обучения нейросетей, который сокращает энергозатраты в 50 раз по сравнению с традиционными подходами. Разработка, получившая название SparseProp, использует динамическое разреживание градиентов, что позволяет отключать до 90% вычислительных операций без потери производительности.

В ходе экспериментов модель с 1 миллиардом параметров была обучена на датасете ImageNet с энергопотреблением всего 12 кВт·ч — против 600 кВт·ч при стандартном обучении. При этом точность классификации снизилась менее чем на 0,5%. По словам ведущего автора исследования, доктора Анны Ивановой, это открывает путь к экологичному ИИ, особенно актуальному в условиях глобального энергетического кризиса.

Следующий этап — адаптация метода для больших языковых моделей. DeepMind уже объявила о планах интегрировать SparseProp в свою платформу для обучения Gemini-подобных архитектур. Эксперты полагают, что если технология масштабируется, она может снизить углеродный след от обучения ИИ на 80% уже к 2027 году.