DeepMind сократила время обучения ИИ на 40% с помощью нового метода синтетических данных

Исследователи из DeepMind представили метод ускоренного обучения искусственного интеллекта, использующий синтетические данные, сгенерированные самими моделями. Техника, получившая название "self-play fine-tuning", позволяет сократить время обучения на 40% без потери качества. Результаты опубликованы сегодня на arXiv и уже вызвали большой интерес в сообществе.

Метод основан на итеративном процессе: модель сначала обучается на небольшом наборе реальных данных, затем генерирует собственные примеры и фильтрует их с помощью специального алгоритма оценки качества. На каждом цикле модель улучшает свои способности, используя только самые релевантные синтетические образцы. Это напоминает подход AlphaZero, но адаптирован для больших языковых моделей.

В ходе экспериментов команда DeepMind протестировала метод на моделях размером до 70 миллиардов параметров. Время обучения сократилось с 14 до 8 дней при сохранении точности на уровне традиционного подхода. Более того, модели, обученные с помощью self-play, показали улучшение на 5% в задачах рассуждения и генерации кода, что делает метод особенно перспективным для коммерческих приложений.

Представитель DeepMind заявил, что компания планирует внедрить этот метод в свои продуктовые линейки уже в ближайшие месяцы. Эксперты отмечают, что снижение затрат на обучение может демократизировать доступ к мощным ИИ-моделям, позволяя небольшим компаниям и исследовательским группам разрабатывать собственные решения.