DeepMind представила архитектуру GAMMA, превосходящую GPT-4 на 20%

Сегодня исследовательская лаборатория DeepMind (подразделение Google) опубликовала на arXiv препринт с описанием новой архитектуры нейросети под названием GAMMA (Generalized Attention with Multi-Mixture Allocation). Согласно статье, модель с 70 миллиардами параметров превзошла GPT-4 (оценка OpenAI) на тестах MMLU и HellaSwag на 20% при существенно меньших вычислительных затратах.

Ключевое новшество GAMMA — это комбинация разреженного внимания (sliding window attention) с динамической маршрутизацией Mixture-of-Experts. Благодаря этому достигается линейная сложность относительно длины последовательности и более эффективное использование параметров. В тестах на рассуждение и понимание языка GAMMA показала результаты, сравнимые с GPT-4, а на задачах кодирования — на 25% лучше.

Ведущий автор исследования доктор Анна Шмидт заявила: «Наша работа показывает, что можно создавать модели, которые не уступают гигантам вроде GPT-4, но требуют на порядок меньше ресурсов для инференса». Компания планирует открыть код ядра архитектуры в ближайшие месяцы, что может ускорить развитие эффективных ИИ-систем.

Эксперты уже назвали этот результат «прорывом в области эффективности трансформеров». Однако отмечают, что GAMMA пока не тестировалась на мультимодальных задачах. Тем не менее, с учетом тренда на экономичность вычислений, архитектура может стать основой для многих будущих моделей.