DeepMind бьет рекорд: новая нейросеть Gemini 2 достигает 98,5% на MMLU

DeepMind сегодня опубликовала на arXiv препринт с описанием модели Gemini 2. Новая нейросеть набрала 98,5% на тесте MMLU (Massive Multitask Language Understanding), что на 1,2% выше результата GPT-4o от OpenAI. Это новый рекорд среди всех известных моделей.

Gemini 2 использует инновационный механизм HyperAttention, позволяющий обрабатывать контексты длиной до 10 миллионов токенов без потери производительности. Обучение проводилось на кластере из 100 000 ускорителей TPU v5 и заняло около двух месяцев. Разработчики отмечают, что новая архитектура на 40% энергоэффективнее предшественницы.

Помимо MMLU, модель показала рекордные 99,1% на тесте HumanEval по генерации кода. Ожидается, что API для Gemini 2 станет доступен разработчикам в течение месяца, а открытая версия весов появится позже.