Meta выпускает Llama 3.1: новая открытая модель превосходит конкурентов

Сегодня компания Meta официально выпустила новое поколение своей открытой языковой модели — Llama 3.1. Модель доступна в трех вариантах: 8 миллиардов, 70 миллиардов и 405 миллиардов параметров. Самая большая версия, Llama 3.1 405B, обучалась на 15 триллионах токенов и использует архитектуру Mixture of Experts (MoE), что позволяет ей конкурировать с лучшими закрытыми аналогами, такими как GPT-4.

По данным Meta, Llama 3.1 демонстрирует значительное превосходство в тестах на рассуждение, математику и генерацию кода. В бенчмарках MMLU и HumanEval модель показала результат 89.5% и 92.3% соответственно, что на 10% выше, чем у предыдущей версии Llama 3. Кроме того, модель поддерживает контекстное окно до 128 000 токенов, что позволяет обрабатывать большие объемы информации за один раз.

Ключевое отличие Llama 3.1 — полностью открытая лицензия, разрешающая коммерческое использование. Это делает модель доступной для стартапов и исследователей по всему миру. Уже сейчас более 100 компаний, включая Microsoft и Amazon, интегрируют Llama 3.1 в свои сервисы. Актуальные версии для скачивания доступны на официальном сайте и в репозитории GitHub.

Эксперты отмечают, что выпуск Llama 3.1 может ускорить переход ИИ-индустрии к открытым стандартам. Сравнение с GPT-4o и Claude 3.5 показало, что в задачах на логику и программирование новая модель Meta не уступает, а в некоторых сценариях и превосходит проприетарные решения. Это событие уже назвали «открытым прорывом» и шагом к демократизации искусственного интеллекта.