Mistral AI выпускает открытую модель с 1,6 триллиона параметров

Сегодня компания Mistral AI объявила о выпуске новой открытой модели Mistral Large 2.0, насчитывающей 1,6 триллиона параметров. Модель доступна под лицензией Apache 2.0 на GitHub. По заявлению компании, она превосходит GPT-4 по ряду бенчмарков, включая MMLU и HumanEval. Первые тесты показывают впечатляющие результаты в задачах рассуждения и кодинга. Mistral AI утверждает, что это крупнейшая открытая модель на текущий момент. Разработчики уже получили доступ к весам и коду для инференса.

Модель обучена на кластере из 16 000 H100 и потребовала около 10 миллионов долларов на обучение. Архитектура основана на смеси экспертов (MoE) с 256 экспертами, что позволяет добиться высокой эффективности. В компании подчеркивают, что открытая лицензия позволит научному сообществу проводить исследования и дообучение.

Эксперты отмечают, что выход Mistral Large 2.0 усиливает тренд на демократизацию AI. Генеральный директор Mistral заявил: «Мы верим, что открытый исходный код — единственный путь к безопасному и прозрачному ИИ». Интересно, что модель обучалась на синтезированных данных и публичных текстах.