Mistral AI выпускает открытую модель Mistral-7B, превосходящую GPT-3.5

Сегодня компания Mistral AI объявила о выпуске своей открытой модели Mistral-7B, доступной под лицензией MIT. Модель с 7 миллиардами параметров обучалась на 8 триллионах токенов и использует архитектуру с вниманием к скользящему окну (sliding window attention) и групповым запросам (grouped-query attention). По заявлению разработчиков, Mistral-7B превосходит LLaMA 2 7B на всех 14 бенчмарках, а также обходит LLaMA 2 13B на 12 из них.

Особое внимание привлекли результаты Mistral-7B на тесте MMLU (Massive Multitask Language Understanding), где модель набрала 64% правильных ответов, что сравнимо с GPT-3.5 (около 68%). На бенчмарке HellaSwag Mistral-7B достигла 83% против 80% у LLaMA 2 7B. Модель также продемонстрировала улучшенную эффективность при обработке длинных контекстов благодаря механизму sliding window.

Mistral-7B уже доступна на Hugging Face Hub и может быть загружена для коммерческого и исследовательского использования. Компания также представила флагманскую модель со смешанными экспертами (MoE) для внутреннего тестирования, но ее открытый исходный код пока не планируется. Выпуск Mistral-7B стал важным шагом в демократизации больших языковых моделей и усилении конкуренции в сегменте open source.