Open Source-сообщество выпускает революционную модель ИИ OmniMistral-1.5

Сегодня инициатива Open Source Model Initiative (OSMI) объявила о выпуске OmniMistral-1.5 — большой языковой модели с 150 миллиардами параметров. Модель превосходит проприетарные аналоги, в частности GPT-4, в бенчмарках по программированию, набрав 92% на HumanEval. OmniMistral-1.5 уже доступна на Hugging Face под лицензией Apache 2.0.

Обучение модели проходило на курируемом наборе данных из 2 триллионов токенов, включающем тексты книг, научные статьи и код из репозиториев GitHub. Процесс тренировки занял 90 дней с использованием 4096 GPU NVIDIA H100, а стоимость составила около 10 миллионов долларов, профинансированных консорциумом из NVIDIA, AMD и Google Cloud.

Этот выпуск стал значительной вехой для open source AI, так как предоставляет сообществу возможности современного уровня без ограничений проприетарных лицензий. Ранние пользователи отмечают, что способности модели к рассуждению сравнимы с закрытыми аналогами, что делает её ценным инструментом для исследователей и разработчиков.

Модель можно загрузить с Hugging Face, а также открыты код обучения и набор данных. OSMI приглашает разработчиков внести вклад в дообучение и дальнейшее улучшение модели через усилия сообщества.