Европейские университеты представили открытую мультиязычную модель EuroLLM

Сегодня консорциум европейских университетов, включающий Кембридж, Технический университет Мюнхена и Сорбонну, объявил о выпуске EuroLLM — открытой мультиязычной языковой модели с 7 миллиардами параметров. Модель доступна под лицензией Apache 2.0 на Hugging Face. Разработка заняла 18 месяцев и обошлась в 5 миллионов евро финансирования от Евросоюза.

EuroLLM обучена на 2 триллионах токенов, собранных из 50 европейских языков, включая языки с ограниченными ресурсами. В бенчмарках XGLUE и NTREX модель показала улучшение до 15% по сравнению с XLM-R Large и mT5 Large при вдвое меньшем количестве параметров. Особое внимание уделено малым языкам: баскский, галисийский и каталанский получили прирост качества на 20%.

«EuroLLM — это шаг к цифровому суверенитету Европы, — заявил профессор Кембриджа Ян Хейл. — Мы показываем, что открытые модели могут быть конкурентоспособными с проприетарными аналогами, сохраняя культурное разнообразие». В тестах на генерацию текста и машинный перевод модель превзошла GPT-3.5 для европейских языков.

Уже сейчас EuroLLM интегрирована в европейскую облачную платформу EuroHPC. Исходный код, веса и документация доступны на GitHub. Консорциум анонсировал следующую версию с поддержкой 100 языков и мультимодальностью, которая выйдет через 6 месяцев.