Сравнение производительности open-source моделей для обработки русского языка

Я провел сравнение нескольких открытых моделей для обработки русского языка: LLaMA-2-7B, Mistral-7B и Qwen-7B. На тесте сентимент-анализа и извлечения сущностей лучшие результаты показала Qwen, дообученная на русских данных. LLaMA заметно отставала по качеству.

Согласен, Qwen показывает хорошо, но меня интересует скорость инференса. На каком оборудовании вы тестировали? У меня на RTX 3060 Mistral работает быстрее благодаря меньшему размеру токенизатора.

Добавлю, что для русского языка важно учитывать качество токенизации. Например, модель Saiga (на основе LLaMA) имеет расширенный русский словарь и на многих задачах не уступает Qwen. Также стоит обратить внимание на новые модели от проекта Yandex YaLM.

Друзья, предлагаю обсудить, какие open-source модели для русского языка показывают наилучшие результаты. Лично я замечаю, что LLaMA-2 после дообучения на русских корпусах выдает неплохие ответы, но хотелось бы услышать ваши тесты.

Пробовала ruGPT-3.5 от Сбера и сравнивала с LLaMA-2-7B на задачах классификации и генерации. ruGPT-3.5 точнее на коротких текстах, но LLaMA лучше схватывает общий смысл длинных документов. Интересно, есть ли у кого опыт с моделями от Яндекса?

Советую посмотреть на вариант с RussianSuperGLUE. Там LLaMA-2-13B после дообучения достигает результатов, сопоставимых с большими закрытыми моделями. Но для меня важным фактором оказалась скорость инференса: некоторые дообученные версии очень тяжелые.