Microsoft представила открытую модель Phi-3.5-MoE с эффективностью, как у Llama 3.1 8B

Корпорация Microsoft сегодня выпустила на платформе Hugging Face новую открытую модель Phi-3.5-MoE. Модель имеет 4,2 миллиарда активных параметров при общем объёме 6,8 миллиардов благодаря архитектуре смеси экспертов (MoE). Разработчики заявляют, что это первая открытая модель Microsoft, оптимизированная для эффективного вывода на потребительских GPU.

На бенчмарке MMLU Phi-3.5-MoE показала 71,5%, а на HumanEval — 66,3%, что сопоставимо с Llama 3.1 8B (72,1% и 67,8% соответственно). При этом скорость инференса в 1,8 раза выше, а пиковое потребление памяти снижено на 30% за счёт использования TensorRT-LLM и встроенной поддержки FP8. Microsoft подчёркивает, что модель пригодна для коммерческого использования и распространяется по лицензии MIT.

Эксперты уже называют релиз важным шагом в демократизации ИИ: Phi-3.5-MoE можно запускать на одной видеокарте RTX 4090 с частотой генерации до 80 токенов/с. Встроенные средства тонкой настройки позволяют адаптировать модель под задачи заказчиков, включая кодогенерацию и анализ юридических документов. Скачать модель можно в репозитории Hugging Face по адресу hf.co/microsoft/Phi-3.5-MoE.