DeepSeek-Coder-V2 с 16.8 млрд параметров выходит в open source

Сегодня компания DeepSeek объявила о выпуске открытой модели DeepSeek-Coder-V2 с 16.8 миллиардами параметров. Модель доступна под лицензией Apache 2.0 на GitHub и Hugging Face. Разработчики утверждают, что она способна обрабатывать контекст до 128 тысяч токенов и значительно превосходит предыдущую версию по качеству генерации кода.

По результатам бенчмарка HumanEval модель показала точность 90.2%, что выше показателей GPT-4 (87.3%) и Claude 3 Opus (84.9%). В тесте на многозадачность (MultiPL-E) DeepSeek-Coder-V2 заняла первое место среди моделей с открытым исходным кодом, обогнав CodeLlama-34B и StarCoder2-15B. Компания также отмечает улучшенную поддержку языков Python, Java, JavaScript и C++.

Новая модель основана на архитектуре Mixture of Experts и содержит 16.8B активных параметров (из 37.4B общего числа). Это позволяет достичь высокой производительности при относительно низких требованиях к памяти. Доступны две версии: базовая (Base) и инструктивная (Instruct), оптимизированная для чатов и задач код-ассистента.

Разработчики уже начали публиковать примеры использования в блогах и социальных сетях, отмечая простоту интеграции через библиотеки transformers и llama.cpp. Релиз DeepSeek-Coder-V2 стал значимым шагом в демократизации доступа к мощным моделям для программирования, и сообщество open source активно обсуждает потенциал её применения в коммерческих и исследовательских проектах.