Alibaba Cloud выпустила open source модель Qwen 2.5-VL, превосходящую GPT-4V

Сегодня Alibaba Cloud официально представила семейство мультимодальных моделей Qwen 2.5-VL, доступных с открытым исходным кодом. Модель предназначена для задач анализа изображений, видео и текста, и уже доступна для скачивания на Hugging Face. Разработчики могут интегрировать её в свои продукты без ограничений, так как лицензия — Apache 2.0.

Семейство включает три версии: 7B, 72B и 130B параметров. Флагманская Qwen 2.5-VL-130B демонстрирует превосходство в любых бенчмарках: в тесте MMMU она набирает 78.4%, в MathVista — 87.3%, обходя Gemini 2.0 и GPT-4V. При этом модель способна обрабатывать видео длительностью до 30 минут, анализируя каждый кадр.

Ключевым нововведением стал улучшенный визуальный энкодер, позволяющий работать с изображениями с разрешением до 4K. Архитектура объединяет трансформер с многомасштабным вниманием, что даёт прирост в точности распознавания мелких объектов. Qwen 2.5-VL также поддерживает многозначный ввод, включая русский язык.

Релиз укрепляет позиции Alibaba Cloud в области open source AI, составляя прямую конкуренцию таким гигантам как Meta и Stability AI. Эксперты отмечают, что открытые модели такого уровня ускоряют развитие AI-приложений по всему миру. Веса предварительно обученных моделей уже загружены в Hugging Face, и разработчики могут начать эксперименты сегодня.