Команда vLLM выпустила версию 0.31.0 с сотнями изменений и отдельным набором оптимизаций для современных MoE-моделей. Релиз ориентирован прежде всего на разработчиков, которые обслуживают модели через совместимый с OpenAI API сервер.
Что произошло
В обновлении заявлены улучшения для DeepSeek V4.1-Flash, включая работу с compressed KV-cache, оптимизации sparse attention и новые слияния операций на актуальных GPU. Одновременно опубликованы готовые образы Docker и пакеты для CUDA, ROCm, CPU и XPU.
Почему это важно
Для локального или корпоративного сервинга производительность зависит не только от самой модели, но и от движка. Ускорения на уровне внимания, KV-кэша и маршрутизации экспертов могут снизить задержку и стоимость обработки большого потока запросов.
Практический вывод
Версия интересна тем, кто разворачивает несколько моделей или строит внутренний API-шлюз. Но обновление лучше проводить через отдельный стенд: крупные изменения в backend-оптимизациях могут проявиться по-разному на разных поколениях GPU и конфигурациях параллелизма.