
vLLM 0.31.0 ускоряет серверный инференс и добавляет оптимизации для новых моделей
Команда vLLM выпустила версию 0.31.0 с сотнями изменений и отдельным набором оптимизаций для современных MoE-моделей. Релиз ориентирован прежде всего на разработчиков, которые обслуживают модели […]
Читать →