vLLM v0.27.0 yayınlandı: 561 commit'lik büyük sürüm yeni model ailelerini destekliyor

Açık kaynaklı büyük dil modeli sunucu/inference motoru vLLM, 242 katkıcının (64’ü projeye ilk kez katkı sağlayan) emeğiyle oluşan 561 commit’lik büyük bir sürümü, v0.27.0’ı yayınladı.

Yeni model desteği

Sürümle birlikte Kimi K3 modeli için uçtan uca tam yığın desteği eklendi — bu destek çekirdek model mimarisini, hesaplama kernellerini, Python/Rust arayüzlerini ve kuantalama desteğini kapsıyor. Ayrıca video token budama özellikli Qwen3.5 dense ve MoE (mixture-of-experts) varyantları, K-EXAONE-2.0-750B-A37B, VaultGemma ve jina-embeddings-v5-text-nano modelleri de desteklenen modeller listesine katıldı.

Kırıcı değişiklikler

vLLM ekibi, PyTorch 2.13.0 ve Triton 3.7.1’e yükseltmeyi kırıcı (breaking) bir değişiklik olarak işaretledi — bu, mevcut dağıtımların dikkatli bir şekilde test edilmesini gerektiriyor. Ayrıca max_num_partial_prefills gibi bazı eski parametreler tamamen kaldırıldı.

Performans tarafı

Sürüm notlarında öne çıkan diğer teknik başlıklar arasında FlashAttention 4’ün SM100 mimarisi için FP8 KV-cache desteğinin derinleştirilmesi ve DeepSeek-V4 modeli için özel bir performans paketi yer alıyor — bu geliştirmeler, büyük modellerin bellek verimliliğini ve çıkarım hızını artırmayı hedefliyor.

Neden önemli

vLLM, kendi altyapısında büyük dil modeli barındırmak isteyen kurumlar için yaygın kullanılan açık kaynaklı bir inference motoru. Bu ölçekte bir katkıcı tabanıyla düzenli olarak yeni model ailelerini desteklemesi, açık kaynaklı LLM sunma ekosisteminin ne denli hızlı geliştiğini gösteriyor; ancak kırıcı değişikliklerin sıklığı, üretim ortamlarında dikkatli sürüm yönetimini gerekli kılıyor.