vLLM 0.30.0 прискорює запуск AI-моделей і додає водяні знаки для тексту

vLLM 0.30.0 отримав швидший перезапуск великих моделей, підтримку нових сімейств, водяні знаки для згенерованого тексту та нові способи економити пам’ять GPU. Це великий реліз відкритого рушія, який використовують для запуску мовних моделей на власних серверах. Він містить 762 коміти від 315 учасників, серед яких 104 долучилися вперше.

Навіщо vLLM звичайній команді

Коли компанія запускає відкриту модель локально або у власній хмарі, недостатньо просто завантажити ваги. Потрібно розподіляти запити, керувати кешем уваги, групувати обчислення й не витрачати дорогу пам’ять прискорювача даремно. vLLM виконує роль серверного шару та надає API, сумісний із поширеними клієнтами.

Для кінцевого користувача зміни можуть проявитися як швидший старт сервісу, менше затримок або підтримка нової моделі. Але результат залежить від конкретного обладнання, конфігурації та навантаження; цифри для одного типу GPU не можна автоматично переносити на інший.

Швидкий старт без повторного завантаження

Нова функція Fast Start використовує постійний процес-кеш для кожного GPU. Він зберігає вже підготовлені та розподілені ваги в пам’яті прискорювача. Після перезапуску рушій може під’єднати їх через CUDA IPC замість повторного читання з диска і перетворення. Режим вмикається через формат завантаження ipc_cache та вже охоплює FP4 і конфігурації з tensor parallel на кількох вузлах.

Це корисно під час оновлень і відновлення процесу, але не є безкоштовною оптимізацією: пам’ять залишається зайнятою фоновим кешем, а оператор повинен контролювати життєвий цикл і сумісність ваг.

Водяний знак для тексту

Реліз додає генерацію й перевірку Gumbel-max watermark із ключовою псевдовипадковою функцією. Клієнт може відмовитися від маркування для окремого запиту, а приклад endpoint показує перевірку. Двоключовий варіант працює зі спекулятивним декодуванням.

Водяний знак не перетворює визначення AI-тексту на безпомилкову експертизу. Редагування, короткий фрагмент або несумісний генератор можуть вплинути на результат. Це технічний сигнал із відомим ключем і правилами, а не універсальний детектор усього контенту.

Пам’ять, швидкодія та нові моделі

HiSparse додає рівень зберігання KV-сторінок у закріпленій оперативній пам’яті хоста, коли GPU бракує місця. Найпотрібніші фрагменти повертаються в гарячий буфер прискорювача. З’явилися лічильники Prometheus, спільний кеш між tensor-parallel процесами й автоматичне визначення частини параметрів.

Model Runner V2 отримав перекриття двох пакетів, ширшу підтримку CUDA graphs та спекулятивного декодування. Команда наводить приклад скорочення захоплення графа з 12 до 2 секунд і ініціалізації рушія з 28,9 до 8,2 секунди на H200. Це конкретна конфігурація, а не гарантія такого самого прискорення на будь-якому сервері.

Додано підтримку DeepSeek-V4.1-Flash, DeepSeek-V4-Flash-Vision-Exp, GLM-5.3-Flash, K2-Horizon, Cohere Compass, Bailing V3 VL і Nanbeige4.2. Також розширено оптимізації для Qwen3.8-Flash-Next і Kimi K3.

Що перевірити перед оновленням

• Прочитайте breaking changes. Scale-out endpoints тепер вмикаються прапорцем, частину застарілих змінних видалено, а gRPC рекомендовано запускати новою командою.
• Повторіть власний benchmark. Перевіряйте перший токен, загальну пропускну здатність, пам’ять і хвостову затримку на своєму профілі запитів.
• Не змішуйте оновлення моделі й рушія в одному кроці. Інакше складніше знайти причину зміни якості або швидкості.
• Починайте з малої частки трафіку. Потрібні метрики, журнал помилок і швидкий шлях повернення до попереднього образу.

Висновок: vLLM 0.30.0 — значний інфраструктурний реліз для команд, які самостійно обслуговують AI-моделі. Найпомітніші практичні переваги — швидший повторний старт і гнучкіше керування пам’яттю, але оновлення потребує тестів через зміни конфігурації та велику кількість нових оптимізацій.

Перекладено й адаптовано за release notes vLLM 0.30.0 від 22 вересня 2026 року. Текст і оригінальна схема входять до офіційного репозиторію та поширюються за Apache License 2.0.