Зараз читаютьПрактичні новини про код, AI та технології — без інформаційного шуму

vLLM 0.31 прискорює перезапуск AI-сервісів і посилює захист мультимодальних запитів

Великий реліз vLLM 0.31 об’єднав 717 змін від 307 учасників: швидкий перезапуск моделей, нові механізми спекулятивної генерації, масштабування великих інсталяцій і важливі безпекові обмеження.

vLLM 0.31 прискорює перезапуск AI-сервісів і посилює захист мультимодальних запитів

Команда vLLM випустила версію 0.31 — одне з найбільших оновлень популярного відкритого рушія для запуску великих мовних моделей. До релізу увійшли 717 комітів від 307 учасників, серед яких 96 долучилися до проєкту вперше. Головна зміна для операторів AI-сервісів — скорочення часу простою під час перезапуску, але не менш важливими є оновлення планувальника, спекулятивної генерації та захисту мультимодальних запитів.

Схема асинхронного планування в Model Runner V2 рушія vLLM
Асинхронне планування в Model Runner V2. Оригінальна схема з репозиторію vLLM, Apache License 2.0.

Швидкий перезапуск без повторного завантаження ваг

Нова команда vllm preload запускає окремий демон кешу ваг. Він утримує вже підготовлені, зокрема квантизовані, ваги моделі у пам’яті GPU між перезапусками рушія. У практичній інфраструктурі це може скоротити паузу під час оновлення конфігурації або перезапуску процесу: найдорожчу операцію завантаження й перетворення ваг не доводиться щоразу виконувати з нуля.

Механізм уже підтримує паралелізм даних і чернеткові моделі для speculative decoding, має endpoint перевірки здоров’я та очікування готовності. Паралельно команда експериментує зі знімками повністю ініціалізованого рушія через CRIU. Цю можливість прямо позначено експериментальною, тому переносити її у критичний продакшен без окремого тестування зарано.

Генерація стає швидшою, але складнішою

Model Runner V2 отримав підтримку спекулятивного декодування з окремою draft-моделлю та користувацьких обробників логітів. Ідея speculative decoding полягає в тому, що легша модель наперед пропонує кілька токенів, а основна модель перевіряє їх пакетно. Якщо припущення правильні, система видає результат швидше; якщо ні — частину роботи доводиться повторити.

У релізі з’явився новий drafter LiLiCorr, асинхронне планування для DFlash і низка оптимізацій для моделей DeepSeek, Kimi, Gemma, GLM та інших архітектур. Для користувача це не означає однакового прискорення на будь-якій моделі. Результат залежить від GPU, довжини запиту, розміру пакета, чернеткової моделі та частки прийнятих токенів. Порівнювати треба не одиничний красивий тест, а затримку на реальному розподілі запитів.

Масштабування та контроль черги

Для великих інсталяцій додано нові backend-механізми обміну даними між експертами, удосконалено паралельне виконання prefill і передачу ваг. Окремий параметр --max-num-active-seqs дозволяє обмежити кількість активних послідовностей незалежно від загальної місткості черги. Це корисно, коли сервер не падає від нестачі пам’яті, але затримка різко росте через надмірну конкуренцію запитів.

Планувальник тепер віддає перевагу запитам, які вже мають блоки KV-кешу, а поріг довгого prefill адаптується до реального очікування в черзі. Такі зміни непомітні в інтерфейсі чатбота, проте саме вони визначають, чи залишиться сервіс передбачуваним у години пікового навантаження.

Безпека: довіряти параметрам запиту більше не можна автоматично

vLLM 0.31 за замовчуванням відхиляє передані окремим запитом mm_processor_kwargs та media_io_kwargs. Дозволити їх можна лише явним прапорцем --trust-request-mm-kwargs. Це важливий безпечний стандарт: клієнт не повинен непомітно змінювати низькорівневу обробку зображень або медіа на сервері.

Також розробники усунули можливу колізію між назвою LoRA-адаптера та cache_salt, включили шлях LoRA до хешу блоку й виправили ситуацію, коли застарілий запис кешу мультимодального приймача міг замінити свіжі дані. Операторам варто переглянути власні API-шлюзи: якщо вони навмисно передавали мультимодальні параметри від клієнта, після оновлення поведінка зміниться.

Несумісні зміни та план оновлення

Версія видаляє режим tokenizer_mode="slow", перейменовує параметр кешу для Mamba, змінює спосіб увімкнення FP8-квантизації та прибирає кілька старих backend-механізмів. Прапорець --enforce-eager тепер вимикає також прогрів JIT-ядер. Це не просто патч, який варто автоматично розгорнути на всі вузли.

  • Спочатку зафіксуйте базову затримку, пропускну здатність і використання GPU на чинній версії.
  • Перевірте конфігурацію на видалені або перейменовані параметри.
  • Запустіть canary-вузол з тією самою моделлю, квантизацією та типовими мультимодальними запитами.
  • Окремо протестуйте холодний старт, звичайний рестарт і відновлення після помилки.
  • Не вмикайте довіру до параметрів медіа із зовнішніх запитів без валідації на API-шлюзі.

Висновок: vLLM 0.31 важливий не кількістю назв моделей у changelog, а роботою над експлуатацією AI як звичайного сервісу: швидким відновленням, керованою чергою, прогнозованим кешем і безпечними налаштуваннями за замовчуванням. Найбільшу користь отримають команди з постійним навантаженням і частими оновленнями, але перехід потребує контрольованого тесту через несумісні зміни.

Джерело: vLLM 0.31.0 Release Notes. Матеріал перекладено й адаптовано українською. Текст релізу та схема походять з офіційного репозиторію vLLM і поширюються за Apache License 2.0.

Першоджерело:vLLM Project ↗
Автор:vLLM contributors
Ліцензія:Apache License 2.0 ↗

Матеріал перекладено, переказано та доповнено редакцією українською мовою.

</>

Читайте далі — ми вже розбираємо наступну важливу тему.

Далі за темою

Схожі матеріали