Transformers 5.17 додав HYV4 на 780 млрд параметрів, VibeVoice та швидшу генерацію

Hugging Face випустила Transformers 5.17.0 — велике оновлення бібліотеки, яке одночасно розширює каталог підтримуваних моделей і прибирає кілька практичних вузьких місць у генерації, кешуванні та квантизації. Реліз цікавий не лише появою нових гучних архітектур. Для команд, які вже обслуговують inference у production, важливішими можуть виявитися менша кількість синхронізацій з прискорювачем, передбачуваніша робота кешу та явні попередження про повільний fallback.

HYV4: велика MoE-модель із контекстом у мільйон токенів

Наймасштабніше поповнення — HYV4 Preview. Це mixture-of-experts модель на 780 млрд параметрів, але для кожного токена активуються 49 млрд. У кожному MoE-шарі є 256 маршрутизованих експертів та один спільний; токен спрямовується до восьми експертів. Заявлене контекстне вікно становить один мільйон токенів.

Архітектура поєднує Multi-head Latent Attention для стискання ключів і значень, вибіркову DeepSeek Sparse Attention, керовані attention sinks та Independent Hyper-Connections замість звичайного residual path. Важливе обмеження реалізації Transformers: шари multi-token prediction поки не виконуються. Їхні ваги зберігаються у checkpoint, щоб інші runtime могли застосовувати speculative decoding, але сама бібліотека ігнорує їх під час завантаження.

Голос, документи та багатомовність

VibeVoice орієнтований на довге багатоголосе мовлення — зокрема подкасти й аудіокниги з кількома учасниками. Підхід поєднує next-token diffusion зі структурою мовної моделі. Це не означає, що будь-який checkpoint автоматично придатний для комерційного озвучення: окремо треба перевіряти ліцензію ваг, підтримувані мови, вимоги до пам’яті та правила використання синтетичного голосу.

NeoMME додає мультимодальні енкодери на 260 і 800 млн параметрів, які працюють із текстовими токенами та сирими фрагментами зображень в одному двонапрямному Transformer. Варіант NeoMME-Retriever призначений для пошуку у візуальних документах: сторінки можна подавати як текст або скриншоти, а модель повертає multi-vector embeddings і спільний dense-вектор. Це потенційно корисно для RAG по PDF, рахунках, презентаціях і сканах, де звичайне OCR втрачає структуру.

Fun-ASR-Nano — 800-мільйонна модель розпізнавання мовлення для китайської, англійської та японської, включно із сімома китайськими діалектами й 26 регіональними акцентами. Вона підтримує hotwords для галузевої лексики та формує пунктуацію без окремої моделі. Canary-1B-v2 додає багатомовне розпізнавання і переклад мовлення, а KimiLinear — гібридну лінійну attention-архітектуру з повним attention у кожному четвертому шарі.

Швидша генерація і чесніший fallback

У циклі генерації прибрано непотрібну синхронізацію з accelerator на кожному кроці декодування. На коротких відповідях різниця може бути невеликою, однак у потоковому inference зайва синхронізація множиться на кількість токенів і збільшує latency. Також виправлено безумовне завантаження віддалених файлів із Hub під час generation — корисна зміна для ізольованих середовищ і відтворюваних deployment.

У kernel layer тепер з’являється одноразове попередження, якщо оптимізована функція непомітно переходить на повільнішу реалізацію на чистому PyTorch. Це полегшує пошук ситуацій, коли production начебто працює коректно, але пропускна здатність раптово падає через несумісність ядра. Окремі виправлення стосуються FP8, MXFP4 на XPU, quantized cache, paged attention без кешу та gradient checkpointing з offload.

Breaking change для vision-моделей

Розрахунок 2D/3D rotary embeddings стандартизовано у спільному модулі modeling_rope_utils.py. Команди з власними vision-архітектурами, які змінювали порядок RoPE-сітки всередині attention-шару, мають адаптувати код. Перед оновленням слід прогнати golden tests для logits, експорт моделі та порівняти результати на репрезентативних зображеннях.

Що робити команді

• Оновлювати бібліотеку спочатку в окремому середовищі та зафіксувати версію checkpoint.
• Перевірити власні vision-модулі на зміну RoPE й custom kernels — на fallback.
• Заміряти TTFT, tokens per second, пам’ять і стабільність довгих контекстів до та після оновлення.
• Ліцензії нових моделей і датасетів перевіряти окремо: Apache 2.0 у Transformers не поширюється автоматично на ваги.

Висновок: Transformers 5.17 — не просто поповнення списку моделей. Реліз покращує контроль продуктивності та виправляє низку помилок у критичних шляхах inference. Найбезпечніший сценарій переходу — контрольований canary з власними моделями, кешами й kernels, а не механічне оновлення production-образу.