В Україні запустили відкритий рейтинг AI-моделей: хто краще розуміє українську

В Україні запрацював Ukrainian LLM Leaderboard — відкритий рейтинг великих мовних моделей, який перевіряє не загальну популярність AI, а якість його роботи саме з українською мовою. Платформу представили Центр компетенцій WINWIN AI при Мінцифрі, Український католицький університет та спільнота lang-uk. Код опубліковано відкрито, а результати тестів доступні на Hugging Face.

Навіщо Україні окремий рейтинг

Більшість відомих міжнародних тестів створювалися передусім для англійської. Українські завдання нерідко отримували простим перекладом, через що оцінювання могло не помічати проблем із відмінками, природністю формулювань, культурним контекстом або значенням окремих слів. Високе місце моделі у глобальній таблиці ще не гарантує, що вона якісно підготує український документ чи правильно зрозуміє запит користувача.

Ukrainian LLM Leaderboard збирає в одному місці різні українськомовні бенчмарки. Це дозволяє порівнювати моделі не за рекламним описом виробника, а за однаковою процедурою. Для розробника державного сервісу, чатбота підтримки, пошуку в документах або навчального застосунку така перевірка значно корисніша за загальне твердження, що модель «підтримує українську».

Які здібності перевіряють

Набір охоплює машинний переклад між українською та англійською, переказ і скорочення текстів, відповіді на запитання за документом, логіку, загальні знання, математику й виконання інструкцій. Серед використаних тестів є FLORES‑200, LongFLORES, XLSUM, Belebele, SQuAD, MMLU, ARC, GSM‑8K, IFEval і завдання ЗНО.

Окремий блок присвячено упередженням. До нього входять адаптовані для української тести StereoSet, WinoBias, BBQ та WinoPron. Автори наголошують, що ці метрики вимірюють конкретні прояви соціальних упереджень у виборі відповідей або роботі із займенниками, а не дають універсальної оцінки «етичності» моделі.

Чому один середній бал може ввести в оману

Найкраща модель залежить від задачі. Система, яка добре перекладає короткі речення, може гірше працювати з довгими документами. Сильна математика не гарантує природного українського переказу, а високий результат у відповідях на запитання не означає стійкості до неправильної інструкції.

Тому розробникам варто дивитися на детальні вкладки, порівнювати кілька моделей і перевіряти саме ті метрики, що відповідають продукту. Для RAG-систем особливо цікаві переказ і відповіді за контекстом: автори рейтингу прямо називають їх наближеним показником здатності працювати з українськими документами.

Відкритий код дає можливість повторити тест

Репозиторій містить застосунок рейтингу, конфігурацію завдань і приклад запуску через lm-evaluation-harness та vLLM. Результати зберігаються окремо у відкритому наборі даних. Це важливо для відтворюваності: команда може перевірити параметри, додати нову модель або запропонувати виправлення через issue чи pull request.

Водночас відкритість коду не робить кожне число абсолютною істиною. На результат впливають версія моделі, шаблон чату, режим few-shot або zero-shot, параметри генерації, точність обчислень і навіть порядок елементів у batch. У дорожній карті вже є перевірка інваріантності batch, публікація повних трас тестування, підтримка квантованих моделей і додавання API-провайдерів.

Що це дає українським командам

Публічний рейтинг може зменшити вартість первинного відбору моделі. Замість того щоб одразу інтегрувати п’ять API або завантажувати кілька великих checkpoint, команда спочатку відбирає кандидатів за релевантними українськими тестами, а вже потім запускає власне оцінювання на реальних документах.

Для дослідників платформа показує слабкі місця та незакриті типи завдань. Для бізнесу — допомагає аргументувати вибір моделі. Для державних сервісів — створює основу для перевірки роботи з адміністративними текстами, складними інструкціями та чутливими даними. У планах також оцінювання зображень, вартості використання і ширший аналіз узгодженості відповідей.

Як правильно використовувати рейтинг

• Вибрати 2–4 метрики, які відповідають реальному сценарію продукту.
• Перевірити точну версію моделі та параметри її запуску.
• Створити закритий тест із власних українських запитів, яких немає у публічному наборі.
• Окремо виміряти затримку, ціну, стабільність JSON-відповідей і частку відмов.
• Не переносити дані користувачів у зовнішній API без перевірки політики приватності.

Головне: Ukrainian LLM Leaderboard не оголошує одну модель найкращою для всіх. Його головна цінність — прозорий інженерний інструмент, що дозволяє перевіряти українську мову за конкретними задачами й повторювати експеримент.

Джерело та ліцензія

Матеріал підготовлено за відкритим репозиторієм Ukrainian LLM Leaderboard і офіційним повідомленням про запуск. Код проєкту поширюється за ліцензією MIT. Текст статті є самостійним редакційним оглядом. Обкладинка створена редакцією за допомогою AI і не входить до першоджерела.