Як перевіряти гучні обіцянки про AI: дослідники проаналізували 56 800 наукових робіт
AI-дослідження стали відкритішими, але доступні код і дані ще не гарантують правильного результату. Новий аналіз пояснює, на що дивитися читачеві.

Коли черговий AI називають кращим за конкурентів, варто запитати не лише про відсоток у тесті, а й про можливість перевірити цей результат. Нове дослідження, опубліковане 22 жовтня в Communications AI & Computing, показує: наукові роботи про штучний інтелект стали помітно відкритішими. Однак навіть опубліковані код і дані ще не є сертифікатом якості конкретного чатбота.
Kevin L. Coakley, Thijs Snelleman, Holger Hoos та Odd Erik Gundersen проаналізували 56 800 публікацій п’яти провідних конференцій — AAAI, ICLR, ICML, IJCAI та NeurIPS — за 2014–2024 роки. Це дослідження того, як науковці описують свої експерименти, а не новий рейтинг AI-сервісів. Його практичний сенс для звичайного читача — навчитися відрізняти перевірювані докази від переконливої презентації.

Що саме стало відкритішим
Із загального масиву автори визначили 52 328 робіт як емпіричні, тобто засновані на експериментах. Для них перевіряли сім ознак: наявність відкритого коду, використання відкритих наборів даних, опис поділу даних, псевдокод алгоритму, характеристики обладнання, програмні залежності та налаштування експерименту. Теоретичні роботи не включали до цього аналізу відтворюваності.
Частка емпіричних публікацій, які документували щонайменше п’ять із семи ознак, зросла з 8% до 43%. Це означає, що незалежній команді частіше залишають потрібні інструкції. Але проста згадка репозиторію не говорить, чи він повний, чи встановлюються всі залежності та чи можна відтворити саме головний результат.

За оцінкою документації, відкритий код був доступний у 13% емпіричних робіт 2014 року та у 69% робіт 2024-го. Використання відкритих наборів даних зросло з 68% до 91%. Особливо показовою є комбінація обох умов: частка робіт, що одночасно надають код і використовують відкриті дані, піднялася з 11% до 64%. Саме цей показник не слід плутати з точністю AI.


Чому оцінка 64% — не результат перевірки всіх експериментів
У статті є й інше число 64%: змодельована частка відтворюваних результатів для 2024 року проти 28% у 2014-му. Дослідники не запускали заново всі 56 800 експериментів. Вони застосували до знайдених категорій документації ймовірності з попереднього невеликого дослідження: приблизно 86% для робіт із кодом і даними та 33% для робіт лише з відкритими даними.
В основі цих коефіцієнтів — відповідно шість успішних відтворень із семи та п’ять із п’ятнадцяти. Перенесення таких оцінок на різні конференції й одинадцять років є суттєвим припущенням. Роботи без відкритих даних не дають змоги аналогічно оцінити відтворюваність. Тож висновок має звучати обережно: документація стала сприятливішою для незалежної перевірки, але точний відсоток підтверджених результатів невідомий.

Чекліст корисний, але сам собою не доводить якість
Автори також зіставили тенденції до і після запровадження конференціями чеклістів відтворюваності. Загального статистичного підтвердження, що саме чеклісти прискорили поліпшення документації, вони не отримали: прогрес розпочався раніше. Це не доказ марності таких правил. Радше нагадування, що збіг у часі не дає права автоматично оголошувати причину.

Порівняння університетських робіт із публікаціями за участю представників компаній теж не дає простого правила «одні завжди прозоріші за інших». У загальному порівнянні систематичної статистично підтвердженої різниці не встановлено, хоча співвідношення змінювалося з роками. Оцінювати варто конкретну роботу та її матеріали, а не лише відомий бренд чи афіліацію.

AI перевіряв документацію про AI — і це теж обмеження
Для масштабного читання публікацій команда використала Gemini 2.5 Flash. Метод налаштовували на 400 вручну розмічених роботах, а здатність працювати з ширшим масивом перевіряли на ще 160 випадково вибраних публікаціях. Аналіз спирався на витягнутий текст, а не на повну перевірку репозиторіїв, і не оцінював якість кожного відкритого артефакту.
Отже, навіть такий масштабний аналіз може пропускати деталі та успадковувати помилки класифікації моделі. У ньому немає перевірки найновіших чатботів 2026 року: корпус завершується 2024-м. Не можна робити з нього висновок, що конкретний сьогоднішній сервіс відповідає правильно у 64% випадків або що решта робіт обов’язково помилкові.

Що запитати перед тим, як довіритися новому AI
Практичний редакційний висновок простий: шукайте посилання на сам тест, назву і версію моделі, опис даних та умови порівняння. Запитайте, чи повторював результат хтось незалежний і чи відповідає тест вашій задачі. Гарний результат на навчальному наборі не замінює перевірки на власних прикладах, а наявність коду не гарантує комерційної ліцензії на його використання.
Для особистого вибору помічника це означає порівняти кілька відповідей на однакових реальних задачах і перевірити важливі факти. Для бізнесу — провести невеликий контрольований пілот до передачі сервісу критичних процесів. Це наші практичні рекомендації за мотивами дослідження, а не результати випробування конкретного продукту його авторами.
Джерело та права: Kevin L. Coakley, Thijs Snelleman, Holger Hoos, Odd Erik Gundersen, The shift toward open and reproducible AI research, Communications AI & Computing, 22.10.2026. Текст перекладено й адаптовано редакцією BIB, додано пояснення для читача. Текст першоджерела і всі вісім авторських діаграм — CC BY 4.0. Діаграми завантажено локально в оригінальному PNG без обрізання чи зміни даних; підписи перекладено. Обкладинка — авторський рис. 4, не AI-генерація. На зображення можна натиснути правою кнопкою й відкрити файл у повній роздільності.
Матеріал перекладено, переказано та доповнено редакцією українською мовою.
Читайте далі — ми вже розбираємо наступну важливу тему.


