Зараз читаютьПрактичні новини про код, AI та технології — без інформаційного шуму

Як перевіряти гучні обіцянки про AI: дослідники проаналізували 56 800 наукових робіт

AI-дослідження стали відкритішими, але доступні код і дані ще не гарантують правильного результату. Новий аналіз пояснює, на що дивитися читачеві.

Як перевіряти гучні обіцянки про AI: дослідники проаналізували 56 800 наукових робіт

Коли черговий AI називають кращим за конкурентів, варто запитати не лише про відсоток у тесті, а й про можливість перевірити цей результат. Нове дослідження, опубліковане 22 жовтня в Communications AI & Computing, показує: наукові роботи про штучний інтелект стали помітно відкритішими. Однак навіть опубліковані код і дані ще не є сертифікатом якості конкретного чатбота.

Kevin L. Coakley, Thijs Snelleman, Holger Hoos та Odd Erik Gundersen проаналізували 56 800 публікацій п’яти провідних конференцій — AAAI, ICLR, ICML, IJCAI та NeurIPS — за 2014–2024 роки. Це дослідження того, як науковці описують свої експерименти, а не новий рейтинг AI-сервісів. Його практичний сенс для звичайного читача — навчитися відрізняти перевірювані докази від переконливої презентації.

Зростання кількості публікацій п’яти AI-конференцій за 2014–2024 роки
Рис. 1. Кількість публікацій на п’яти конференціях зросла з 1 206 у 2014 році до 12 026 у 2024-му. Ілюстрація авторів дослідження, CC BY 4.0.

Що саме стало відкритішим

Із загального масиву автори визначили 52 328 робіт як емпіричні, тобто засновані на експериментах. Для них перевіряли сім ознак: наявність відкритого коду, використання відкритих наборів даних, опис поділу даних, псевдокод алгоритму, характеристики обладнання, програмні залежності та налаштування експерименту. Теоретичні роботи не включали до цього аналізу відтворюваності.

Частка емпіричних публікацій, які документували щонайменше п’ять із семи ознак, зросла з 8% до 43%. Це означає, що незалежній команді частіше залишають потрібні інструкції. Але проста згадка репозиторію не говорить, чи він повний, чи встановлюються всі залежності та чи можна відтворити саме головний результат.

Розподіл робіт за кількістю задокументованих умов відтворення
Рис. 2. Кольори позначають кількість описаних ознак — від нуля до семи. Частка робіт із п’ятьма чи більше ознаками зросла, але повний опис усіх семи залишався рідкісним. Автори дослідження, CC BY 4.0.

За оцінкою документації, відкритий код був доступний у 13% емпіричних робіт 2014 року та у 69% робіт 2024-го. Використання відкритих наборів даних зросло з 68% до 91%. Особливо показовою є комбінація обох умов: частка робіт, що одночасно надають код і використовують відкриті дані, піднялася з 11% до 64%. Саме цей показник не слід плутати з точністю AI.

Зміни доступності відкритого коду та відкритих даних
Рис. 3. Ліворуч — частки емпіричних робіт із відкритим кодом, праворуч — із відкритими даними; пунктир показує сукупний результат конференцій. Автори дослідження, CC BY 4.0.
Частка робіт із відкритими кодом і даними та частка без обох компонентів
Рис. 4. Синя лінія — роботи з відкритими кодом і даними: 11% → 64%. Помаранчева — без обох компонентів: 29% → 4%. Це показники відкритості, не правильності відповідей AI. Автори дослідження, CC BY 4.0.

Чому оцінка 64% — не результат перевірки всіх експериментів

У статті є й інше число 64%: змодельована частка відтворюваних результатів для 2024 року проти 28% у 2014-му. Дослідники не запускали заново всі 56 800 експериментів. Вони застосували до знайдених категорій документації ймовірності з попереднього невеликого дослідження: приблизно 86% для робіт із кодом і даними та 33% для робіт лише з відкритими даними.

В основі цих коефіцієнтів — відповідно шість успішних відтворень із семи та п’ять із п’ятнадцяти. Перенесення таких оцінок на різні конференції й одинадцять років є суттєвим припущенням. Роботи без відкритих даних не дають змоги аналогічно оцінити відтворюваність. Тож висновок має звучати обережно: документація стала сприятливішою для незалежної перевірки, але точний відсоток підтверджених результатів невідомий.

Модельна оцінка відтворюваності з інтервалом невизначеності
Рис. 5. Чорна суцільна лінія — розрахункова, а не безпосередньо виміряна відтворюваність. Штрихування показує 95-відсотковий інтервал невизначеності; синя область — роботи без відкритих даних, для яких оцінки немає. Автори дослідження, CC BY 4.0.

Чекліст корисний, але сам собою не доводить якість

Автори також зіставили тенденції до і після запровадження конференціями чеклістів відтворюваності. Загального статистичного підтвердження, що саме чеклісти прискорили поліпшення документації, вони не отримали: прогрес розпочався раніше. Це не доказ марності таких правил. Радше нагадування, що збіг у часі не дає права автоматично оголошувати причину.

Тенденції опису умов експериментів до і після запровадження чеклістів
Рис. 6. Сім ознак документації: псевдокод, відкритий код, відкриті дані, поділ даних, обладнання, програмні залежності та налаштування. Пунктирні лінії — спостереження, суцільні — тренди; вертикальні червоні позначки — роки порівняння. Автори дослідження, CC BY 4.0. Велика схема доступна в оригінальній роздільності.

Порівняння університетських робіт із публікаціями за участю представників компаній теж не дає простого правила «одні завжди прозоріші за інших». У загальному порівнянні систематичної статистично підтвердженої різниці не встановлено, хоча співвідношення змінювалося з роками. Оцінювати варто конкретну роботу та її матеріали, а не лише відомий бренд чи афіліацію.

Участь компаній у дослідженнях і порівняння документації з академічними роботами
Рис. 7. Ліворуч — частка робіт за участю авторів із компаній. Праворуч — кількість порівнянь ознак і конференцій, у яких краще документували університетські або індустріальні роботи. Це не рейтинг точності моделей. Автори дослідження, CC BY 4.0.

AI перевіряв документацію про AI — і це теж обмеження

Для масштабного читання публікацій команда використала Gemini 2.5 Flash. Метод налаштовували на 400 вручну розмічених роботах, а здатність працювати з ширшим масивом перевіряли на ще 160 випадково вибраних публікаціях. Аналіз спирався на витягнутий текст, а не на повну перевірку репозиторіїв, і не оцінював якість кожного відкритого артефакту.

Отже, навіть такий масштабний аналіз може пропускати деталі та успадковувати помилки класифікації моделі. У ньому немає перевірки найновіших чатботів 2026 року: корпус завершується 2024-м. Не можна робити з нього висновок, що конкретний сьогоднішній сервіс відповідає правильно у 64% випадків або що решта робіт обов’язково помилкові.

Стабільність класифікації документації мовною моделлю у п’яти запусках
Рис. 8. Скільки з 400 робіт модель класифікувала правильно у 0–5 запусках для кожної ознаки. Жовтий — п’ять правильних класифікацій, фіолетовий — жодної; вертикальна шкала починається з 200, а не з нуля. Автори дослідження, CC BY 4.0.

Що запитати перед тим, як довіритися новому AI

Практичний редакційний висновок простий: шукайте посилання на сам тест, назву і версію моделі, опис даних та умови порівняння. Запитайте, чи повторював результат хтось незалежний і чи відповідає тест вашій задачі. Гарний результат на навчальному наборі не замінює перевірки на власних прикладах, а наявність коду не гарантує комерційної ліцензії на його використання.

Для особистого вибору помічника це означає порівняти кілька відповідей на однакових реальних задачах і перевірити важливі факти. Для бізнесу — провести невеликий контрольований пілот до передачі сервісу критичних процесів. Це наші практичні рекомендації за мотивами дослідження, а не результати випробування конкретного продукту його авторами.

Джерело та права: Kevin L. Coakley, Thijs Snelleman, Holger Hoos, Odd Erik Gundersen, The shift toward open and reproducible AI research, Communications AI & Computing, 22.10.2026. Текст перекладено й адаптовано редакцією BIB, додано пояснення для читача. Текст першоджерела і всі вісім авторських діаграм — CC BY 4.0. Діаграми завантажено локально в оригінальному PNG без обрізання чи зміни даних; підписи перекладено. Обкладинка — авторський рис. 4, не AI-генерація. На зображення можна натиснути правою кнопкою й відкрити файл у повній роздільності.

Першоджерело:Communications AI & Computing ↗

Матеріал перекладено, переказано та доповнено редакцією українською мовою.

</>

Читайте далі — ми вже розбираємо наступну важливу тему.

Далі за темою

Схожі матеріали