Зараз читаютьПрактичні новини про код, AI та технології — без інформаційного шуму

GPT-4o набрав 92% на медичному тесті. Чому це ще не робить чатбота лікарем

Новий огляд 14 досліджень показав високі результати AI на китайських медичних іспитах — і пояснив, чому їх не можна переносити на лікування реальних людей.

GPT-4o набрав 92% на медичному тесті. Чому це ще не робить чатбота лікарем

Чатбот може правильно відповісти на більшість медичних тестових запитань — і все одно не бути готовим допомагати пацієнтові без нагляду. Саме цю різницю підкреслює огляд, опублікований 9 жовтня в PLOS Digital Health. Дослідники зібрали результати перевірок мовних моделей на китайських медичних іспитах: у включеному тестуванні на запитаннях ліцензійного іспиту 2024 року GPT-4o набрав 552 бали з 600, або 92%, а DeepSeek-R1 — 523 бали, або 87,2%.

Це результати конкретного тестування з огляду, а не новий рейтинг усіх актуальних чатботів. Робота не перевіряє їхні сьогоднішні версії на українських пацієнтах і не повідомляє про надання AI права лікувати людей.

Кількість публікацій та оцінювань різних мовних моделей в огляді
Оригінальна фігура 4: кількість публікацій і записів оцінювання для кожної моделі. Це НЕ бали за іспит і НЕ рейтинг якості. Hui Zong та співавтори, PLOS Digital Health, CC BY 4.0; зображення без змін.

Що насправді перевіряли

Автори проаналізували 14 рецензованих досліджень із 51 записом оцінювання. Вони охоплювали дев’ять мовних моделей і вісім типів медичних іспитів, зокрема основний ліцензійний і спеціалізовані тести. Серед моделей були GPT-3.5, GPT-4, GPT-4o, DeepSeek-R1, ERNIE, Qwen та Baichuan.

Запитання походили з іспитів різних років — від 2017-го до 2024-го. Тому одна нова публікація об’єднує раніше проведені експерименти, а не описує єдиний синхронний турнір моделей. Автори бачать тенденцію до кращих оприлюднених результатів новіших систем, але застерігають: неоднакові набори запитань і методи не дозволяють робити однозначні висновки про перевагу однієї моделі над іншою.

Схема відбору досліджень для огляду медичних іспитів AI
Оригінальна фігура 1: як автори відібрали дослідження для огляду. Hui Zong та співавтори, CC BY 4.0, без змін.

Тестове запитання — не прийом у лікаря

У тесті зазвичай уже сформульовані умови й можливі відповіді. У реальному зверненні людина може неповно описати симптоми, переплутати терміни або не знати, які подробиці важливі. Редакційне пояснення: правильний вибір відповіді в готовому завданні не доводить, що модель надійно збере інформацію, визначить необхідність обстежень і безпечно відреагує на невизначеність.

Є й обмеження самих перевірок. Частина досліджень вилучала запитання із зображеннями чи таблицями, пристосовуючи іспит до текстових моделей. Автори також не можуть повністю виключити, що доступні в інтернеті завдання або підготовчі матеріали потрапили до навчальних даних. Високий бал у такому разі може частково відображати знайомство з матеріалом, а не здатність розв’язати нову клінічну ситуацію.

Оцінка повноти методологічного опису включених досліджень
Оригінальна фігура 2: оцінка досліджень за авторським переліком із 12 критеріїв. Цей перелік не пройшов формальної валідації; оцінка не є гарантією клінічної безпеки моделі. Hui Zong та співавтори, CC BY 4.0, без змін.

Мова запитання теж має значення

В огляді зазначено: дослідження, які порівнювали англійські та китайські варіанти іспиту, знаходили кращі результати англійською. Це важлива деталь для будь-кого, хто користується чатботом не англійською. Високий результат однією мовою не гарантує такої самої якості іншою. Водночас із цієї роботи не можна обчислити точність відповідей українською: її окремо не досліджували.

Розподіл включених оцінювань за типом і роком іспиту
Оригінальна фігура 3: які типи та роки іспитів представлені в огляді. Стовпчики показують кількість публікацій і записів оцінювання. Hui Zong та співавтори, CC BY 4.0, без змін.

Як читати такі новини без зайвих очікувань

Автори вбачають можливий напрям застосування в навчанні та підготовчих оцінюваннях, але закликають до прозорих тестів і перевірки практичної користі. Редакційна порада: коли бачите заголовок «AI склав іспит», запитайте, на яких завданнях, якою мовою, з якою версією моделі та чи оцінювали її роботу поза тестом.

Для звичайного читача висновок простий: чатбот може допомогти сформулювати запитання для фахівця або пояснити термін, але впевнена відповідь і вражаючий тестовий бал не замінюють медичного огляду. Ця публікація не є інструкцією із самолікування і не підтверджує безпечність автономного використання моделей у медицині.

Джерело: Hui Zong та співавтори, PLOS Digital Health, 9 жовтня 2026 року. Перекладено й адаптовано українською, додано редакційні пояснення. Текст та всі чотири оригінальні фігури — CC BY 4.0.

Першоджерело:PLOS Digital Health ↗
Автор:Hui Zong, Jiao Wang, Jiaxue Cha, Rongrong Wu, Shanshan Hu, Yan Zhao, Bairong Shen
Ліцензія:CC BY 4.0 ↗

Матеріал перекладено, переказано та доповнено редакцією українською мовою.

</>

Читайте далі — ми вже розбираємо наступну важливу тему.

Далі за темою

Схожі матеріали