AI вже аналізує помилки в лікуванні раку — але галюцинації сягають 61%
Чотири мовні моделі аналізували причини інцидентів у променевій терапії. Експерти побачили користь, але галюцинації траплялися у 11–61% кейсів.
Великі мовні моделі протестували на одному з найвідповідальніших завдань у медицині — пошуку причин інцидентів у променевій терапії. Gemini 2.5 Pro, GPT-4o, o3 і Grok 3 отримали 19 реальних анонімізованих описів та мали визначити першопричини, сформулювати уроки й запропонувати запобіжні дії. Результати виявилися достатньо переконливими для ролі помічника, але непридатними для автономних рішень: усі моделі вигадували непідтверджені деталі, а частка випадків із галюцинаціями залежно від моделі становила від 11% до 61%.
Чому аналіз причин складніший за переказ
У променевій терапії недостатньо зафіксувати, що сталося. Потрібно відділити безпосередню помилку від умов, які до неї призвели: налаштування системи, передавання інформації, послідовність перевірок, людський фактор або недосконалий процес. Root Cause Analysis має знайти не винного, а зміни, які не дозволять інциденту повторитися.
Дослідники взяли 19 публічних кейсів Radiation Oncology Incident Learning System. Модель бачила лише розділи з передумовами й перебігом події. Експертні першопричини, уроки та рекомендовані дії приховувалися й використовувалися як еталон для перевірки. Однаковий промпт був побудований на рекомендаціях Американської асоціації фізиків у медицині.
Як оцінювали чотири моделі
Команда не обмежилася автоматичною схожістю текстів. Спочатку відповіді порівнювали з еталонними звітами за допомогою sentence transformer і косинусної подібності. Потім п’ять сертифікованих медичних фізиків оцінювали точність, повноту, обґрунтування, практичність рішень і наявність вигаданих фактів. Кожен кейс незалежно переглядали двоє експертів, не знаючи, яка саме модель дала відповідь.
Для повного тексту середня семантична схожість становила 0,80 для Gemini 2.5 Pro, 0,79 для o3, 0,83 для GPT-4o і 0,80 для Grok 3. Загальна різниця не була статистично значущою, хоча в окремих частинах — визначенні причин і формуванні уроків — відмінності між моделями з’являлися.
Найважливіша цифра — не рейтинг, а галюцинації
За оцінкою експертів, Gemini 2.5 Pro у визначенні причин мала середню точність 0,71, повноту 0,80 та F1 0,73. Коли фізики окремо перевіряли коректність кожної запропонованої причини, позитивна прогностична цінність сягнула 0,92. Інші моделі показали схожий базовий рівень вилучення причин.
Однак вигадані або неточні деталі знайшли у 11% кейсів Gemini 2.5 Pro, 61% для o3, 32% для GPT-4o і 29% для Grok 3. Автори пишуть, що зазвичай це були додаткові пояснення без підтримки у вихідному описі, а не небезпечні клінічні поради. Проте невелика вибірка не виключає серйозніших помилок у реальній практиці.
Що сподобалося експертам
Усі системи отримали задовільні оцінки за релевантність, повноту, якість аргументації, запропоновані рішення та логіку. Gemini 2.5 Pro мала найвищу загальну експертну оцінку й статистично випередила інші моделі за якістю обґрунтування. Але окремі результати GPT-4o та Grok 3 перекривалися з лідером, тому робота не доводить універсальної переваги одного сервісу.
Цікавий виняток підкреслює слабкість формальних метрик. В одному випадку модель відмовилася будувати причинний аналіз, бо описувалася звичайна системна тривога без шкоди пацієнту чи збою процесу. За заздалегідь визначеними показниками це була невдача, але експерти визнали інтерпретацію правильною; три інші моделі натомість створили непідтверджені «причини».
Де AI можна використовувати вже зараз
Дослідники пропонують лише допоміжний сценарій: модель структурує первинну чернетку, знаходить можливі фактори й нагадує про типові категорії ризику. Кожен пункт має перевірити сертифікований медичний фізик і лікар-радіаційний онколог. Модель не повинна самостійно змінювати план лікування, робити клінічний висновок або закривати інцидент.
Дані також потребують окремого захисту. Для двох внутрішніх анонімізованих кейсів автори використали HIPAA-сумісний корпоративний API з ізоляцією даних і забороною навчання на них. Це важлива деталь: успішний промпт у публічному чаті не робить сервіс придатним для медичної інформації.
Обмеження дослідження
- Лише 19 публічних кейсів і два внутрішні приклади — замало для висновку про всі типи інцидентів.
- Рівень і тяжкість галюцинацій формально не класифікували.
- Рейтинги частково суб’єктивні: точний збіг оцінок експертів був нижчим, ніж збіг у межах одного бала.
- Тестували конкретні версії моделей; їхня поведінка може змінюватися після оновлення.
- Схожість із еталонним текстом не гарантує клінічної правильності нового висновку.
Висновок: LLM уже може прискорити рутинну частину аналізу безпеки, але найкращий результат — 11% кейсів із галюцинаціями — усе ще занадто ризикований для автономної медицини. Практична модель впровадження тут проста: AI готує перевірювану чернетку, людина з профільною відповідальністю ухвалює рішення.
Перекладено й адаптовано за рецензованою статтею Wang et al. у PLOS Digital Health від 25 вересня 2026 року. Текст і всі чотири відтворені фігури поширюються за CC BY 4.0.
Матеріал перекладено, переказано та доповнено редакцією українською мовою.
Читайте далі — ми вже розбираємо наступну важливу тему.
