Дослідники зі США вирішили перевірити це на прикладі гастроезофагіальної рефлюксної хвороби (ГЕРХ).
«Таланти» ChatGPT – тобто здатність ШІ давати точні й конкретні відповіді на питання стосовно діагностики та лікування ГЕРХ, – перевіряли гастроентерологи з Медичної школи Університету Дьюка (Дарем, Північна Кароліна).
Вони створили 23 запити (промпти) на тему ГЕРХ на основі опублікованих клінічних посібників та експертних рекомендацій. 5 питань стосувалися діагностики, 11 – лікування та 7 – як діагностики, так і лікування ГЕРХ.
Кожен промпт був поданий у ChatGPT 3.5 (версія 14.03.2023) по три рази окремо — і без зворотного звʼязку з ботом (так можна було оцінити узгодженість відповідей). Відповіді робота перевірялися на точність і специфічність трьома сертифікованими гастроентерологами.
Загалом, ChatGPT дав правильні відповіді на 63 з 69 (91,3%) запитів, при цьому 29% були визнані повністю відповідними, а 62,3% — переважно відповідними.
Однак відповіді на той самий запит часто були непослідовними: відповіді на 16 з 23 (70%) промптів варіювалися за адекватністю, з них на три (13%) були дані як неточні, так і адекватні відповіді.
Промпти стосовно лікування отримали найбільшу частку повністю адекватних відповідей: 39,4%. Разом з тим запити про діагностику та лікування мали найбільшу частку переважно неадекватних відповідей (14,3%).
Наприклад, чат-бот не рекомендував розглядати шлункове шунтування по Ру при симптомах ГЕРХ з патологічним впливом кислоти в умовах ожиріння, а деякі потенційні ризики, повʼязані з інгібіторами протонної помпи, були констатовані як факт. Проте більшість (78,3%) відповідей містили принаймні деякі конкретні вказівки, особливо щодо підказок з оцінки діагнозу (93,3%).
У всіх відповідях ChatGPT пропонував звернутися до медичного працівника за додатковою консультацією.
На думку авторів, попри високий показник «вгаданих» відповідей, наявність недоречних «порад» з невідповідностями на один і той самий запит, виключає застосування ChatGPT в системах охорони здоровʼя в його нинішньому стані — принаймні при ГЕРХ.
Однак ChatGPT потенційно може використовуватися як джерело інформації для пацієнтів, а також для допомоги лікарям, які лікують гастроезофагеальну рефлюксну хворобу.
