Исследователи из США решили это проверить на примере гастроэзофагиальной рефлюксной болезни (ГЭРБ).
Таланты ChatGPT – то есть способность ИИ давать точные и конкретные ответы на вопросы, касающиеся лечения ГЭРБ, — проверяли гастроэнтерологи из Медицинской школы Университета Дьюка (Дарем, Северная Каролина).
Они создали 23 запроса (промпта) на тему ГЭРБ, составленных на основе опубликованных клинических руководств и экспертных рекомендаций. 5 вопросов касались диагностики, 11 – лечения и 7 – как диагностики, так и лечения.
Каждый промпт был подан в ChatGPT 3.5 (версия 14.03.2023) по три раза отдельно – и без обратной связи с ботом (так можно было оценить согласованность ответов). Ответы бота проверялись тремя сертифицированными гастроэнтерологами на точность и специфичность.
В итоге ChatGPT дал правильные ответы на 63 из 69 (91,3%) запросов, при этом 29% были признаны полностью подходящими, а 62,3% — по большей части подходящими.
Однако ответы на один и тот же запрос часто были непоследовательными: ответы на 16 из 23 (70%) промптов варьировались по адекватности, из них на три (13%) были даны как неточные, так и адекватные ответы.
Промпты, касающиеся лечения, получили наибольшую долю полностью адекватных ответов: 39,4%. В то же время запросы о диагностике и лечении имели наибольшую долю в основном неподходящих ответов (14,3%).
Например, чат-бот не рекомендовал рассматривать желудочное шунтирование по Ру при продолжающихся симптомах ГЭРБ с патологическим воздействием кислоты в условиях ожирения, а некоторые потенциальные риски, связанные с ингибиторами протонной помпы, были констатированы как факт. Однако большинство (78,3%) ответов содержали, по крайней мере, некоторые конкретные указания, особенно в отношении подсказок по оценке диагноза (93,3%).
Во всех ответах ChatGPT предлагал обратиться к медицинскому работнику за дополнительной консультацией.
По мнению авторов, несмотря на высокий показатель «угаданных» ответов, наличие неуместных ответов с несоответствиями на один и тот же запрос, исключает применение ChatGPT в здравоохранении в его нынешнем состоянии, по крайней мере, при ГЭРБ.
Однако ChatGPT потенциально может использоваться в качестве источника информации для пациентов, а также для помощи врачам, лечащим гастроэзофагеальную рефлюксную болезнь.