Искусственный интеллект распознаёт рак, но при этом «видит» демографию пациента — и это проблема

Патология остаётся основой диагностики рака на протяжении десятилетий. Врач-патоморфолог изучает под микроскопом тонкий срез тканины, выискивая визуальные признаки болезни. Для специалиста такой образец содержит жизненно важную информацию о заболевании, но ничего не говорит о том, кто именно пациент. А вот при использовании систем искусственного интеллекта всё работает иначе.

Исследователи Гарвардской медицинской школы проверили четыре широко используемые модели глубокого обучения, предназначенные для диагностики рака. Анализ охватил патологические образцы тканей с 20 различными типами рака.

Результаты выявили системные различия в точности искусственного интеллекта: ИИ-модели хуже работали в определённых демографических группах, определённых по расе, полу и возрасту. Например, ИИ труднее различал подтипы рака лёгкого у мужчин и афроамериканцев. Точность машины также снижалась при классификации подтипов рака молочной железы у пациентов младшего возраста. В целом такие расхождения выявлялись примерно в 29% диагностических задач.

Исследователи определили три основные причины проблем с точностью ИИ-диагностики.

Неравномерность обучающих данных: образцы тканей проще получить от одних демографических групп, чем от других, поэтому наборы данных несбалансированы. Это усложняет диагностику для недостаточно представленных групп. Хотя, по словам авторов, «проблема оказалась значительно глубже»: в отдельных случаях ИИ-модели портили диагностику для определённых групп даже при одинаковом размере выборки.

Различия в заболеваемости: определённые типы опухолей более распространены в определённых популяциях, и ИИ-модели особенно точны в диагностике именно для этих групп. Соответственно, для популяций, которым эти заболевания мало присущи, точность падает.

Способность ИИ выявлять минимальные молекулярные различия между демографическими группами. Например, ИИ распознаёт мутации в генах-драйверах рака и использует их как «короткий путь» для классификации типа опухоли. Это снижает точность для популяций, где такие мутации распространены меньше.

«Мы обнаружили, что благодаря своей мощности ИИ может различать многие неочевидные биологические сигналы, недоступные человеческому глазу. Это заставляет модели фокусироваться на сигналах, связанных скорее с демографией, чем с самой болезнью», — объяснили авторы.

Чтобы решить эту проблему, они разработали подход под названием FAIR-Path, который модифицирует обучение ИИ так, чтобы модели больше сосредотачивались на критических различиях — например, между типами рака — и меньше обращали внимание на демографические характеристики. Проверка показала, что после применения FAIR-Path диагностические расхождения уменьшились примерно на 88%. Существенное снижение предвзятости оказалось возможным даже в случаях отсутствия идеально сбалансированных обучающих наборов данных.

Сейчас команда исследователей работает с медицинскими учреждениями по всему миру, изучая предвзятость ИИ в регионах с разной демографией и клиническими практиками и адаптируя FAIR-Path для ситуаций с ограниченными данными.