Искусственный интеллект (ИИ) в настоящее время не может сдать одно из квалификационных рентгенологических обследований, что говорит о том, что эта многообещающая технология еще не готова заменить врачей, говорится в исследовании, опубликованном в рождественском выпуске BMJ.

Искусственный интеллект все чаще используется для некоторых задач, которые выполняют врачи, таких как интерпретация рентгенограмм (рентгеновских снимков и сканирований), чтобы помочь диагностировать целый ряд состояний.

Но может ли ИИ сдать экзамен на стипендию Королевского колледжа радиологов (FRCR), который должны сдать британские стажеры, чтобы получить квалификацию консультантов по радиологии? Чтобы выяснить это, исследователи сравнили производительность коммерчески доступного инструмента искусственного интеллекта с 26 рентгенологами (в основном в возрасте от 31 до 40 лет; 62% женщин), все из которых сдали экзамен FRCR в предыдущем году.

Они разработали 10 "пробных" экспресс-экзаменов по отчетности, основанных на одном из трех модулей, составляющих квалификационный экзамен FRCR, который предназначен для проверки кандидатов на скорость и точность.

Каждый пробный экзамен состоял из 30 рентгенограмм того же или более высокого уровня сложности и широты знаний, ожидаемых для реального экзамена FRCR. Чтобы пройти, кандидаты должны были правильно интерпретировать по крайней мере 27 (90%) из 30 изображений в течение 35 минут.

Кандидат в ИИ был обучен оценивать рентгенограммы грудной клетки и костей (опорно-двигательного аппарата) при нескольких состояниях, включая переломы, опухшие и вывихнутые суставы и коллапс легких.

Допуски были сделаны для изображений, относящихся к частям тела, которым кандидат в ИИ не был обучен, и которые были признаны "неинтерпретируемыми".

Когда из анализа были исключены неинтерпретируемые изображения, кандидат на ИИ достиг средней общей точности 79,5% и сдал два из 10 пробных экзаменов FRCR, в то время как средний рентгенолог достиг средней точности 84,8% и сдал четыре из 10 пробных экзаменов.

Чувствительность (способность правильно идентифицировать пациентов с заболеванием) для кандидата на ИИ составила 83,6%, а специфичность (способность правильно идентифицировать пациентов без заболевания) составила 75,2%, по сравнению с 84,1% и 87,3% у всех рентгенологов.

На 148 из 300 рентгенограмм, которые были правильно интерпретированы более чем 90% рентгенологов, кандидат на ИИ был правильным в 134 (91%) и неправильным в остальных 14 (9%).

На 20 из 300 рентгенограмм, которые более половины рентгенологов интерпретировали неправильно, кандидат на ИИ был неверным на 10 (50%) и правильным на оставшихся 10.

Интересно, что радиологи немного переоценили вероятные показатели кандидата на ИИ, предположив, что в среднем он будет работать почти так же хорошо, как они сами, и превзойдет их по крайней мере на трех из 10 пробных экзаменов.

Однако это было не так. Исследователи говорят: "В этом случае кандидат на искусственный интеллект не смог сдать ни один из 10 пробных экзаменов, когда был отмечен по таким же строгим критериям, как и его коллеги-люди, но он мог бы сдать два пробных экзамена, если бы RCR дал специальное разрешение исключить изображения, которым он не был обучен включено".

Это результаты наблюдений, и исследователи признают, что они оценивали только один инструмент искусственного интеллекта и использовали имитационные экзамены, которые не были рассчитаны по времени или контролировались, поэтому рентгенологи, возможно, не испытывали такого сильного давления, чтобы сделать все возможное, как при реальном экзамене.

Тем не менее, это исследование является одним из наиболее полных перекрестных сравнений между радиологами и искусственным интеллектом, предоставляя широкий спектр оценок и результатов для анализа.

Настоятельно рекомендуется дальнейшее обучение и пересмотр, добавляют они, особенно для случаев, которые искусственный интеллект считает "не поддающимися интерпретации", таких как рентгенограммы брюшной полости и осевого скелета.

Искусственный интеллект может облегчить рабочие процессы, но человеческий вклад по-прежнему имеет решающее значение, утверждают исследователи в связанной редакционной статье.

Они признают, что использование искусственного интеллекта "имеет неиспользованный потенциал для дальнейшего повышения эффективности и точности диагностики для удовлетворения целого ряда требований здравоохранения", но говорят, что правильное выполнение этого "подразумевает лучшее информирование врачей и общественности об ограничениях искусственного интеллекта и делает их более прозрачными".

Исследования в этой области идут полным ходом, добавляют они, и это исследование подчеркивает, что один из основополагающих аспектов радиологической практики — сдача экзамена FRCR, необходимого для получения лицензии на практику, — по-прежнему выигрывает от человеческого прикосновения.