Расшифровка анализа в чат-боте: почему нельзя верить диагнозам из ИИ

istockphoto.com

Зачем ходить к врачу, когда можно просто загрузить фотографию анализов в чат-бот и через минуту получить объяснение каждой цифры и все рекомендации? Вот только каким из этих объяснений можно верить? Об этом aif.ru рассказал инженер-программист, кандидат технических наук Антон Букарев.

Разные системы

Елена Нечаенко, aif.ru: Что происходит, когда пользователь загружает фотографию анализа в нейросеть?

Антон Букарев: Начну с главного: нейросеть не видит фотографию так, как видим мы. Она превращает изображение в массив чисел, с которым умеет работать, и ищет в нём шаблоны, выученные на данных, заложенных при обучении. Если говорить про бланк анализов, то тут друг за другом работают два механизма. Сначала система распознаёт текст: превращает картинку в цифры и слова. Потом языковая модель пытается истолковать таблицу.

Тут есть принципиальная разница. Медицинский ИИ — это не одна технология, есть специализированные и универсальные системы. Сейчас разрабатывают много нейросетей именно для медицины — их учат на специально подобранных массивах данных: историях болезней, снимках, результатах лабораторий. В руках врача такие системы реально полезны: они автоматизируют рутинную информацию, и иногда замечают то, что усталый и «замыленный» глаз врача пропустил. Но до обычного пользователя эти системы почти не доходят. Это нишевые инструменты для клиник и лабораторий, в открытом доступе их нет.

А чем люди пользуются в быту? И как устроены эти системы?

Для обычных людей — универсальные чат-боты. Их обучали на огромном массиве текстов, где рядом с рецензируемыми научными статьями лежат просто заметки с сайтов неизвестного происхождения. Полностью отсортировать такой массив, отделить зёрна от плевел, почти невозможно. Поэтому модель может уверенно воспроизвести чужую ошибку или заблуждение. Не зря под окном чата пишут: «модель может ошибаться, проверяйте важную информацию».

Ошибаются все

Где чаще возникают ошибки: при распознавании изображения или объяснении результата?

Ошибки бывают на обоих этапах, но выглядят они по-разному.

Ошибка распознавания — это когда перепуталась запятая (5,4 превратилось в 54), машина случайно «съела» минус, или значение взялось из соседней строки таблицы, или пропала единица измерения.

Ошибка объяснения — когда цифры прочитаны верно, но модель применила не тот референсный диапазон: не те границы нормы, не учла лабораторию, возраст или пол. Или просто «дорисовала» правдоподобное объяснение, которого на самом деле нет.

Но почему ИИ может перепутать запятую, цифру, единицу измерения? Вроде бы рассеянность и невнимательность присущи лишь людям, а не машинам?

Потому что для нейросети бланк — это картинка, а не осмысленная таблица. Человек видит бланк, где гемоглобин указан в граммах на литр, и сразу понимает: значения 5,4 тут быть не может, скорее всего, это 154. У модели такого «здравого смысла лаборанта» нет. Или он только частичный. Она подставит то, что статистически вероятнее по опыту, и не всегда честно скажет о сомнении.

Единицы измерения — отдельная ловушка. Часть показателей разные лаборатории приводят по-разному: в ммоль/л или мг/дл. Числа при этом различаются в разы, так что потерянная единица почти гарантирует неверную трактовку.

С терминами — своя история. В медицине полно похожих названий. Креатин и креатинин — это разные вещества с разными нормами. Смазанная буква на фотографии из-за блика от лампы во время фото — и модель легко превращают одно в другое, и вся трактовка уезжает не туда. То же самое, если вы случайно обрезали часть бланка, где указаны референсные значения. К тому же референсные диапазоны у каждой лаборатории — свои. Модель может «объяснить» ваш результат по чужой норме.

Поэтому следуйте простому правилу: фотографируйте бланк целиком, без наклона и бликов, при хорошем свете. А еще лучше загружайте PDF из личного кабинета лаборатории — там обычно текст, а не картинка, и распознавать его не нужно.

Разошлись во мнениях

Почему разные нейросети по-разному объясняют один и тот же анализ?

За разными сервисами стоят разные модели. Их обучали на разных данных, с разными настройками осторожности. Одна перестраховывается и советует врача, другая отвечает развернуто и уверенно. К тому же ответ каждый раз собирается заново, с долей случайности. Даже одна и та же система на один и тот же вопрос может ответить по-разному.

Но если два сервиса истолковали ваш анализ противоположно — это не значит, что один из них «правильный», а другой — нет. Это означает только то, что вопрос надо задавать врачу.

В чем еще минус ИИ как диагноста?

Модель работает только с теми данными, что вы ей сказали. И, в отличие от врача, не уточняет, сколько вам лет, что вы принимаете, и есть ли у вас хронические заболевания. А ведь один и тот же показатель у 20-летнего спортсмена и у пожилого человека, принимающего мочегонные, означает совершенно разное.

Первое, чему я учу инженеров: неполные данные на входе дают не приблизительный, а уверенно неправильный ответ. С моделью так же. Только у человека хотя бы срабатывает сомнение, а у ИИ их надо вытягивать отдельным вопросом.

По каким признакам можно заподозрить, что нейросеть выдумала объяснение?

Подозрения должны вызвать:

подозрительно гладкий, уверенный текст без единой оговорки;

упоминание показателей, которых в вашем бланке не было;

несуществующие термины или «нормы», которых вы не найдете ни в одном справочнике;

противоречия внутри ответа: в одном абзаце этот показатель «в норме», в другом — «повышен»;

постановка готового диагноза по одному-единственному отклонению в анализах.

При проверке программ мы специально ищем места, где система отвечает уверенно, но неверно. Самый простой способ — задать тот же вопрос дважды, в разных формулировках. Слова могут отличаться, это нормально. Но если во второй раз поменялись цифры, нормы или сам вывод — перед вами «выдумщик».

Кстати, универсальный прием: попросите систему указать, откуда взят каждый вывод. На выдуманных местах она обычно «плывет».

Много на себя берёте

Верить ли ИИ, который назначает препараты или предлагает изменить дозировку?

Языковая модель генерирует правдоподобный текст, но ответственности за ваше здоровье не несет. У чат-бота нет ни аудита, ни лицензии, ни медицинского диплома. Он не видит вас, не проводил осмотр, не знает полной картины

Мне нравится аналогия с калькулятором. Его появление не отменило умения считать — но позволило ускорить счет тому, кто понимает, что именно надо посчитать.

Медицинский ИИ — такой же калькулятор, только в руках врача: он ускоряет работу и подстраховывает. А что надо «посчитать», и что делать с результатом — решает тот кто несет ответственность за пациента. Просить ИИ назначить препарат — это как доверять калькулятору решить, как и сколько денег вам стоит потратить.

Значит, от помощи ИИ следует отказаться? И по старинке идти к врачу?