Медицинские эксперты все чаще выражают опасения по поводу внедрения генеративного ИИ, который способен выдавать выдуманные сведения, подавая их как достоверные факты. Один из самых ярких случаев произошел с системой Google Med-Gemini — она просто придумала несуществующую часть мозга, анализируя изображения.
В научной публикации с описанием возможностей модели был приведен пример анализа МРТ-снимков мозга. Алгоритм сообщил об «old left basilar ganglia infarct» — повреждении в «базилярных ганглиях». Проблема в том, что таких структур у человека нет: ИИ, вероятно, перепутал базальные ганглии, отвечающие за движения и привычки, с базилярной артерией у основания ствола мозга.
Ошибка оставалась незамеченной более года, пока на нее не обратил внимание невролог Брайан Мур. Google поспешила исправить запись в блоге, но саму научную статью так и не обновила. Представители компании заявили, что это была всего лишь опечатка, а слово «basilar» часто встречается как неверная транскрипция «basal» в обучающих данных.
Специалисты рассказали, что проблема не ограничивается одной моделью. Более новая система Google MedGemma также допускала ошибки и давала разные ответы в зависимости от формулировки вопроса. Ассоциированный профессор радиологии и информатики Университета Эмори Джуди Гичоя заявила, что главная опасность в том, что ИИ не признает своего незнания и выдумывает ответы.
Несмотря на критику, Google продолжает развивать медицинские проекты. В марте компания представила функцию AI Overviews для выдачи медицинских советов прямо в поисковой выдаче, а также «ИИ-помощника для ученых» в разработке лекарств.
В оригинале статьи есть видео с подробностями. Его можно посмотреть по клику на Источник.
Свежие комментарии