Изображение урока 90.png
Приложение ИИ поддерживает диагностику по медицинским изображениям. Фото: Midjourney

Аннотирование интересующих областей на медицинских изображениях (процесс, известный как сегментация) часто является первым шагом, который предпринимают клинические исследователи при проведении нового исследования с использованием биомедицинской визуализации.

Например, чтобы определить, как размер гиппокампа пациента меняется с возрастом, учёным необходимо картировать каждый гиппокамп с помощью серии сканирований мозга. Учитывая разнообразие структур и типов изображений, это часто занимает много времени и выполняется вручную, особенно если исследуемые области плохо разграничены.

Чтобы упростить этот процесс, исследователи Массачусетского технологического института разработали систему на основе искусственного интеллекта, которая позволяет учёным быстро сегментировать новые наборы биомедицинских изображений, щелкая мышью, рисуя или закрашивая поля на изображениях. Модель искусственного интеллекта использует эти взаимодействия для прогнозирования сегментации.

По мере того, как пользователь добавляет больше тегов к изображениям, количество необходимых взаимодействий уменьшается, в конечном итоге снизившись до нуля. После этого модель сможет точно сегментировать новые изображения без дополнительных действий со стороны пользователя.

Это стало возможным благодаря архитектуре модели, специально разработанной для использования информации из ранее сегментированных изображений для построения прогнозов для последующих изображений. В отличие от других моделей сегментации медицинских изображений, эта система позволяет пользователям сегментировать весь набор данных, не повторяя эту работу для каждого изображения.

Кроме того, этот интерактивный инструмент не требует предварительно сегментированного набора данных для обучения, поэтому пользователям не нужны экспертные знания в области машинного обучения или сложные вычислительные ресурсы. Они могут использовать систему для новой задачи сегментации без необходимости переобучения модели.

В долгосрочной перспективе этот инструмент может ускорить разработку новых методов лечения и снизить расходы на клинические испытания и медицинские исследования. Врачи также могут использовать его для повышения эффективности клинических приложений, таких как планирование лучевой терапии.

«Многие учёные могут сегментировать лишь несколько изображений в день для своих исследований, поскольку ручная сегментация занимает слишком много времени. Мы надеемся, что эта система откроет новые научные возможности, позволив клиническим исследователям проводить исследования, которые они раньше не могли себе позволить из-за отсутствия эффективных инструментов», — сказала Холли Вонг, аспирантка в области электротехники и информатики, ведущий автор статьи, представляющей эту модель.

Оптимизация сегмента

В настоящее время исследователи используют два основных метода для сегментации новых наборов медицинских изображений:

Интерактивная сегментация: пользователь вводит изображение в систему ИИ и отмечает интересующие его области. Модель прогнозирует сегмент на основе этих взаимодействий. Инструмент ScribblePrompt, ранее разработанный командой Массачусетского технологического института, позволяет это сделать, но процедуру необходимо повторять для каждого нового изображения.

Автоматическая сегментация на основе задач : создание специализированной модели ИИ для автоматизации сегментации. Этот метод требует ручной сегментации сотен изображений для создания обучающего набора данных, а затем обучения модели машинного обучения. Каждый раз при возникновении новой задачи пользователю приходится начинать весь этот сложный процесс заново, и если модель неверна, нет возможности напрямую её отредактировать.

Новая система MultiverSeg сочетает в себе лучшее из обоих подходов. Она прогнозирует сегмент для нового изображения на основе взаимодействия (например, рисования), а также сохраняет каждое сегментированное изображение в наборе контекстов для последующего использования.

Когда пользователи загружают новые фотографии и добавляют к ним разметку, модель использует набор контекстов для более точных прогнозов с меньшими усилиями. Архитектура позволяет использовать наборы контекстов любого размера, что делает инструмент гибким для множества приложений.

«В какой-то момент для многих задач вам не потребуется дополнительное взаимодействие. Если в наборе контекстов достаточно примеров, модель сможет точно предсказать сегмент самостоятельно», — объясняет Вонг.

Модель обучается на разнообразных наборах данных, что обеспечивает постепенное улучшение прогнозов на основе отзывов пользователей. Пользователям не нужно переобучать модель для новых данных — просто загрузите новые медицинские изображения и начните разметку.

В сравнительных тестах с другими современными инструментами MultiverSeg превосходит их по эффективности и точности.

Меньше работы, лучшие результаты

В отличие от существующих инструментов, MultiverSeg требует меньше входных данных для каждого изображения. К девятому изображению достаточно всего двух кликов, чтобы получить более точную сегментацию, чем специализированная модель.

Для некоторых типов изображений, таких как рентгеновские снимки, пользователю может потребоваться вручную сегментировать только 1–2 изображения, прежде чем модель станет достаточно точной для прогнозирования остальных.

Интерактивность позволяет пользователям корректировать прогнозы, повторяя их до достижения желаемой точности. По сравнению с предыдущей системой, MultiverSeg достигла 90% точности, используя всего 2/3 штрихов и 3/4 кликов.

«С MultiverSeg пользователи всегда могут добавлять взаимодействия для уточнения прогнозов ИИ. Это значительно ускоряет процесс, поскольку редактирование происходит гораздо быстрее, чем создание нового кода с нуля», — добавил Вонг.

В будущем команда планирует протестировать инструмент в клинической практике, усовершенствовать его на основе отзывов и распространить его возможности сегментации на трехмерную биомедицинскую визуализацию.

Исследование было частично поддержано Quanta Computer, Inc., Национальными институтами здравоохранения США (NIH) и оборудованием Массачусетского центра наук о жизни.

(Источник: Новости MIT)

Источник: https://vietnamnet.vn/he-thong-ai-moi-ho-tro-day-nhanh-nghien-cuu-lam-sang-2450462.html