Сегментация почечных структур по изображениям контрастной компьютерной томографии с помощью сверточной нейронной сети

Список сокращений:

DICOM - Digital Imaging and Communications in Medicine, медицинский отраслевой стандарт создания, хранения, передачи и визуализации цифровых медицинских изображений и документов обследованных пациентов

МСКТ - мультиспиральная компьютерная томография

ИИ - искусственный интеллект

По данным статистики Всемирной организации здравоохранения рак почки по количеству заболевших в 2020 г. (431 288 случаев) занимает 14-е место среди всех злокачественных новообразований1. В России за период с 2012 по 2017 г. стандартизованные показатели заболеваемости увеличились на 13,8% у мужчин (с 12,3 до 14 на 100 тыс. населения, мировой стандарт) и на 16,4% у женщин (6,7 и 7,8 на 100 тыс. населения). В 2017 г. в России было зарегистрировано 24,8 тыс. новых случаев рака почки (3% среди всех злокачественных новообразований, 7-е ранговое место) [1].

Для обнаружения хирургических заболеваний почек предложено множество различных алгоритмов глубокого машинного обучения. Так, в работе J. Verma и соавт. с целью верификации конкрементов почки на основании ультразвуковой визуализации были применены алгоритмы ближайших соседей и машины опорных векторов [2]. В другом исследовании S. Sudharson и соавт. [3] применили предобученные модели архитектур ResNet-101, ShuffleNet и MobileNetv2 для извлечения первичных признаков и в качестве классификатора использовали машину опорных векторов для обнаружения кист, опухоли и конкрементов на основе анализа ультразвуковой картины, при этом точность в работе составила 96,54%. Большую популярность для оценки качества работы алгоритмов в определении опухоли по данным DICOM изображений (Digital Imaging and Communications in Medicine, медицинский отраслевой стандарт создания, хранения, передачи и визуализации цифровых медицинских изображений и документов обследованных пациентов) мультиспиральной компьютерной томографии (МСКТ) приобрело соревнование KiTS21, основанное на наборе из 300 нативных снимков МСКТ с разным шагом срезов^{1 2}.

Для автоматической сегментации лучевых методов визуализации в мире наибольшее число исследований выполняется посредством архитектуры UNet [4]. Так, в работе A. Golts и соавт. [5] использован каскад 3D UNet архитектуры для уточнения маски. В исследовании Z. Zhao и соавт. [6] применялся двухэтапный протокол 3D UNet для верификации почек. Первично на изображении МСКТ выделялись почки, а вторым этапом выполнялась сегментация зоны интереса - опухоли почки. С целью уменьшения требований к вычислительным мощностям некоторые исследователи используют только двумерные срезы. Например, L. Batista da Cruz и соавт. [7] для обучения использовали один срез с двумя соседними (предыдущий, центральный и следующий срез) для расширения контекста изображения. На выходе получали маску для центрального среза. Также используют гибридные архитектуры, совмещая классические сверточные сети с рекуррентными сетями. Рекуррентные сети могут хранить признаки с предыдущего шага и таким образом запоминать контекст. Например, M.Z. Alom и соавт. [8] разработали гибридную архитектуру, состоящую из UNet и RNN сетей, которая аккумулировала признаки от среза к срезу и создавала маску для трехмерного изображения. A.A. Novikov и соавт. [9] модернизировали UNet с помощью двухсторонних сверточных LSTM слоев внутри UNet архитектуры.

Для ускорения обучения в несколько раз используют подход обучения с переносом (transfer learning). Данный подход при обучении берет за основу заранее предобученную архитектуру на похожей задаче. Например, могут взять предобученную архитектуру на сегментацию на обычных фотографиях или на сегментации для выделения другого органа [6].

С развитием искусственного интеллекта (ИИ) исследователи стали больше заботиться о защите данных с юридической точки зрения. Опубликованные наборы данных в интернете защищены от коммерческого применения и используются исключительно в исследовательских целях для сравнения алгоритмов. Сегментация изображений является отдельной рыночной нишей и оказываемой услугой. В медицине это накладывает дополнительные ограничения на экспертов для разметки данных. Специалист должен обладать знаниями в лучевой диагностике, медицинской квалификацией для аннотирования анатомических структур на изображениях МСКТ. Поэтому некоторые доступные датасеты могут носить исключительно исследовательский характер для сравнения качества работы алгоритмов. Так, BRaTS 21 датасет [10, препринт] имеет 2000 аннотированных наблюдений с опухолью мозга. В последнее время наблюдается тенденция к публикации данных с открытой лицензией, что позволяет использовать в клиниках вспомогательный инструмент в виде ИИ [11]. Однако доступные наборы данных могут быть недостаточны для удовлетворения запросов хирургов из-за отсутствия размеченных сосудов, лимфоузлов, что требует для каждой нозологии собирать и аннотировать данные.

В Институте урологии и репродуктивного здоровья человека Сеченовского Университета с 2010 г. на всех этапах планирования оперативного лечения пациентов с образованиями паренхимы почки, а также для интраоперационной навигации используется 3D-моделирование патологического процесса, основанного на постпроцессинговой обработке данных МСКТ почек с контрастированием. Знание персонифицированной анатомии помогает не только предвидеть технические сложности, которые могут возникнуть при выполнении операции, но и многократно и многовариантно выполнить ее виртуально, тем самым определяя наиболее оптимальный доступ к интересуемой области, оптимальный вид, а также перечень и последовательность хирургических манипуляций.

В создании SD-модели патологического процесса задействована команда из трех основных специалистов: врача-уролога, врача лучевой диагностики и специалиста по программному обеспечению. Работа IT (information technology) - специалиста (специалист в области информационных систем и технологий) в SD-построении основных элементов анатомии почки на сегодня выполняется в «ручном режиме» и требует временных затрат продолжительностью до 2 часов. В настоящее время в лучевой диагностике использование автоматического режима 3D-построений широко представлено в программном обеспечении рабочих станций современных аппаратов МСКТ. Однако базовые станции компьютерных томографов не позволяют совместить более двух фаз исследования почек, что не отвечает требованиям виртуального планирования предстоящего оперативного лечения на почке. Построение 3D-моделей почек для планирования оперативного лечения выполняется IT-специалистом вручную, является трудоемким и финансово затратным.

Цель исследования: разработка автоматической системы построения 3D-моделей образований почек и прилежащих структур посредством использования ИИ.

МАТЕРИАЛЫ И МЕТОДЫ

Исследование одобрено Локальным комитетом по этике Сеченовского Университета. В исследовании использованы данные 3D-моделирований образований паренхимы почки 41 пациента при планировании хирургического лечения. DICOM данные в каждом наблюдении включали в себя все 4 фазы МСКТ с контрастированием. На этапе разметки мы брали три фазы: артериальную, венозную и экскреторную, проводили аффинную регистрацию для совместного совпадения расположения почек и удаление шумов с помощью медианного фильтра (median) и фильтра нелокальных средних (non-local means). Затем были размечены маски артерий, вен, мочеточников, паренхимы почки и образований паренхимы. На этапе обучения мы использовали 32 наблюдения и для валидации модели - 9 наблюдений.

Для обучения модели использовался фреймворк PyTorch 1.10 и библиотека MONAI 0.8.1. Моделью являлась архитектура SegResNet [12]. На рисунке 1 схематически показан порядок предобработки снимков и архитектура сети SegResNet. Эксперименты проводились на машине с двумя графическими картами RTX2080Ti 12Гб (разработчик NVIDIA, США, производитель MSI, Китай).

Архитектуру можно разделить на две части: кодировщик и декодировщик. В кодировщике используется 4 блока со сверточными слоями и слоями групповой нормализации (GroupNorm). В конце каждого блока происходит увеличение числа каналов и сокращение пространственного размера изображения. Таким образом, на последнем блоке мы получаем маленькое изображение, но с большим количеством каналов. Последний блок называют бутылочным горлышком (bottleneck). Идея заключается в том, чтобы на этапе обучения в изображении после бутылочного горлышка оставалась максимально полезная информация для решения задачи, в нашей работе - получение масок анатомических структур. Далее в декодировщике происходит обратный процесс. После каждого блока количество каналов сокращается вдвое, но увеличиваются пространственные размеры. Так как SegResNet относится к классу UNet архитектур, то перед каждым блоком после увеличения размеров добавляется соответствующее изображение из блока кодировщика. На рисунке этот процесс отражен стрелками. После декодировщика самый последний блок создает 5+1 маску для необходимых нам структур: артерия, вена, паренхима, образование почки, мочеточник и фон.

Предобработка данных перед подачей в нейронную сеть заключается в трех шагах: каждая фаза переводится в разрешение (0,8; 0,8; 0,8), затем интервал значений Хаунсфилда масштабируется из интервала [-1000, 1000] в интервал значений [0, 1] и три фазы объединяются в один трехфазный тензор. На этапе обучения для улучшения генерализации модели также используются следующие методы аугментации.

1. Приближение (Zoom): с вероятностью 0,3 изображение масштабируется на случайное число, полученное из равномерного распределения (0,9; 1,1) с использованием кубической интерполяции. Для обучающих масок используется интерполяция ближайших соседей.
2.  Поворот на 90 градусов (Rotate 90): с вероятностью 0,3 изображения поворачиваются на 90 градусов.
3.  Зеркалирование (Flip): с вероятностью 0,3 для каждой оси независимо зеркально отражает изображение.
4.  Изменение контраста (Adjust Contrast): с вероятностью 0,3 масштабирует интенсивность на случайное значение из равномерного интервала (0,5; 4,5).
5.  Изменение гистограммы интенсивности (Histogram Shift): с вероятностью 0,3 применяет нелинейное изменение гистограммы интенсивности изображения по 10 контрольным точкам.

В качестве функции потерь мы использовали коэффициент Соренсена - Дайса, который показывает, насколько хорошо наша сеть сегментирует необходимые объекты. Эта функция применяется для сравнения сходства двух образцов. В нашем случае мы использовали ее для сравнения двух областей интереса: площади контура, отмеченного экспертом, и площади нашего прогнозируемого контура. Формула для вычисления метрики:

где An - область, предсказанная нейронной сетью; A, - область, выделенная экспертом, и Anl - пересечение этих двух областей. Значение данной метрики, равное единице, является наилучшим результатом.

Для оптимизации модели был использован алгоритм Novograd [13, препринт], который сочетает в себе три идеи: (1) использование послойно вторых моментов градиентов; (2) вычисление первого момента градиента с учетом нормализованных слоев по второму моменту; (3) раздельное использование сокращения весов (weight decay). При обучении формировался размер батча, равный 4, с вырезанной областью размером [96, 96, 96] вокселей из случайного выбранного расположения на снимке.

Для оценки качества сегментации мы сравнивали метрики Дайса между нашей моделью и моделями DynUNet, nnU-Net [14] и AHNet [15]. В модели nnU-Net автоматически настраиваются методы предобработки, архитектуры, постобработки для задачи сегментации. Ключевые настройки задаются в виде диапазона параметров, взаимозависимых правил. На конец 2022 г. nnU-Net превзошла результаты в 33 из 53 задач по сегментации целевых анатомических структур, а в остальных 20 показывала результаты, сравнимые с наилучшими методами. Модель nnU-Net публично доступна, и авторы позиционируют ее как метод для проведения сравнительных тестов.

Для наглядности эффективности предлагаемого метода приведены метрики для нескольких наблюдений. В качестве метрик мы включили широко известные, такие как точность, специфичность и чувствительность, а также метрики для сравнения 3D-областей: коэффициент Дайса, расстояние Хаусдорфа (измеряет наибольшее расстояние между границами истинной что продемонстрировано в таблице 2. Код для воспро- и предсказанной масок) и среднее расстояние поверх- изведения результатов доступен в открытом доступе3. ности (измеряет среднее расстояние между границами На рисунке 2 показан пример разметки эксперта истинной и предсказанной масок). и нейросети на одном срезе и 3D-построения.

РЕЗУЛЬТАТЫ

Оценка качества полученной модели SegResNet с AHNet и DynUNet на собственной выборке

В таблице 1 показаны результаты по каждому классу (нормальная паренхима, артерии, вены, образование почки, мочеточник) на валидационной выборке. По ним можно сделать вывод, что сосуды и паренхима отличным образом находятся с помощью нейронной сети. Образования почек определяются труднее, возможно, из-за малых размеров и наличия ложных срабатываний сети.

Наилучшее достигнутое среднее значение метрики Дайса составило 0,79 (для 5 аугментаций). Нами предпринята попытка замены GroupNorm на BatchNorm и увеличения размера батча, но это не привело к улучшению результатов. С технической точки зрения мы были ограничены объемом видеопамяти карты RTX2080Ti и не имели возможности использования Vision Transformer (ViT). Была предпринята попытка использования архитектуры DynUNet и AHNet, но полученные результаты были хуже,что продемонстрировано в таблице 2. Код для воспроизведения результатов доступен в открытом доступе³  На рисунке 2 показан пример разметки эксперта и нейросети на одном срезе и 3D-построения.

Сравнение полученной модели SegResNet и nnU-Net, обученной на датасете KiTS 21

Одной из задач исследования была сегментация почки и образований почки. Модель nnU-Net была обучена на датасете KiTS21, и в публичном доступе существуют три варианта модели: с низким разрешением (lowres), с исходным разрешением (fullres) и каскадная (cascade). Lowres обрабатывает снимки на пониженном разрешении, fullres работает на том же разрешении, что и исходные данные, а cascade использует оба предыдущих варианта последовательно для уточнения результатов. Мы сравнили результаты нашей модели SegResNet и nnU-Net (табл. 3). По причине отсутствия в датасете KiTS21 артериальной, венозной и выделительной фаз сравнение проводилось для модели nnU-Net только на артериальной фазе собственного датасета. В нашу модель SegResNet подавались на вход три фазы одновременно. Как видно по результатам таблицы, определение образований работает сравнимо с существующим методом. Для улучшения результатов необходимо увеличить размер обучаемой выборки.

 Наблюдение 1

На рисунке 3 представлен пациент с хромофобным почечноклеточным раком левой почки, кистами правой и левой почек. Слева представлена 3D-модель, сделанная по разметке эксперта, справа - результат работы нашей модели, которая хорошо обнаружила рак левой почки и кисту правой почки. Получены следующие значения усредненных метрик качества по всем классам (паренхима, сосуды, киста, образования почки, мочеточник): точность - 90,28%, специфичность - 99,88%, чувствительность - 88,01%, метрика Дайса - 0,91, расстояние Хаусдорфа 25,85 мм и среднее расстояние поверхности 1,12 мм. Значения для образований отображены на рисунке 3. Полученные метрики качества по всем классам (паренхима, сосуды, образование почки, мочеточник) являются высокими, что свидетельствует о хорошем распознавании образований в данном наблюдении. Модель не обнаружила мелкую кисту левой почки и добавила лишнюю разметку паренхимы почки на аорту.

Наблюдение 2

На рисунке 4 представлен пациент с ангиомио- липомой правой почки и кистой левой почки. Киста находится внутри левой почки, и для удобства визуализации была вырезана часть паренхимы. Усредненные метрики качества по всем классам получились следующими: точность - 49,05%, специфичность - 99,32%, чувствительность - 82,57%, коэффициент Соренсена - Дайса - 0,5439, расстояние Хаусдорфа - 117,48 мм, среднее расстояние поверхности - 31,63 мм. Для образований почки значения метрик отображены на рисунке 4. В данном наблюдении видно, что нейросеть не смогла определить большое образование правой почки и определила кисту, расположенную внутри левой почки, вне ее.

ОБСУЖДЕНИЕ

Используемые для компьютерного зрения в медицине данные имеют общие особенности:

• редкость больших наборов данных - в свободном доступе сложно найти размеченные наборы данных МСКТ, подходящие для обучения нейронных сетей для интересующей нозологии. Это связано с тем, что разметка требует квалификации специалиста в соответствующей области и много времени для ее выполнения; • низкое качество данных - доступные в интернете наборы данных могут страдать из-за наличия шума на снимках и разного шага между срезами;
•  дисбаланс классов - при обработке медицинских изображений размеры органов, опухолей, их положение могут сильно различаться от пациента к пациенту. Данная проблема становится наиболее значимой при верификации редких и/или небольших по размеру структур;
• сложности при обучении моделей - данные МСКТ являются трехмерными, что влечет за собой необходимость использования большого объема видеопамяти и времени на проведение обучения, а также значительных вычислительных мощностей. Обычно такие мощности доступны в облачных сервисах или университетах.

Отличительной чертой нашего датасета являются DICOM-изображения МСКТ с контрастированием. Нам не удалось найти аналогичных наборов данных в открытом доступе, и представленные результаты публикуются впервые. Учет всех фаз МСКТ позволяет значительно облегчить определение венозных и артериальных сосудов, и мы наблюдаем такое же высокое значение метрики, как и в других моделях, выполненных для нативной фазы [16].

При сравнении нашей модели с nnU-Net определение образований было лучше в нашем методе. Отсюда можно сделать вывод, что публично доступные обученные модели необходимо проверять на клинических данных центра, в котором будет оказываться медицинская помощь, и обучение модели должно проводиться постоянно.

Поиск оптимальной стратегии постобработки является дальнейшей целью нашего исследования. Одна из проблем, с которой мы столкнулись, заключается в том, что модель может определять образования, расположенные вне органа. Одним из способов фильтрации ложных предсказаний является постобработка для улучшения результатов. Например, Z. Zhao и соавт. [6] в качестве постобработки удаляли изолированные области размером меньше 20 000 вокселей для почки, 200 вокселей для опухоли почки и 50 вокселей для кист. В работе использована малая часть доступных данных, всего 41 наблюдение. В дальнейшем мы планируем увеличить размер выборки до 300 наблюдений, что достаточно для тестирования автоматизированных систем диагностики на основе ИИ [17], и это позволит упростить технологию получения трехмерного продукта, сделать его финансово более доступным и, таким образом, приступить к масштабированию проекта.

ВЫВОДЫ

Собрана первая версия набора данных для определения образований паренхимы почки, на которой удалось провести обучение глубокой модели нейронной сети. В результате удалось достичь значения 0,79 метрики Дайса. В последующем планируется проводить дальнейший подбор архитектуры модели и операций постобработки для улучшения качества работы.