Классификация мультимодальных данных о заболеваниях легких на основе позднего слияния модальностей

Ольга Николаевна Иванова, Сэчин Кумар, Михаил Леонидович Цымблер, Елена Владимировна Иванова

Аннотация


С развитием аппаратных технологий высококачественные рентгеновские снимки стали доступны для диагностики заболеваний легких с помощью специалистов-радиологов. Однако процесс диагностики занимает много времени и зависит от наличия в медицинском учреждении специалистов соответствующего профиля. В то же время информация о пациенте может включать не только рентгеновские снимки грудной клетки разного качества, а также результаты медицинских анализов, записи и предписания врача, сведения о приеме лекарств и другие. В данном исследовании предложена модель классификации легочных заболеваний на основе мультимодальных данных о клинических исследованиях пациентов и рентгенографических изображений. При подготовке данных использованы различные методы генерации искусственных образцов как для изображений, так и для табличных данных о результатах лабораторных исследований. Предложен метод установления соответствия для сгенерированных образцов между модальностями. Предложенная мультимодальная модель имеет архитектуру позднего слияния. Проведены эксперименты на наборах данных с одной и двумя модальностями. Предложенная модель показала точность на 5.5% выше, чем модели, основанные на одной модальности (91.3% против 86.11% на наборе данных из 1 156 пациентов).

Ключевые слова


мультимодальные данные; заболевания легких; глубокое обучение; позднее слияние

Полный текст:

PDF

Литература


I.-1.V. Chapter X. Diseases of the respiratory system (J00-J99). 2019. URL: https://icd.who.int/browse10/2019/en (accessed: 27.10.2019).

I.-9.V. Diseases of the respiratory system (460-519) Chapter Pneumonia and influenza (480–488). 2019. URL: https://www2.gov.bc.ca/assets/gov/health/practitionerpro/medical-services-plan/diag-codes_respiratory.pdf (accessed:1998).

Sen I., Hossain M.I., Shakib M.F.H., et al. In Depth Analysis of Lung Disease Prediction Using Machine Learning Algorithms. Communications in Computer and Information Science. 2020. Vol. 1241. DOI: 10.1007/978-981-15-6318-8_18.

Bharati S., Podder P., Mondal M.R.H. Hybrid deep learning for detecting lung diseases from X-ray images. Informatics in Medicine Unlocked. 2020. Vol. 20, no. 100391. DOI: 10.1016/j.imu.2020.100391.

Mustafa E., Selim A. Detection of lung disorders using embedded and wrapper feature selection methods. Kahramanmara¸Sutcu Imam Universitesi Muhendislik Bilimleri Dergisi. 2022. Vol. 25, no. 100391. P. 452–460. DOI: 10.17780/ksujes.1138377.

Gu Y., Lu X., Yang L., et al. Automatic lung nodule detection using a 3D deep convolutional neural network combined with a multi-scale prediction strategy in chest CTs. Computers in Biology and Medicine. 2018. Vol. 103. P. 220–231. DOI: 10.1016/j.compbiomed.2018.10.011.

Setio A.A.A., Traverso A., de Bel T., et al. Validation, comparison, and combination of algorithms for automatic detection of pulmonary nodules in computed tomography images: The LUNA16 challenge. Medical Image Analysis. 2017. Vol. 42. P. 1–13. DOI: 10.1016/j.media.2017.06.015.

Zhu W., Liu C., Fan W., Xie X. DeepLung: Deep 3D Dual Path Nets for Automated Pulmonary Nodule Detection and Classification. 2018 IEEE Winter Conference on Applications of Computer Vision, WACV 2018, Lake Tahoe, NV, USA, March 12-15, 2018. IEEE Computer Society, 2018. P. 673–681. DOI: 10.1109/WACV.2018.00079.

Kong W., Hong J., Jia M., et al. YOLOv3-DPFIN: A Dual-Path Feature Fusion Neural Network for Robust Real-Time Sonar Target Detection. IEEE Sensors Journal. 2020. Vol. 20, no. 7. P. 3745–3756. DOI: 10.1109/JSEN.2019.2960796.

Ronneberger O., Fischer P., Brox T. U-Net: Convolutional Networks for Biomedical Image Segmentation. Medical Image Computing and Computer-Assisted Intervention - MICCAI 2015 - 18th International Conference Munich, Germany, October 5 - 9, 2015, Proceedings, Part III. Vol. 9351 / ed. by N. Navab, J. Hornegger, W.M.W. III, A.F. Frangi. Springer, 2015. P. 234–241. Lecture Notes in Computer Science. DOI: 10.1007/978-3-319-24574-4_28.

Kallianos K., Mongan J., Antani S., et al. How far have we come? Artificial intelligence for chest radiograph interpretation. Clinical Radiology. 2019. Vol. 74, no. 5. P. 338–345. DOI: 10.1016/j.crad.2018.12.015.

Bhandary A., Prabhu G.A., Rajinikanth V., et al. Deep-learning framework to detect lung abnormality – A study with chest X-Ray and lung CT scan images. Pattern Recognition Letters. 2020. Vol. 129. P. 271–278. DOI: 10.1016/j.patrec.2019.11.013.

Bharati S., Podder P., Paul P.K. Lung Cancer Recognition and Prediction According to Random Forest Ensemble and RUSBoost Algorithm Using LIDC Data. Int. J. Hybrid Intell. Syst. 2019. Vol. 15, no. 2. P. 91–100. DOI: 10.3233/HIS-190263.

Behzadi-khormouji H., Rostami H., Salehi S., et al. Deep learning, reusable and problem-based architectures for detection of consolidation on chest X-ray images. Computer Methods and Programs in Biomedicine. 2020. Vol. 185. P. 105162. DOI: 10.1016/j.cmpb.2019.105162.

Kumar S., Ivanova O., Melyokhin A., Tiwari P. Deep-learning-enabled multimodal data fusion for lung disease classification. Informatics in Medicine Unlocked. 2023. Vol. 42. P. 101367. DOI: 10.1016/j.imu.2023.101367.




DOI: http://dx.doi.org/10.14529/cmse240105