Presented at the Cognitive Models and Artificial Intelligence Conference (BMYZ2023), Ankara, Türkiye, Oct 26, 2023

SETSCI Conference Proceedings, 2023, 15, Page (s): 70-75 , https://doi.org/10.36287/setsci.6.1.0026

Published Date: 29 December 2023    | 1375     5

Çok-modlu medikal görüntü birleştirme, görüntü kalitesini artırmak için iki ya da daha fazla medikal görüntünün birleştirilmesidir. Tıbbi görüntüleme sağlık alanında teşhis, araştırma ve tedavide önemli bir rolü üstlenmektedir. Tanı ve tedavide daha doğru klinik bilgiler için farklı modlarda görüntüler kullanılır. Tıbbi görüntülemede kullanılan Tek Foton Emisyonlu Bilgisayarlı Tomografi (SPECT), Pozitron Emisyon Tomografisi (PET), Bilgisayarlı Tomografi (CT), Manyetik Rezonans Görüntüleme (MRI), gibi görüntüleme teknikleri hekimlere hastaların vücudundaki sert ve yumuşak dokular hakkında bilgi sağlarlar. Her bir görüntüleme tekniği farklı özellikleri korur ve buna bağlı olarak aynı parçanın farklı görüntüleme bilgisini elde ederler. Farklı modlardaki görüntülerin birleştirilmesindeki amaç klinik tanının doğruluğunu artırmak için daha iyi bir kontrast ve füzyon kalitesi sağlamaktır. Bu doğrultuda farklı modaliteler birleştirilir ve bu sayede lezyonların anlaşılabilirliği artırılır. İyi bir füzyon görüntüsü, kaynak görüntülerdeki yararlı bilgileri korumalı ve herhangi bir yapay olgu içermemelidir.  Bu çalışma da sekiz farklı CT ve MRI görüntü çifti üzerinde literatürde iyi bilinen klasik birleştirme yöntemleri kıyaslanmıştır. Birleştirme performansları görsel ve sayısal sonuçlara göre değerlendirilmiştir. Ayrıca buna ek olarak yöntemlerin CPU zaman tüketimleri arasında da karşılaştırma yapılmıştır. 

Keywords - Çok modlu görüntü birleştirme, MRI, CT, medikal görüntü kaynaştırma

A. P. James and B. V. Dasarathy, "Medical image fusion: A survey of the state of the art," Information fusion vol. 19, pp. 4-19, 2014.

B. Meher, S. Agrawal, R. Panda, and A. Abraham, "A survey on region based image fusion methods," Information Fusion vol. 48, pp. 119-132, 2019.

J. Du, W. Li, K. Lu, and B. Xiao, "An overview of multi-modal medical image fusion," Neurocomputing vol. 215, pp. 3-20, 2016.

S. Bhat and D. Koundal, "Multi-focus image fusion techniques: a survey," Artificial Intelligence Review vol. 54, pp. 5735-5787, 2021.

V. Aslantaş, A. Bulatov, and R. Kurban, "Multi-focus image fusion using a fuzzy criterion function." 6th International Symposium on Intelligent And Manufacturing Systems, IMS 2008, Sakarya, Turkey, 2008, ss.1-5

C.-I. Chen, "Fusion of PET and MR brain images based on IHS and log-Gabor transforms," IEEE Sensors Journal vol. 17, no. 21, pp. 6995-7010, 2017.

V. Aslantas,R. Kurban, A.N. Toprak, E. Bendes, "A Novel Web Application for Image Fusion." ICIT 2015 The 7th International Conference on Information Technology , Amman, Jordan, 15 May 2015, ss.397-401s

S. Madanala and K. J. Rani, "PCA-DWT based medical image fusion using non sub-sampled contourlet transform," in 2016 International Conference on Signal Processing, Communication, Power and Embedded System (SCOPES), 2016, pp. 1089-1094: IEEE.

M. Amin-Naji and A. Aghagolzadeh, "Multi-focus image fusion in DCT domain using variance and energy of Laplacian and correlation coefficient for visual sensor networks," Journal of AI Data Mining vol. 6, no. 2, pp. 233-250, 2018.

M. N. Do and M. Vetterli, "The contourlet transform: an efficient directional multiresolution image representation," IEEE Transactions on image processing vol. 14, no. 12, pp. 2091-2106, 2005.

M. Haribabu, C. H. Bindu, and K. S. Prasad, "Multimodal medical image fusion of MRI-PET using wavelet transform," in 2012 International Conference on Advances in Mobile Network, Communication and Its Applications, 2012, pp. 127-130: IEEE.

A. Wang, H. Sun, and Y. Guan, "The application of wavelet transform to multi-modality medical image fusion," in 2006 IEEE International Conference on networking, sensing and control, 2006, pp. 270-274: IEEE.

A. L. Da Cunha, J. Zhou, and M. N. Do, "The nonsubsampled contourlet transform: theory, design, and applications," IEEE transactions on image processing vol. 15, no. 10, pp. 3089-3101, 2006.

M. Yin, X. Liu, Y. Liu, and X. Chen, "Medical image fusion with parameter-adaptive pulse coupled neural network in nonsubsampled shearlet transform domain," IEEE Transactions on Instrumentation Measurement vol. 68, no. 1, pp. 49-64, 2018.

Y. Liu, X. Chen, H. Peng, and Z. Wang, "Multi-focus image fusion with a deep convolutional neural network," Information Fusion vol. 36, pp. 191-207, 2017.

Y. Liu, X. Chen, J. Cheng, and H. Peng, "A medical image fusion method based on convolutional neural networks," in 2017 20th international conference on information fusion (Fusion), 2017, pp. 1-7: IEEE.

Y. Na, L. Zhao, Y. Yang, and M. Ren, "Guided filter‐based images fusion algorithm for CT and MRI medical images," IET Image Processing vol. 12, no. 1, pp. 138-148, 2018.

Y. Yang, "A novel DWT based multi-focus image fusion method," Procedia engineering vol. 24, pp. 177-181, 2011.

K. Kannan, S. A. Perumal, and K. Arulmozhi, "Area level fusion of multi-focused images using multi-stationary wavelet packet transform," International Journal of Computer Applications vol. 2, no. 1, pp. 88-95, 2010.

R. P. Desale and S. V. Verma, "Study and analysis of PCA, DCT & DWT based image fusion techniques," in 2013 international conference on signal processing, image processing & pattern recognition, 2013, pp. 66-69: IEEE.

B. Shreyamsha Kumar, "Multifocus and multispectral image fusion based on pixel significance using discrete cosine harmonic wavelet transform," Signal, Image Video Processing vol. 7, pp. 1125-1143, 2013.

A. Krizhevsky, I. Sutskever, and G. E. Hinton, "Imagenet classification with deep convolutional neural networks," Advances in neural information processing systems, vol. 25, 2012.

C. S. Xydeas and V. Petrovic, "Objective image fusion performance measure," Electronics letters vol. 36, no. 4, pp. 308-309, 2000.

Y. Chen and R. S. Blum, "A new automated quality assessment algorithm for image fusion," Image vision computing vol. 27, no. 10, pp. 1421-1432, 2009.

A. M. Eskicioglu and P. S. Fisher, "Image quality measures and their performance," IEEE Transactions on communications vol. 43, no. 12, pp. 2959-2965, 1995.

Y. Liu, S. Liu, and Z. Wang, "A general framework for image fusion based on multi-scale transform and sparse representation," Information fusion vol. 24, pp. 147-164, 2015.

A. Mittal, A. K. Moorthy, and A. C. Bovik, "No-reference image quality assessment in the spatial domain," IEEE Transactions on image processing vol. 21, no. 12, pp. 4695-4708, 2012.