《電子技術(shù)應(yīng)用》
您所在的位置：首頁 > 人工智能 > 設(shè)計(jì)應(yīng)用 > 融合多模態(tài)分組特征處理模塊的腦腫瘤分割方法
融合多模態(tài)分組特征處理模塊的腦腫瘤分割方法
電子技術(shù)應(yīng)用
方云翔1，王路路1，李英娜1，杜井龍2
1.昆明理工大學(xué) 云南省計(jì)算機(jī)重點(diǎn)實(shí)驗(yàn)室；2.重慶醫(yī)科大學(xué) 醫(yī)學(xué)信息學(xué)院
摘要： 當(dāng)前腦部腫瘤分割模型大多在通道維度上簡單拼接多模態(tài)MRI圖像，未充分利用其多模態(tài)信息。為此，基于3D UX-Net，提出融合多模態(tài)分組特征處理模塊的MGF-UX Net模型。該模型通過模態(tài)特征抽取與融合兩大模塊，實(shí)現(xiàn)多模態(tài)特征的有效利用。模態(tài)特征抽取模塊針對四種MRI模態(tài)特性，采用專門的特征提取網(wǎng)絡(luò)，以最大化保留有效信息；模態(tài)特征融合模塊基于先驗(yàn)知識，將四個(gè)模態(tài)劃分為兩組，并通過模態(tài)分組交叉注意力（MGCA）機(jī)制進(jìn)行深度融合。實(shí)驗(yàn)結(jié)果表明，在BraTS2021數(shù)據(jù)集上，MGF-UX Net的平均DSC和HD95分別達(dá)到91.01%和4.975 mm，在腦腫瘤分割任務(wù)中各項(xiàng)指標(biāo)優(yōu)于現(xiàn)有對比模型。
中圖分類號：TTP391P 文獻(xiàn)標(biāo)志碼：A DOI: 10.16157/j.issn.0258-7998.256494
中文引用格式： 方云翔，王路路，李英娜，等. 融合多模態(tài)分組特征處理模塊的腦腫瘤分割方法[J]. 電子技術(shù)應(yīng)用，2025，51(11)：46-52.
英文引用格式： Fang Yunxiang，Wang Lulu，Li Yingna，et al. A brain tumor segmentation method with multi-modal grouped feature processing module[J]. Application of Electronic Technique，2025，51(11)：46-52.
A brain tumor segmentation method with multi-modal grouped feature processing module
Fang Yunxiang1，Wang Lulu1，Li Yingna1，Du Jinglong2
1.Faculty of Information Engineering and Automation， Kunming University of Science and Technology；2.Medical Data Science Academy and College of Medical Informatics， Chongqing Medical University
Abstract： Current brain tumor segmentation models typically concatenate multi-modal MRI images along the channel dimension, failing to fully exploit their multi-modal information. To address this limitation, this paper proposes MGF-UX Net, a model based on 3D UX-Net that integrates a multi-modal grouped feature processing module. The model consists of two key components: a modality feature extraction module and a modality feature fusion module. The feature extraction module employs specialized networks tailored to the characteristics of four MRI modalities to maximize the retention of effective features. The feature fusion module, guided by prior knowledge, groups the four modalities into two sets and applies a Modality-Grouped Cross-Attention (MGCA) mechanism for deep feature fusion. Experimental results on the BraTS2021 dataset demonstrate that MGF-UX Net achieves an average DSC of 91.01% and an HD95 of 4.975 mm, outperforming existing models in brain tumor segmentation tasks.
Key words : brain tumor segmentation；U-Net；MRI；multimodal medical imaging

引言

腦部腫瘤，又稱顱內(nèi)腫瘤，是發(fā)生在顱腔內(nèi)的神經(jīng)系統(tǒng)腫瘤，通常由腦部正常組織病變形成。精準(zhǔn)的腫瘤分割對于臨床診斷和手術(shù)治療至關(guān)重要。

為實(shí)現(xiàn)腦部腫瘤的自動(dòng)分割，研究者提出了多種方法。傳統(tǒng)方法包括基于機(jī)器學(xué)習(xí)、圖譜、閾值以及區(qū)域生長的分割技術(shù)[1-4]。然而，這些方法往往依賴人工特征工程，導(dǎo)致特征表示能力受限，難以應(yīng)對復(fù)雜的腫瘤形態(tài)。

近年來，隨著深度學(xué)習(xí)技術(shù)的快速發(fā)展，卷積神經(jīng)網(wǎng)絡(luò)（CNN）在各類視覺任務(wù)中展現(xiàn)出卓越的性能。憑借強(qiáng)大的特征學(xué)習(xí)能力，CNN已被廣泛應(yīng)用于腦部腫瘤分割任務(wù)，并取得了顯著成效[5]。

自U-Net[6] 提出以來，基于U-Net架構(gòu)的方法逐漸成為醫(yī)學(xué)圖像分割領(lǐng)域的主流。?i?ek等人進(jìn)一步擴(kuò)展了U-Net的二維卷積至三維卷積，提出3D U-Net[7]，使模型能夠直接處理三維醫(yī)學(xué)數(shù)據(jù)。DUNet[8]則引入可變形卷積，以擴(kuò)展編碼器的感受野。隨著Transformer的興起，其強(qiáng)大的建模能力在多個(gè)領(lǐng)域得到廣泛應(yīng)用。TransUNet[9]通過將Transformer集成至U-Net架構(gòu)，提升了模型的局部與全局特征提取能力。UNETR[10]進(jìn)一步創(chuàng)新，采用預(yù)訓(xùn)練的視覺Transformer替代傳統(tǒng)卷積編碼器。Swin UNETR[11]則結(jié)合了Swin Transformer與U-Net架構(gòu)，利用Swin Transformer的滑動(dòng)窗口策略有效降低了計(jì)算成本。

然而，上述模型在處理對MRI圖像的多模態(tài)信息時(shí)，僅僅是通過將MRI圖像的不同模態(tài)簡單地進(jìn)行通道拼接，未能充分挖掘和融合多模態(tài)醫(yī)學(xué)圖像的潛在信息，可能導(dǎo)致信息冗余或關(guān)鍵特征的損失。針對這一問題，本文提出了一種基于3D UX-Net模型的改進(jìn)的腦腫瘤MRI圖像分割模型MGF-UX Net，旨在通過多模態(tài)分組特征（Multi-modal Grouped Feature，MGF）模塊更深入地捕獲和整合不同模態(tài)的互補(bǔ)特征，緩解多模態(tài)信息利用不足所導(dǎo)致的分割精度瓶頸，提升腦腫瘤MRI圖像的分割性能。


本文詳細(xì)內(nèi)容請下載：

http://ccf-cncc2011.cn/resource/share/2000006839


作者信息：

方云翔1，王路路1，李英娜1，杜井龍2

（1.昆明理工大學(xué) 云南省計(jì)算機(jī)重點(diǎn)實(shí)驗(yàn)室， 云南 昆明 650500；

2.重慶醫(yī)科大學(xué) 醫(yī)學(xué)信息學(xué)院， 重慶 400016）


官方訂閱.jpg

此內(nèi)容為AET網(wǎng)站原創(chuàng)，未經(jīng)授權(quán)禁止轉(zhuǎn)載。