面向肝细胞癌微血管侵犯评估的高效多模态贡献度感知网络研究OA北大核心CSTPCD
微血管侵犯(MicroVascular Invasion,MVI)是肝细胞癌(HepatoCellular Carcinoma,HCC)切除或移植患者出现早期复发和长期预后不良的重要影响因素,因此在HCC患者术前评估是否存在MVI具有非常重要的临床价值.近年来,深度学习为MVI影像诊断评估提供了有价值的解决方法,但受数据标注收集困难等因素的影响,目前研究多独立利用电子计算机断层扫描(Computed Tomography,CT)或核磁共振成像(Magnetic Resonance Imaging,MRI)手段采集影像中的单模态序列,缺乏对各成像手段中多模态序列的综合应用.在小样本场景下,为有效利用多模态序列数据,提高诊断效能,本文提出一种高效多模态贡献度感知网络.该网络可以利用模态分组卷积和高效多模态自适应加权模块,在极少计算开销的引入下,学习CT或MRI的各模态影像信息在复杂多样的MVI表象下的诊断贡献.本文在三甲医院收集的临床数据集上进行实验,结果表明该网络模型可以在少量有标注数据的支持下,取得优于多种基于注意力机制的神经网络模型的MVI诊断性能,为专业医师的诊断分析提供了有效参考.
贾熹滨;于高远;王珞;邓玉辉;杨大为;杨正汉;
北京工业大学信息学部,北京100124 多媒体与智能软件技术北京市重点实验室(北京工业大学),北京100124 北京人工智能研究院(北京工业大学),北京100124北京工业大学信息学部,北京100124首都医科大学附属北京友谊医院放射科,北京100050
计算机与自动化
微血管侵犯评估多模态融合高效多模态贡献度感知模态分组卷积高效多模态自适应加权
《电子学报》 2024 (006)
P.2053-2066 / 14
国家自然科学基金(No.82071876,No.62171298,No.61871276);北京市医管中心青苗人才项目(No.QML20200108)。
评论