Siamese semi-disentanglement network for robust PET-CT segmentation

计算机科学 一致性(知识库) 人工智能 分割 杠杆(统计) 生成对抗网络 模式识别(心理学) 计算机视觉 图像(数学)
作者
Zhaoshuo Diao,Huiyan Jiang,Tianyu Shi,Yu‐Dong Yao
出处
期刊:Expert Systems With Applications [Elsevier BV]
卷期号:223: 119855-119855 被引量:3
标识
DOI:10.1016/j.eswa.2023.119855
摘要

A robust PET-CT segmentation network should guarantee that models trained on the PET-CT images will still work when only CT images are available. It is particularly important due to the radioactivity and expensive cost of PET imaging, in many cases only CT images can be obtained. Disentanglement and Generative Adversarial Networks (GAN) are two commonly used strategies to deal with the missing modality. Disentanglement methods cannot successfully disentangle PET-CT images into modal features and anatomical features because PET-CT images do not satisfy anatomical information consistency constraints. GAN networks tend to ignore information that is critical for downstream tasks, such as tumor information. To address above issues, we propose a siamese semi-disentanglement network. We extract high-level shared tumor features from PET images and CT images instead of anatomical features for downstream segmentation tasks. Meanwhile, in order to leverage low-level entanglement features during segmentation, GAN is used to generate synthetic PET images from CT images. Siamese Consistency Module (SCM) is proposed to ensure that the entanglement low-level features of the synthetic PET images are consistent with the real PET images. The motivation of our proposed method is that the entanglement information discarded by the semi-disentanglement is compensated by GAN to get rid of the anatomical information consistency constraints. Also, the GAN can better retain tumor information through semi-disentanglement. We do experiments on two public PET-CT datasets and one private dataset: Soft-Tissue-Sarcoma (STS) dataset, HeadNeck dataset and LiverTumor dataset. The results show that our proposed method can successfully achieve robust PET-CT segmentation. Our proposed method outperforms other disentanglement methods and generative networks in the absence of PET modality. In the inference stage, with missing PET images, using the siamese semi-disentanglement network proposed in this paper can achieve comparable results to the full modal segmentation.

科研通智能强力驱动
Strongly Powered by AbleSci AI
科研通是完全免费的文献互助平台,具备全网最快的应助速度,最高的求助完成率。 对每一个文献求助,科研通都将尽心尽力,给求助人一个满意的交代。
实时播报
哈哈客发布了新的文献求助10
1秒前
在水一方的应助被百里采纳,获得10
1秒前
搜集达人的应助被坚强孤容采纳,获得10
2秒前
3秒前
3秒前
Hello的应助被徐XU采纳,获得10
4秒前
七七完成签到 ,获得积分10
4秒前
rongjian完成签到 ,获得积分10
5秒前
人间慈悲的应助被辛勤的西牛采纳,获得10
5秒前
6秒前
6秒前
张二发布了新的文献求助10
8秒前
8秒前
surge发布了新的文献求助10
8秒前
9秒前
小情绪发布了新的文献求助10
9秒前
现代雪珍完成签到,获得积分10
9秒前
等待思远发布了新的文献求助10
10秒前
风中的香寒完成签到 ,获得积分10
10秒前
HIlda完成签到,获得积分10
11秒前
安详靖柏完成签到,获得积分10
11秒前
Boubou发布了新的文献求助10
12秒前
ing完成签到 ,获得积分10
12秒前
周周发布了新的文献求助200
13秒前
青街向晚完成签到,获得积分10
13秒前
surge完成签到,获得积分10
13秒前
maguodrgon发布了新的文献求助30
14秒前
哈哈客完成签到,获得积分10
14秒前
mogu完成签到 ,获得积分10
15秒前
仲乔妹完成签到,获得积分0
15秒前
17秒前
等待思远完成签到,获得积分10
17秒前
17秒前
18秒前
Eric完成签到,获得积分20
18秒前
kid1412完成签到,获得积分10
20秒前
Power_Liu完成签到,获得积分10
20秒前
20秒前
852的应助被jls采纳,获得10
20秒前
留的白完成签到,获得积分10
20秒前
高分求助中
(应助此贴封号)【重要!!请各用户(尤其是新用户)详细阅读】【科研通的精品贴汇总】 10000
拉伸高分子熔体中缠结行为的模拟和小角中子散射研究 1700
The World Atlas of Wine 9th edition 1000
奈特基础组织学:配套组织病理学(第4版)(Netter's Essential Histology With Correlated Histopathology) 800
八旗制度の研究 600
高分子基功能界面水蒸发材料与应用研究 500
外场增强的水汽发电研究 500
热门求助领域 (近24小时)
化学 材料科学 医学 生物 纳米技术 计算机科学 工程类 有机化学 化学工程 生物化学 物理 复合材料 内科学 催化作用 光电子学 人工智能 细胞生物学 无机化学 物理化学 数学
热门帖子
关注 科研通微信公众号,转发送积分 8186734
求助须知:如何正确求助?哪些是违规求助? 9575007
关于积分的说明 21839114
捐赠科研通 7784289
什么是DOI,文献DOI怎么找? 3434808
关于科研通互助平台的介绍 2559206
邀请新用户注册赠送积分活动 2481611