本项目提出一项基于真实临床数据的研究计划，通过混合深度学习技术对多模脑部MRI图像和病理图像进行分析，术前得出胶质瘤的WHO分级以及分子标记物情况，探索基因突变在影像学上的表观体现，在术前得到分子分型从而辅助制定最合理的诊疗方案，利用影像、病理和多组学信息的交叉和融合技术，建立肿瘤智能诊断和精准治疗的新理论、新途径、新标准，探索人工智能辅助肿瘤诊断、精准治疗与预后判断的技术及应用模式。
1)构建一个包含病人文本信息、MRI影像和病理图像等多源异构信息的胶质瘤分子分型数据集；； 2)对多模脑部图像进行肿瘤病灶识别得到肿瘤的表观信息； 3)融合多源异构数据进行胶质瘤WHO分级和胶质瘤分子标志物预测； 4)开发胶质瘤辅助诊断系统，构建基于分子标志物的胶质瘤分子分型知识库，可输入多源异构数据，得到胶质瘤的分级和分子分型的辅助诊断结果； 5)在湘雅医院神经外科部署辅助诊断系统进行临床实用性评估。
1)构建一个包含病人文本信息、MRI影像和病理图像等多源异构信息的胶质瘤分子分型数据集；；
2)对多模脑部图像进行肿瘤病灶识别得到肿瘤的表观信息；
3)融合多源异构数据进行胶质瘤WHO分级和胶质瘤分子标志物预测；
4)开发胶质瘤辅助诊断系统，构建基于分子标志物的胶质瘤分子分型知识库，可输入多源异构数据，得到胶质瘤的分级和分子分型的辅助诊断结果；
5)在湘雅医院神经外科部署辅助诊断系统进行临床实用性评估。
本项目将根据中南大学湘雅医院历史医疗数据，选择脑肿瘤相关病例及检查结果构建多模胶质瘤分子分型数据集。该数据集是世界范围内第一个基于包含病人文本资料、MRI影像和病理图像等多元信息的胶质瘤分子分型数据集，拟构建的病例数量为100例以上。 胶质瘤分子分型数据集样例如下所示： TCIA数据库的数据如下所示：
本项目将根据中南大学湘雅医院历史医疗数据，选择脑肿瘤相关病例及检查结果构建多模胶质瘤分子分型数据集。该数据集是世界范围内第一个基于包含病人文本资料、MRI影像和病理图像等多元信息的胶质瘤分子分型数据集，拟构建的病例数量为100例以上。
胶质瘤分子分型数据集样例如下所示：
TCIA数据库的数据如下所示：
胶质瘤临床影像检查通常包含MRI影像和病理图像，是早期肿瘤诊断的重要手段。通过影像对肿瘤病灶进行识别，是后续对肿瘤进行分级和分子分型的重要基础。然而临床影像中的病灶通常界限模糊、特征不明显，因此病灶识别是一项技术门槛高、时间消耗多的任务，且人工判读影像存在主观意识风险，因此使用智能算法对病灶进行识别是一个必要且有挑战性的工作。 本项目设计的用于分割的深度学习网络的结构如图1所示，全监督多模态三维全卷积神经网络进行特征提取。相较于传统全卷积神经网络下采样次数较多而导致的分辨率损失，全空洞卷积网络通过在全卷积网络中引入空洞卷积，从而扩大感受野，减少下采样次数，最终得到较为精准的分割结果。 此外，前期研究表明，即使在开源医疗MRI影像数据集上性能优异的算法，却难以迁移到实际的临床数据，究其原因，在于不同影像所使用的显影序列，扫描分辨率和机器磁场强度等不同造成了两种数据差异较大，算法就不具有通用性。若不解决算法的可迁移性问题，基于影像的智能辅助诊断终究只能停留在实验室中。因此本阶段将重点研究如何将基于开源影像数据集训练的算法迁移到少标注甚至无标注临床数据。 。3D空洞卷积U-Net 神经网络结构如下图：
临床上，由于分子标志物和影像表观特征之间尚未发现可靠的联系，因此只有对切除的肿瘤组织做病理学化验才能确定肿瘤分级和分子分型，为了手术前确定分型同时降低诊断成本，需要探索从病人影像和资料等非侵入信息预测分型的可行解决方案；同时某些分子突变即使在术后通过病理也难以检出，需要进行基因测序才能最终确定，为了减少检出的时间和金钱成本，基于加入病理图像的多源异构数据预测分子分型的算法也需要被探索。 本项目设计的一体化混合深度学习网络的结构如图2所示，先基于影像设计残差神经网络，输出的特征向量与患者的附加信息（如年龄，性别，病史等）融合，对分级结果和基因检测结果进行及其预测。此外，利用传统方法计算手工特征，如邻域内灰度值、邻域内均值、标准差及二维小波变换的低频系数等作为原始特征，利用主成分分析对原始特征和图像深度特征进行选择，挖掘各基因突变的影像学特征，为以后的影像学诊断作参考。
请尊重我们的原创作品，转载时请标注文章的原始出处和作者信息。如果您有任何问题或想法想和我们进行沟通， 请您使用页面下方的邮件或电话进行联系。
