基于卷积神经网络的皮肤病诊断系统研究


基于卷积神经网络的皮肤病诊断系统研究

一、项目介绍

1.1项目简介

本项目利用卷积神经网络等方法对皮肤疾病进行了基于临床图像的识别,并提出一套完整的皮肤病辅助诊断系统。本项目的数据库来源于中南大学湘雅医院,该数据库是目前世界上银屑病最大规模的皮肤病临床图像数据集。

1.2项目目标及意义

近年来,随着计算机技术的高速发展,计算机辅助诊断(computer aided diagnosis,CAD)也随之取得了一系列的进展,特别是在涉及医学影像学的领域。实践证明,CAD在提高诊断准确率、减少漏诊、提高工作效率等方面起到了极大的积极促进作用。所以,本项目对改善目前的医疗水平,以及缓解皮肤科医生压力等都具有很大的意义。

二、主要方法

算法模型初步采用Inception v3模型,我们在原始模型的基础上,利用迁移学习的思想,在ImageNet预训练获得初始权重,后对网络进行微调,以到达可以有效区分不同种皮肤病的目的。

银屑病图像在Inception v3网络中的激活特征图

三、数据库

第一步是采集数据。所有图像均经湘雅医院患者知情同意后由皮肤科医生采集。为了获得高质量的图像,使用专业数码相机(佳能,分辨率:350dpi)捕捉皮肤病变区域的每个视觉特征,并保持足够的照明。此外,还收集了不同缩放级别的图像,以获取空间分布特征和纹理等精细特征。为了更好的泛化性能,数据集的多样性是必要的,所以这个数据库包含了患者多个身体部位的临床皮肤学图像。

数据库样本图

第二步是数据过滤和注释。数据采集完成后,我们过滤掉不合格的图像,并为剩下的图像打上标签。在数据预处理过程中,我们移除了四类图像以获得干净的数据集:Case1:皮肤损伤被可见的局部治疗或任何其他有色残留物遮挡或改变,这可能会对训练过程产生严重的不利影响。Case2:特殊部位,如手指,病变区域比正常部位小,不够清晰。Case3:皮肤被毛发或其他视觉元素覆盖,这使得提取图像的有效特征变得困难。Case4:渗出液过多,导致表面外观和疾病特异性纹理丧失。随后,由来自湘雅医院从事皮肤科10多年的专业皮肤科医生根据相应的病历和病理结果对每张图像进行注释,生成最终的标准化实验数据集。下图所示的为数据过滤和注释处理过程。

数据处理过程示意图

四、APP设计

本系统建立了两种图片获取的方法,一种为直接通过手机拍摄,另外一种可从手机中的本地图库中调出。通过不同渠道获取的图片会上传到本地服务器中,本地服务器接受到手机传来的图片后,会带入之前设计好的分类器中进行分类。在获取结果文档之前,手机会不断地向服务器索要结果文档,直到图片分析完成后产生文档。最终,手机接收到结果文档之后,将其打印于结果显示界面。

APP部分截图

五、项目进展及已有成果

①竞赛成果

本项目凭借作品AIMADS(皮肤病部分)参加了中国高校计算机大赛人工智能创意赛,并获得了全国总决赛一等奖的成绩。智能医疗辅助诊断系统(AIMADS:Artificial Intelligence Medical Aided Aiagnosis System)可用于常见皮肤病的辅助诊断的 APP(兼容 Android 与 IOS),患者或医生可通过在客户端上传患处图片到服务器,服务器端通过本团队设计训练完成的深度卷积神经网络模型对上传数据进行分析,在 APP 中显示诊断结果。对于皮肤病诊断可直接给出所患常见皮肤病(扁平苔藓、红斑狼疮、基底细胞癌、鳞状细胞癌、正常皮肤、天疱疮、银屑病、脂溢性角化)的分类,并给出置信度。

AIMADS智能诊断系统之皮肤诊断

②论文成果

1.The Application of Deep Learning in the Risk Grading of Skin Tumors for Patients Using Clinical Images

根据诊断标准,皮肤肿瘤可分为良性、低度和高度恶性三类。对于高度恶性的皮肤肿瘤,如果不及时发现,会严重危害患者的健康。然而,在临床实践中,恶性程度的鉴别需要活检和病理检查,且耗时长。此外,在很多地区,由于皮肤科医生严重短缺,病人去医院检查很不方便。因此,迫切需要一种简便易行的皮肤恶性肿瘤筛查方法。在本文中,我们花了5年时间一个包含4500张10种皮肤肿瘤图像的数据集。所有病例经病理证实可信;其次,我们将每一个病例分为低风险、高风险或危险性,其中交界痣、皮内痣,皮肤纤维瘤、脂肪瘤和脂溢性角化病是低风险的,基底细胞癌、鲍恩病和光化性角化病是低风险的。高风险,鳞状细胞癌和恶性黑色素瘤是危险的;第三,我们将异常结构应用于建立风险度分类器。三种危险度的曲线下面积(auc)分别为0.959、0.919和0.947。为了进一步评估所提出的风险度分类法的有效性,我们与20位专业皮肤科医生进行了一次竞争。结果表明,该分类器的性能优于皮肤科医生。我们的系统有助于患者筛选。它可以识别出有危险的病人,并提醒他们去医院做进一步的检查。

基于深度学习的皮肤肿瘤风险评估系统流程图

2.Smart Identification of Psoriasis by Images Using Convolutional Neural Networks: A Case Study in China (未见刊)

背景:银屑病是一种慢性炎症性皮肤病,在我国发病率较高。然而,在我国,尤其是农村地区,能够早期、准确诊断银屑病的专业皮肤科医生还不够。如果有一种通过图像识别银屑病的智能方法可以在全国范围内具有很强的适应性,那么它将会在银屑病的早期诊断和定期治疗中发挥十分重要的作用。目的:设计和评估一个基于临床图像(不依赖皮肤镜)的智能银屑病识别系统,该系统的工作原理与皮肤科医生类似。方法:在银屑病自动识别系统中,采用卷积神经网络(cnns)建立深度学习模型,并进行比较。这项工作是在一个标准化的皮肤病数据集上进行的,该数据集包含了包括银屑病在内的9种常见疾病的8021张临床图像以及过去9年来自国内的患者的完整电子病历。本文设计并开发了一种两级深部神经网络用于银屑病的鉴别诊断。在第一阶段,训练多标签分类器来学习每个皮肤疾病的视觉模式。在第二阶段,利用第一阶段的产出来区分银屑病和其他皮肤疾病。结果:两阶段模型的曲线下面积(auc)为0.981±0.015,优于单阶段模型。在100幅银屑病临床图像上,该分类器的诊断性能(漏诊率0.03,误诊率0.04)优于25位皮肤科医生(漏诊率0.19,误诊率0.10)。结论:基于cnns的银屑病临床图像识别技术是可行的、有效的,为我国皮肤病尤其是银屑病的远程智能护理应用奠定了坚实的技术基础。

银屑病智能识别系统展望

3.XiangyaDerm: A Clinical Image Dataset of Asian Race for Skin Disease Aided Diagnosis (未见刊)

皮肤病是人类很常见的疾病,它会出现在所有种族和年龄,严重影响人民生活质量或者甚至危及人们的生命。在本文中,我们提出了一个大规模的,以亚洲区域为主的皮肤病数据集,它具有bounding box标签,即XiangyaDerm。它包含107565张临床图片,涵盖541种皮肤病。此数据集中的每个图像都由专业医生标记。就我们所知,这个数据集是亚洲最大的皮肤病临床图像集,可以在全球计算机辅助诊断(cad)系统中使用。我们在这个数据集上比较了几种先进卷积神经网络的分类结果(cnns)。InceptionResNetV2是治疗80种皮肤病的最佳选择top1和top3准确率分别达到0.588和0.764,这证明了所提出的基准数据集的有用性,并给出了它的基线性能。与DERM101数据集的交叉测试实验向我们展示了CNN模型对不同种族的数据集有着非常不同的测试效果。因此,为了建立一个高性能、高稳定性的皮肤病cad系统,我们建议建立一个针对不同地区、不同种族的皮肤病数据集。

六类皮肤疾病的实验混淆矩阵

版权声明

请尊重我们的原创作品,转载时请标注文章的原始出处和作者信息。如果您有任何问题或想法想和我们进行沟通, 请您使用页面下方的邮件或电话进行联系。