自动生成影像学报告的混合特征提取无卷积结构深度学习模型_中国煤炭行业知识服务平台

自动生成影像学报告的混合特征提取无卷积结构深度学习模型

作者

王瑞花嵘仪秀龙韩承磊
单位

山东科技大学计算机科学与工程学院
摘要

在影像学报告的生成中，由于正常区域和异常区域的数据不平衡，描述疾病的关键词经常被描述图像正常区域的句子掩盖，导致异常图像特征的误判和漏判，严重影响医疗报告的质量。本研究提出混合特征提取无卷积深度学习模型，首次将Swin Transformer引入放射学报告中，设计了一个混合特征提取器，以提取更加细粒度的图像特征，准确地捕捉生成影像学报告所需要的异常特征；设计一个名为视觉-语义协同注意力的注意力机制，在生成报告时突出图像重点特征信息，对非关键信息进行过滤，有效提升生成异常报告的质量；使用具有记忆机制的解码器模块生成影像学报告。最后，在流行的影像学报告IU X-Ray数据集上与当前的主流模型进行对比表明，本模型在语言生成指标和临床评估方面都达到较理想的效果。
关键词

影像学报告混合特征多标签标签特征深度学习模型
基金项目(Foundation)

山东省自然科学基金项目(ZR2022MF274)；
文章目录

1 混合特征提取无卷积结构深度学习模型
1.1 模型总体结构
1.2 基于Transformer的混合特征提取器
1) 补丁分割(Patch Partition)层。
2) 线性嵌入层。
3) 补丁合并层。
4) Swin Transformer块。
1.3 特征编码器
1.4 特征解码器
1.5 视觉-语义协同注意力模块
2 实验设计
2.1 数据集
2.2 基线和评价指标
2.3 实现细节
3 结果和分析
4 结论
引用格式

王瑞,花嵘,仪秀龙,韩承磊.自动生成影像学报告的混合特征提取无卷积结构深度学习模型[J].山东科技大学学报(自然科学版),2023,42(03):85-93.DOI:10.16452/j.cnki.sdkjzk.2023.03.010.