基于双流CNN与Bi-LSTM的施工人员不安全行为轻量级识别模型_中国煤炭行业知识服务平台

基于双流CNN与Bi-LSTM的施工人员不安全行为轻量级识别模型

作者

马莉王卓代新冠贾荣豪
单位

西安科技大学通信与信息工程学院
摘要

由于PC端的施工人员不安全行为识别模型计算复杂度高、模型体积大，不适合在边缘设备上运行，提出了一种基于双流CNN与Bi-LSTM的轻量级识别模型。模型主要包含双流CNN特征提取、特征融合和行为分类3个模块，在双流CNN特征提取模块中使用高效的轻量化网络ShuffleNetV2代替传统CNN以提升计算效率，同时添加卷积注意力模块获取关键特征以提高行为识别准确率；在特征融合模块中引入Bi-LSTM网络获取视频前后的关联信息，实现双流特征融合；在行为分类模块中利用注意力机制实现自适应分配权重，从而进一步提升施工人员不安全行为识别的准确率。最后，采用UCF-101数据集和自建数据集进行模型训练和验证，该模型的累加乘积操作次数为7.73 G,参数量为5.38 M,均优于传统的双流CNN方法；此外，模型在2个数据集上的识别准确率分别为94.3%和94.8%,均优于双流CNN-MobileNetV3等其他轻量级模型。实验结果表明所提模型相对于传统双流CNN具有更低的计算复杂度、更小的模型参数量以及更高的识别准确率，适合在资源受限的边缘设备上部署与运行。
关键词

不安全行为行为识别轻量化双流卷积神经网络双向长短时记忆网络注意力机制
基金项目(Foundation)

陕西省重点研发计划重点产业创新链项目（2021ZDLGY07-08）；
文章目录

0 引言
1 模型设计
1.1 引入卷积注意力模块的轻量双流特征提取模块设计
1.1.1 ShuffleNetV2网络
1.1.2 卷积注意力模块
1.1.3 引入卷积注意力模块的轻量双流特征提取模块的网络结构
1.2 引入Bi-LSTM的特征融合模块
1.3 引入注意力机制的行为分类模块
2 数据集构建与模型训练
2.1 数据集构建
2.2 模型训练
2.3 模型评价指标
3 模型对比实验
3.1 CNN模型的双流结构模型性能对比实验
3.2 轻量级CNN模型的双流结构模型性能对比实验
3.3 消融实验
3.3.1 卷积注意力模块引入前后性能对比
3.3.2 LSTM,Bi-LSTM引入前后性能对比
3.3.3 注意力机制引入前后性能对比
4 结论
引用格式

马莉,王卓,代新冠,贾荣豪.基于双流CNN与Bi-LSTM的施工人员不安全行为轻量级识别模型[J].西安科技大学学报,2022,42(04):809-817.DOI:10.13800/j.cnki.xakjdxxb.2022.0421.