全矿井智能视频分析技术是保障煤矿智能化建设和煤炭工业高质量发展的核心技术支撑。矿井复杂、恶劣条件下，图像的成像质量较差、场景的高清重建困难、目标检测与识别精度不高等，制约了矿井AI视频识别系统的智能化、精准化应用。为推动人工智能和计算机视觉驱动的智能视频分析技术在煤矿安全生产中的应用，本刊于2023年第11期策划出版了“全矿井智能视频分析技术”专刊。现整理专刊最受关注论文，以期促进学术交流。
1.全矿井智能视频分析关键技术综述
作者：程德强, 寇旗旗, 江鹤, 徐飞翔, 宋天舒, 王晓艺, 钱建生
摘要：智能化是煤矿发展的方向，而智能视频分析是促进煤矿智能化的有效途径。全矿井智能视频分析技术具有实时监控、预警和决策支持能力，有助于提高矿山企业的安全性、生产效率、资源利用效率和环境可持续性。详细介绍了全矿井智能视频分析的关键技术，包括视频采集设备、视频预处理、视频压缩与编码等视频采集与处理技术，目标检测与跟踪、运动检测与分析、物体识别与分类等视频分析基础技术，行为识别与分析、事件检测与警报、视频监控与布防等高级视频分析技术。研发了集成视频识别分析和工业联动控制功能的矿山智脑AI视觉智能服务平台，介绍了智能视频分析技术在智能探放水系统和探放瓦斯系统、煤岩识别与截割系统、掘进工作面、综采工作面、煤流运输系统、矿井提升机系统、辅助运输系统、选煤厂、智能化装车配煤系统等矿井生产场景中的应用。分析指出目前全矿井智能视频分析技术在视频质量、复杂背景、实时性要求、数据隐私和安全、系统可靠性与稳定性等方面仍面临挑战。建议未来加强算法提升和优化、多模态数据融合、实时分析和边缘计算、强化学习和自主决策、数据隐私和安全保护、硬件设备和传感器技术等方面的研究，以全面推动全矿井智能视频分析技术的发展，促进矿山智能化进程。
2.基于生成对抗网络的带式输送机异物检测方法
作者：张立亚
摘要：煤矿井下胶带运输图像具有照度低、细节不清晰、背景干扰等特点，现有的带式输送机异物检测模型存在精度低、灵活性差、计算量大、优化空间存在差异等问题。针对上述问题，提出了一种基于生成对抗网络（GAN）的带式输送机异物检测方法。对胶带运输过程视频文件进行预处理，分类得到正常图像、异常图像，制作实验数据集对改进GANomaly模型进行训练，再通过训练好的模型进行带式输送机异物检测。在训练阶段，将不含异物的带式输送机图像作为输入；在测试阶段，将含有异物的带式输送机图像作为输入，得到的重构图像与输入网络的原图像作差，即可得到异物的具体位置。GANomaly模型轻量化改进方法：在GANomaly基础网络模型中加入深度可分离卷积残差模块，采用深度可分离卷积代替原有主干网络中的卷积操作，大幅降低了模型计算量，同时减少了参数的冗余计算，能够明显提高异物检测速度；通过合并多个批量归一化（BN）层，加快模型的收敛迭代速度，提高模型的泛化收敛能力，有效避免梯度消失。实验结果表明，改进GANomaly模型相较于传统GANomaly模型，在运行速度上提升了6.27%，评价指标F1分数、AUC、召回率（Recall）和平均精度均值（mAP）分别提升了19.05%，22.22%，15.00%，17.14%。
3.基于改进KCF的多目标人员检测与动态跟踪方法
作者：刘毅, 庞大为, 田煜
摘要：针对煤矿巷道光照不足、目标尺度变化剧烈、目标容易被遮挡和矿灯干扰等因素，导致对于井下的目标检测和跟踪存在成功率和准确度低的问题，提出一种基于改进核相关滤波（KCF）算法的多目标人员检测与动态跟踪方法，为避免井下复杂环境中由于光照不均引起检测失败，在改进的KCF算法中引入SSD检测算法，以提升对多目标人员检测能力。① 读取待跟踪视频序列，使用经过井下数据集训练后的SSD算法检测图像中的目标，若没有发现目标则继续读取下一帧。② 将检测到的目标放入跟踪器中，对图像进行预处理，通过比较将所有的检测框按照设定的阈值进行打分，并根据分值从高到低依次排列，高分的检测结果直接输出，低分的检测结果用于滤除不良信息，以提升检测速度。③ 通过KCF跟踪预测目标M帧后清空跟踪器，再重新进行目标检测。通过检测算法和跟踪算法的叠加，保证对目标的持续跟踪能力。实验结果表明：① 该方法最后的损失值稳定在1.675附近，检测结果较为稳定。② 经过训练后的SSD算法识别精度较训练前的SSD算法识别精度提高了52.7%。③ 该方法对矿井人员检测成功率、跟踪准确率分别为87.9%，88.9%，均高于其他4种算法（KCF、CSRT、TLD及MIL）的检测成功率、跟踪准确率。④ 该方法在重叠阈值较低时具有较高成功率，直至重叠阈值大于0.8时，成功率大幅下降，这是因为矿井中环境多样，想要完全符合标注的框有一定难度。实际应用结果表明：在井下煤矿巷道光照不足、目标尺度变化剧烈、容易被遮挡和受矿灯干扰等复杂环境中，该方法具有较高的适用性。
4.基于多模态特征融合的井下人员不安全行为识别
作者：王宇, 于春华, 陈晓青, 宋家威
摘要：采用人工智能技术对井下人员的行为进行实时识别，对保证矿井安全生产具有重要意义。针对基于RGB模态的行为识别方法易受视频图像背景噪声影响、基于骨骼模态的行为识别方法缺乏人与物体的外观特征信息的问题，将2种方法进行融合，提出了一种基于多模态特征融合的井下人员不安全行为识别方法。通过SlowOnly网络对RGB模态特征进行提取；使用YOLOX与Lite−HRNet网络获取骨骼模态数据，采用PoseC3D网络对骨骼模态特征进行提取；对RGB模态特征与骨骼模态特征进行早期融合与晚期融合，最后得到井下人员不安全行为识别结果。在X−Sub标准下的NTU60 RGB+D公开数据集上的实验结果表明：在基于单一骨骼模态的行为识别模型中，PoseC3D拥有比GCN（图卷积网络）类方法更高的识别准确率，达到93.1%；基于多模态特征融合的行为识别模型对比基于单一骨骼模态的识别模型拥有更高的识别准确率，达到95.4%。在自制井下不安全行为数据集上的实验结果表明：基于多模态特征融合的行为识别模型在井下复杂环境下识别准确率仍最高，达到93.3%，对相似不安全行为与多人不安全行为均能准确识别。
5.基于AI视频分析的煤矿瓦斯抽采钻场远程监督管理方法
作者：胡金成, 张立斌, 蒋泽, 姚超修, 蒋志龙, 王正义
摘要：传统的煤矿瓦斯抽采钻场视频监控系统在钻孔施工及退钻杆期间，只具有监测和存储功能，重要的过程参数或信息只能由监测人员通过视频录像查看，存在记录施工信息易出错、钻场管理人员难以连续监控现场视频等问题。针对上述问题，提出了一种基于AI视频分析的煤矿瓦斯抽采钻场远程监督管理方法。该方法包括信息牌检测、OCR识别、退杆分析3种算法。信息牌检测用于检测当前施工环节，OCR识别用于识别信息牌上打钻流程与施工信息，退杆分析用于分析收孔阶段的退杆数，从而实现打钻作业的全过程分析与管控。在接收并开始打钻任务后，启用信息牌检测与OCR识别服务，根据依次识别到的开孔、收孔、封孔流程与施工参数，自动保存施工信息。当识别出开始收孔，启用退杆分析服务；当识别出结束收孔，停止退杆分析服务。实验结果表明：信息牌检测算法的识别准确率为96%。PaddleOCR识别算法平均用时17.51 ms，较EasyOCR、ChineseOCR识别算法分别降低了25.25，4.34 ms；PaddleOCR识别算法的准确率较其他2种识别算法分别提高了5.75%，2.29%，召回率较其他2种识别算法分别提高了9.77%，2.36%。退杆分析算法能够有效识别现场退杆数，准确率约为95%。
6.基于Real-ESRGAN的岩石CT图像超分辨率重建
作者：李刚, 张亚兵, 杨庆贺, 邹军鹏, 才天, 刘航, 赵艺鸣
摘要：图像采集设备和地质环境等因素导致岩石CT图像分辨率低、细节不清晰，而现有图像超分辨率重建方法在表征内部高密度矿物质颗粒和孔裂隙时容易丢失细节。针对上述问题，采用改进的增强型超分辨率生成对抗网络（Real−ESRGAN）对岩石CT图像进行超分辨率重建。选取山西晋城无烟煤矿业集团有限责任公司赵庄煤矿15号煤层底板的砂岩为研究对象，研究不同图像放大倍数下Real−ESRGAN的重建性能，并将其与超分辨率卷积神经网络（SRCNN）、超分辨率生成对抗网络（SRGAN）、增强型超分辨率生成对抗网络（ESRGAN）、增强的深度超分辨率网络（EDSR）等算法进行对比。试验结果表明：① 使用Real−ESRGAN重建的高分辨率图像在视觉效果上比原始CT图像更清晰，重建图像中裂隙轮廓和高密度矿物质颗粒更加突出，图像可视性得到了极大提高。② 在客观评估方面，Real−ESRGAN算法在2倍超分辨率重建后图像的峰值信噪比（PSNR）高达36.880 dB，结构相似性（SSIM）达0.933。但随着放大倍数的增加，6倍超分辨率重建图像上的孔隙出现模糊，PSNR降至32.781 dB，SSIM为0.896。③ Real−ESRGAN重建超分辨图像的孔隙率和喉道长度分布占比与原始CT图像相比非常接近，保留了岩石重要的细观结构信息。
