中国安全科学学报

作者：郝秦霞, 甄浩龙

单位：西安科技大学 通信与信息工程学院,陕西 西安 710054

关键词：多模态,特征融合,煤矿输送带运输区,矿工不安全行为,目标检测,红绿蓝(RGB)模态,骨骼模态

基金：陕西省重点研发计划(2024GX-YBXM-526)

为提高煤矿输送带运输区矿工行为识别的准确性和鲁棒性,降低不安全行为发生概率,提出一种基于多模态特征融合的不安全行为识别方法。首先,结合红绿蓝(RGB)与骨骼2种模态,通过基于高效注意力机制(EA)改进的SlowFast网络(EA-SlowFast)提取RGB模态特征,并利用改进后的移动增强型(ME)YOLO(ME-YOLO)检测矿工目标;然后,对检测到的矿工送入Lite-HRNet进行姿态估计,提取骨骼关键点数据,再通过深度通道卷积注意力时空图卷积网络(DC-STGCN)提取骨骼模态特征,实现RGB模态与骨骼模态的晚期融合;最后,分别选取公开数据集(人类动作数据库51(HMDB51)、中佛罗里达大学101类动作识别数据集(UCF101))与自建煤矿井下不安全行为数据集进行试验验证。结果表明:相较于单一模态基准模型,EA-SlowFast与DC-STGCN在HMDB51数据集上的识别准确率分别为71.6%和68.3%,在UCF101动作识别数据集上的识别准确率分别为88.3%和85.4%;多模态特征融合模型的识别准确率较未改进的融合模型有所提升,在HMDB51和UCF101数据集上分别达到75.4%和93.5%。在自建数据集上,ME-YOLO的平均检测精度(mAP)@0.5为91.8%,推理速度为38帧/s,满足实时性需求。融合模型的识别准确率达到90.6%,验证了该方法在煤矿输送带运输区环境中的有效性。

来源：2025年第11期

《中国安全科学学报》期刊编辑部

查看中国安全科学学报杂志2025年第11期