中国安全科学学报

作者：安思齐, 蔡昂林, 马子程, 朱宝岩

单位：1 辽宁工程技术大学 安全科学与工程学院,辽宁 葫芦岛 125105；2 中国矿业大学(北京) 理学院,北京 100083

关键词：多模态大模型,施工安全隐患,复杂施工场景,安全管理,提示调优

为提升施工场景中安全隐患的自动识别和安全管理水平,构建一个集成多模态大模型的施工安全隐患识别模型,进而构成其核心组件——多模态安全隐患识别模型LLaVA-CS(用于施工场景(Construction Site,CS)下的多模态视觉-文本大语言模型(LLaVA));该系统将图像(施工现场照片)与安全操作规程(工人行为描述)相结合,利用多模态学习和深度学习技术,实时监控和分析施工现场;为支持系统的有效运行,构建一个涵盖不同光照、遮挡和多人场景等复杂条件的多模态数据集,弥补现有公开数据集的空白。结果表明:通过对LLaVA-1.5模型进行提示调优,LLaVA-CS模型能有效融合视觉与文本信息,提升安全隐患识别的精度和可解释性。集成该模型的施工安全隐患识别方法在多个实际施工项目中识别准确率达到0.722 2,能够实时生成详细的解释文本,帮助管理人员快速理解安全隐患的具体情境,增强安全管理的决策支持。将多模态大模型应用于施工安全管理系统,有助于提供实时、可解释的安全监控解决方案。

来源：2025年第9期

《中国安全科学学报》期刊编辑部

查看中国安全科学学报杂志2025年第9期