中国安全科学学报

作者：宋敦江, 杨霖, 钟少波

单位：1 中国科学院 科技战略咨询研究院,北京 100190；2 太原学院 计算机科学与技术系,山西 太原 030032；3 北京城市系统工程研究中心 城市运行研究部,北京 100035

关键词：然语言处理(NLP),双向编码器表示(BERT),低秩瓶颈,多头注意力(MHA),灾害信息

基金：国家重点研发计划项目(2019YFF0301300); 国家自然科学基金资助(41471338); 中国科学院科技战略咨询研究院重点培育项目; 北京市科技计划课题(Z191100001419002)

为从网络媒体文本中快速、准确提取灾害三元组信息,利用自然语言处理(NLP)技术,研究灾害三元组信息抽取应用及其算法优化。通过双向编码器表示(BERT)预训练语言模型,应用于地质灾害三元组信息提取的实例中,针对模型由于底层多头注意力(MHA)机制会导致“低秩瓶颈”问题,对此,通过增大模型key-size对其进行优化。结果表明:所提方法能够显著提升从新闻报道等文本中提取地质灾害种类、发生地点、发生时间等关键信息的容错率及精准率;可得到对地质等灾害空间分布情况和趋势的分析,进而为预案编制、应急资源优化配置、区域监测预警等灾害应急管理工作提供科学分析和决策信息支持。

来源：2022年第2期

《中国安全科学学报》期刊编辑部

查看中国安全科学学报杂志2022年第2期