(19)国家知识产权局
(12)发明 专利申请
(10)申请公布号
(43)申请公布日
(21)申请 号 202210374738.9
(22)申请日 2022.04.11
(71)申请人 哈尔滨工业大 学 (深圳)
地址 518055 广东省深圳市南 山区桃源街
道深圳大 学城哈尔滨工业大 学校区
(72)发明人 叶允明 李旭涛 孙玉玺
(74)专利代理 机构 北京隆源天恒知识产权代理
有限公司 1 1473
专利代理师 戴棋钦
(51)Int.Cl.
G06F 40/279(2020.01)
G06F 40/30(2020.01)
G06N 3/04(2006.01)
G06N 3/08(2006.01)
G06Q 50/00(2012.01)G06Q 50/26(2012.01)
(54)发明名称
片段指针交互模型的构建方法及社会传感
灾情监测方法
(57)摘要
本发明公开了一种片段指针交互模型的构
建方法及社会传感灾情监测方法, 所述片段指针
交互模型的构建方法包括: 获取训练文本集; 将
训练文本输入实体感知编码层, 获得训练文本的
语义表征; 将训练文本的语义表征输入指针网络
检测层, 获得训练文本中每个字的起始区间表示
和终止区间表 示; 将起始区间表 示和终止区间表
示输入区间交互感知层, 由区间交互感知层对起
始区间表 示和终止区间表示进行特征交互, 获得
特征交互后的起始类别标签和终止类别标签; 基
于起始类别标签和终止类别标签生成对应的起
始类别列表和终止类别列表, 并基于起始类别列
表和终止类别列表进行解码获得灾情事件触发
词。 本发明可实现有效快速的事 件检测。
权利要求书3页 说明书11页 附图3页
CN 114943221 A
2022.08.26
CN 114943221 A
1.一种片段指针交互模型的构建方法, 其特征在于, 所述片段指针交互模型包括基于
预训练语言模型 的实体感知编码层、 指针网络检测层以及区间交互感知层; 所述片段指针
交互模型的构建方法包括以下步骤:
获取训练文本集, 其中, 所述训练文本集为社交媒体文本数据经过预处理操作后得到
的文本数据;
将所述训练文本集中的训练文本输入所述实体感知编码层, 获得所述实体感知编码层
输出所述训练文本的语义表征;
将所述训练文本的语义表征输入所述指针网络检测层, 获得所述指针网络检测层预测
的所述训练文本中每 个字的起始区间表示和终止区间表示;
将所述起始区间表示和所述终止区间表示输入所述 区间交互感知层, 由所述 区间交互
感知层对所述起始区间表示和所述终止区间表示进行特征 交互, 获得特征 交互后的起始类
别标签和终止类别标签;
基于所述起始类别标签和所述终止类别标签生成对应的起始类别列表和终止类别列
表, 并基于所述 起始类别列表和所述终止类别列表进行解码获得灾情事 件触发词。
2.如权利要求1所述的片段指针交互模型的构建方法, 其特征在于, 所述预处理操作包
括以下步骤:
基于预设分词算法从所述社交媒体文本中抽取实体信息, 其中, 所述实体信息包括抽
取的实体词的实体 类型和所述实体词在所述社交媒体文本中的位置信息;
将所述从所述社交媒体文本抽取的实体词的实体类型和位置信息附加在所述社交媒
体文本后, 作为所述训练文本;
所述预训练语言模型为BERT模型; 所述将所述训练文本集中的训练文本输入所述实体
感知编码层, 获得所述实体 感知编码层输出所述训练文本的语义表征包括输入所述 实体感
知编码层时的输入编码步骤, 具体包括:
将所述社交媒体文本编码为上下句形式, 其中一句对应所述社交媒体文本全文的顺序
编码, 另一句对应从所述社交媒体文本抽取的实体词的实体 类型和位置信息的编码。
3.如权利要求2所述的片段指针交互模型的构建方法, 其特征在于, 在所述基于预设分
词算法从所述社交媒体文本中抽取实体信息的步骤之前, 所述预处理操作还包括以下步
骤:
获取原始的社交媒体文本数据, 并采用以下至少一种操作对所述原始的社交媒体文本
数据进行处 理:
对所述原 始的社交媒体文本数据进行去重处 理;
采用预设的关键字模板对所述原始 的社交媒体文本数据进行过滤处理, 其中, 所述关
键字模板中的关键 字包括灾情事实无关性文本;
对所述原 始的社交媒体文本数据中的非事 件句进行 过滤处理。
4.如权利要求1所述的片段指针交互模型的构建方法, 其特征在于, 所述将所述起始区
间表示和所述终止区间表示输入所述区间交互感知层, 由所述区间交互感知层 对所述起始
区间表示和所述 终止区间表示进 行特征交互, 获得特征交互后的起始类别标签和终止类别
标签包括以下步骤:
将所述起始区间表示和所述终止区间表示进行交互后, 再融入原始的所述训练文本的权 利 要 求 书 1/3 页
2
CN 114943221 A
2语义表征, 得到第一特 征;
将所述第一特 征经过线性处 理后, 得到第二特 征;
将所述第一特 征和所述第二特 征进行交 互后, 输出起始类别标签或终止类别标签。
5.如权利要求4所述的片段指针交互模型的构建方法, 其特征在于, 所述将所述起始区
间表示和所述终止区间表示输入所述区间交互感知层, 由所述区间交互感知层 对所述起始
区间表示和所述 终止区间表示进 行特征交互, 获得特征交互后的起始类别标签和终止类别
标签包括:
r=tanh(WD·concat(us,ue)), (1)
m(1)=W(1)·concat(h,r)+b(1), (2)
m(2)=W(2)·(LayerNorm(m(1)))+b(2), (3)
PHIN(h,us,ue)=W(3)·concat(m(1),m(2))+b(3), (4)
其中, 公式(1)包括将所述起始区间表示和所述终止区间表示进行交互; 公式(2)包括
将所述起始区间表示和所述 终止区间表示进 行交互后, 再融入原始的所述训练文本的语义
表征, 得到第一特征; 公式(3)包括将所述第一特征经过线性处理后, 得到第二特征; 公式
(4)包括将所述第一特 征和所述第二特 征进行交 互后, 输出起始类别标签或终止类别标签;
r指所述起始区间表示和所述终止区间交互后所得特征, us指所述起始区间表示, ue指
所述终止区间表示, h指原始的所述训练文本的语义表征, m(1)指所述第一特征, m(2)指所述
第二特征, PHIN(h,us,ue)指所述起始类别标签或终止类别标签, WD、 W(1)、 W(2)、 W(3)均为权重矩
阵, b(1)、 b(2)、 b(3)均为偏置参数。
6.如权利要求4或5所述的片段指针交互模型的构建方法, 其特征在于, 所述基于所述
起始类别标签和所述终止类别标签生成对应的起始类别列表和终止类别列表包括:
Pstart=argmaxeachrow(PHINstart),
Pend=argmaxeachrow(PHINend),
其中, Pstart表示所述起始类别列表, Pend表示所述终止类别列表, PHINstart表示所述起始
类别标签, PHINend表示所述终止类别标签。
7.如权利要求1所述的片段指针交互模型的构建方法, 其特征在于, 所述指针网络检测
层包括起始 位置判定模块和终止位置判定模块; 所述将所述训练文本的语义表征输入所述
指针网络检测层, 获得所述指 针网络检测层预测的所述训练文本中每个字的起始区间表示
和终止区间表示包括以下步骤:
将所述训练文本的语义表征输入所述起始位置判定模块, 获得所述起始位置判定模块
预测的所述训练文本中每 个字的起始区间表示;
获取所述训练文本 中每个字的真实的起始区间表示, 将所述真实的起始区间表示和所
述训练文本的语义表征输入所述 终止位置判定模块, 获得所述终止位置判定模块预测的所
述训练文本中每 个字的终止区间表示。
8.一种基于片段指针交 互模型的社会传感灾情监测方法, 其特 征在于, 包括:
获取社交媒体文本数据, 对所述社交媒体文本数据进行预处理操作, 得到灾情监测文
本;
将所述灾情监测文本输入至训练好的片段指针交互模型, 获得所述片段指针交互模型
输出的灾情事件触发词, 其中, 所述片段指针交互模型通过如权利要求1至7中任一项所述权 利 要 求 书 2/3 页
3
CN 114943221 A
3
专利 片段指针交互模型的构建方法及社会传感灾情监测方法
文档预览
中文文档
18 页
50 下载
1000 浏览
0 评论
309 收藏
3.0分
温馨提示:本文档共18页,可预览 3 页,如浏览全部内容或当前文档出现乱码,可开通会员下载原始文档
本文档由 人生无常 于 2024-03-18 17:51:42上传分享