(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211070958.9 (22)申请日 2022.09.02 (71)申请人 中国人民解 放军国防科技大 学 地址 410003 湖南省长 沙市开福区德雅路 109号 (72)发明人 郭延明　刘盼　雷军　老松杨　 李国辉　尹晓晴　 (74)专利代理 机构 北京风雅颂专利代理有限公 司 11403 专利代理师 曾志鹏 (51)Int.Cl. G06F 40/211(2020.01) G06F 40/279(2020.01) G06F 40/30(2020.01) G06F 16/33(2019.01)G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 应用于文本细粒度实体分类的特征表示方 法及相关 设备 (57)摘要 本申请提供一种应用于文本细粒度实体分 类的特征表 示方法及相关设备。 能够确定目标文 本的字符中的实体提及， 将实体提及放回至上下 文字符中， 进而得到上下文字符表示， 并利用上 下文表征模 型对其进行张量确定处理， 得到上下 文张量信息， 再通过注意力机制对 上下文张量信 息进行计算处理， 这样得到的上下文特征能够具 备上下文的特点， 能够在上下文特征中将实体提 及与上下文的联系一起包含在内， 使得后续进行 细粒度实体分类时， 得到的分类结果更加精确， 进一步提高细粒度实体分类的效果。 权利要求书2页 说明书13页 附图5页 CN 115422913 A 2022.12.02 CN 115422913 A 1.一种应用于文本细粒度实体分类的特 征表示方法， 其特 征在于， 包括： 对目标文本进行字符表示； 确定所述字符中的实体提及以及所述实体提及对应的上下文字符， 将所述实体提及放 回至所述上 下文字符中得到上 下文字符表示； 将所述上下文字符表示输入至上下文表征模型中， 进行张量确定处理， 得到上下文张 量信息， 对所述上下文张量信息进行计算处理得到所述目标文本的上下文 特征， 其中， 所述 上下文表征模型 是利用训练样本对神经网络进行训练得到的。 2.根据权利要求1所述的方法， 其特征在于， 所述上下文表征模型包括： Fast  Text文本 分类模型和BILSTM双向长短记忆模 型， 并在所述BILSTM双向长 短记忆模 型的后面的增加注 意力机制； 所述对目标文本进行字符表示， 包括： 利用Fast Text对所述目标文本进行静态字符表示； 所述将所述上下文字符表示输入至上下文表征模型中， 进行张量确定处理， 得到上下 文张量信息， 对所述上 下文张量信息进行计算处 理得到所述目标文本的上 下文特征， 包括： 所述上下文字符表示为静态字符表示， 将所述上下文字符表示输入至BILSTM中进行上 下文编码处 理， 获取所述实体提及 在上下文的动态 表示， 得到所述上 下文张量信息； 利用注意力 机制对所述上下文 张量信息进行计算处理， 得到所述目标文本的上下文特 征。 3.根据权利要求2所述的方法， 其特征在于， 所述利用注意力 机制对所述上下文 张量信 息进行计算处 理， 得到所述目标文本的上 下文特征， 包括： 利用torch.cumsum函数对所述上下文张量信息沿着所述目标文本的上下文的维度进 行累加求和， 得到与所述上 下文张量信息同尺寸的张量Si， 公式为： 其中， Si为上下文张量信息C中前i个的和， Ck为上下文张量信息C中第 k个值， i和k均为 正整数， k∈i； 确定Si中的尾部 数量T的累计张量值ST， 以及Si中的头部数量H的累计张量值SH， 以及C中 头部数量H的累计张量 值CH， 计算所述目标文本的上 下文特征VC， 公式为： 4.根据权利要求1所述的方法， 其特 征在于， 所述上 下文表征模型包括： BERT模型； 所述将所述上下文字符表示输入至上下文表征模型中， 进行张量确定处理， 得到上下 文张量信息， 对所述上 下文张量信息进行计算处 理得到所述目标文本的上 下文特征， 包括： 将所述上下文字符表示输入至BERT模型进行上下文编码处理， 获取所述实体提及在上 下文的动态表示， 得到所述上下文张量信息， 对所述上下文张量信息进行计算处理得到所 述目标文本的上 下文特征。 5.根据权利要求4所述的方法， 其特征在于， 所述BERT模型包括： 6层编码器和6层解码 器， 将所述BERT模型中的前9层进行冻结， 在训练过程中对所述BERT模型的最后3层进行训权　利　要　求　书 1/2 页 2 CN 115422913 A 2练调整。 6.根据权利要求1至5任一项所述的方法， 其特征在于， 所述上下文表征模型的训练过 程包括： 获取人工标注张量信息的众包数据， 以及机器自动标注张量信息的远程 监督数据； 将所述众包数据划分为训练集、 验证集和 测试集； 所述众包数据和所述远程监督数据按照预定比例组成所述训练样本， 所述训练样本包 括： 训练集、 验证集、 测试集和远程 监督数据； 对预先构建的神经网络模型设置对应的学习率； 利用所述训练样本 中的训练集和所述远程监督数据对所述神经网络模型进行训练， 利 用所述验证集对训练后的神经网络模型进 行验证， 验证完成后利用所述测试集对验证后的 神经网络进行测试； 响应于确定测试通过后， 将最终得到的神经网络模型作为所述上 下文表征模型。 7.根据权利要求6所述的方法， 其特征在于， 在对所述神经网络模型进行训练过程中使 用Adam优化器对所述神经网络模型进行收敛优化处 理。 8.根据权利要求6所述的方法， 其特征在于， 在所述众包数据和所述远程监督数据按照 预定比例组成所述训练样本之后， 还 包括： 将所述训练样本中大于预定 长度的训练样本进行截断处 理。 9.一种应用于文本细粒度实体分类的特 征表示装置， 其特 征在于， 包括： 字符表示模块， 被 配置为对目标文本进行字符表示； 上下文表示模块， 被配置为确定所述字符中的实体提及以及所述实体提及对应的上下 文字符， 将所述实体提及放回至所述上 下文字符中得到上 下文字符表示； 模型处理模块， 被配置为将所述上下文字符表示输入至上下文表征模型中， 进行张量 确定处理， 得到上下文张量信息， 对所述上下文张量信息进行计算处理得到所述 目标文本 的上下文特征， 其中， 所述上 下文表征模型 是利用训练样本对神经网络进行训练得到的。 10.一种电子设备， 包括存储器、 处理器及存储在存储器上并可在处理器上运行的计算 机程序， 其特征在于， 所述处理器执行所述程序时实现如权利要求1至8任意一项所述的方 法。权　利　要　求　书 2/2 页 3 CN 115422913 A 3