(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210288840.7 (22)申请日 2022.03.23 (71)申请人 北京交通大 学 地址 100044 北京市海淀区西直门外上园 村3号 (72)发明人 冀振燕　孔德焱　杨燕燕　吴睿智　 韩梦豪　 (74)专利代理 机构 北京市诚辉律师事务所 11430 专利代理师 耿慧敏　朱伟军 (51)Int.Cl. G06F 16/35(2019.01) G06F 16/36(2019.01) G06N 3/04(2006.01) G06F 40/295(2020.01)G06F 40/30(2020.01) (54)发明名称 基于不确定性感知异质图注意力网络的短 文本分类方法 (57)摘要 本发明公开一种基于不确定性感知异质图 注意力网络的短文本分类方法。 该方法包括： 获 取有标签数据集和无标签数据集， 其中有标签数 据的数量少于无标签数据； 基于所述有标签数据 集训练异质图注意力网络模型； 利用经训练的异 质图注意力网络模型对所述无标签数据集进行 预测， 并计算预测结果的不确定性值； 利用预测 值和所述不确定性值同时作为置信度， 对所述无 标签数据集打伪标签， 并选择出正负样本伪标 签； 混合所选择的伪标签数据和所述有标签数据 集， 获得混合数据集， 利用该混合数据集对所述 异质图注 意力网络模型进一步训练； 重复上述步 骤， 直到满足设定的终止条件。 本发明能够在低 数据源的情况下， 准确对常见的短文本进行分 类。 权利要求书2页 说明书6页 附图3页 CN 115292483 A 2022.11.04 CN 115292483 A 1.一种基于不确定性感知异质图注意力网络的短文本分类方法， 包括以下步骤： 步骤S1， 获取有标签数据集和无标签数据集， 其中有标签数据的数量少于无标签数据， 所述有标签数据集反映短文本数据与标签 类型之间的对应关系； 步骤S2， 基于所述有标签数据集训练异质图注意力网络模型； 步骤S3， 利用经训练的异质图注意力网络模型对所述无标签数据集进行预测， 并计算 预测结果的不确定性 值； 步骤S4， 利用预测值和所述不确定性值同时作为置信度， 对所述无标签数据集打伪标 签， 并选择 出正负样本伪标签； 步骤S5， 混合所选择的伪标签数据和所述有标签数据集， 获得混合数据集， 利用该混合 数据集对所述异质图注意力网络模型进一 步训练； 步骤S6， 重复步骤S3 至步骤S5， 直到满足设定的终止条件。 2.根据权利要求1所述的方法， 其特征在于， 所述异质图注意力网络模型包括异质图注 意力网络， 双层注意力机制模块和伪标签选择器， 所述异质图注意力网络利用知识图谱和 无标签数据， 实现信息沿图的传播， 以捕获相邻节点之 间的关系； 所述双层注 意力机制模块 用于提取邻居节点的重要 特征信息并赋予不同类型节点不同的权值； 所述伪标签选择器利 用所述预测值和所述不确定性值对无标签数据创建正负伪标记， 以在训练迭代过程中扩展 训练集。 3.根据权利要求1所述的方法， 其特征在于， 利用异质信息网络结构对短文本、 主题信 息和知识图谱中的实体知识进 行建模， 获得异质图网络节点向量表示作为所述异质图注意 力网络模型的输入。 4.根据权利要求1所述的方法， 其中， 所述异质信息网络结构设置为集成多种附加信 息， 并捕获短文本和附加信息之间的关系。 5.根据权利要求4所述的方法， 其特征在于， 所述附加信息包括主题信息、 实体信息和 短文本信息， 其中主题信息是通过隐含狄利克雷分布聚类方法挖掘短文本潜在的主题信 息； 实体信息是从领域知识图谱中或维基百科中获取向量表示； 短文本信息是利用预训练 语言模型对其进行向量表示， 以从短文本数据中提取语言特 征。 6.根据权利要求3所述的方法， 其特征在于， 所述异质图注意力网络模型以所述异质信 息网络结构作为输入， 并将不同类型信息投射到一个隐式公共空间中， 实现异质图卷积神 经网络， 并引入双层注意力机制用于提取邻居节 点的重要 特征信息并赋予不同类型节点不 同的权值。 7.根据权利要求1所述的方法， 其特征在于， 所述双层注意力 机制模块设有类型级注意 力机制和节点级注意力机制， 类型级注意力机制用于表征不同类型节点对 特定节点的重要 程度， 节点级注意力机制用于表征相同类型的各节点对该 特定节点的重要程度。 8.根据权利要求6所述的方法， 其特征在于， 所述不确定性值是所述异质图注意力网络 模型的训练过程中， 针对同一输入， 多次使用丢弃率进 行预测， 并并行将多次预测值进行平 均和统计方差的操作， 进 而得到该输入的不确定性。 9.一种计算机可读存储介质， 其上存储有计算机程序， 其中， 该计算机程序被处理器执 行时实现根据权利要求1至8中任一项所述方法的步骤。 10.一种计算机设备， 包括存储器和处理器， 在所述存储器上存储有能够在处理器上运权　利　要　求　书 1/2 页 2 CN 115292483 A 2行的计算机程序， 其特征在于， 所述处理器执行所述计算机程序时实现权利要求1至8 中任 一项所述的方法的步骤。权　利　要　求　书 2/2 页 3 CN 115292483 A 3