(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210087035.8 (22)申请日 2022.01.25 (71)申请人 华中师范大学 地址 430079 湖北省武汉市珞喻路152号 (72)发明人 刘海　张昭理　薛增灿　胡志勇　 石佛波　周启云　李林峰　韩淑云　 童宇航　孙瑞　 (74)专利代理 机构 武汉东喻专利代理事务所 (普通合伙) 42224 专利代理师 雷霄 (51)Int.Cl. G06F 16/36(2019.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G10L 15/26(2006.01) (54)发明名称 一种基于乐理知识图谱推理的机器人智能 导学方法及应用 (57)摘要 本发明公开了一种基于乐理知识图谱推理 的机器人智 能导学方法及应用。 该方法包括： 采 集乐理学习者提问的语音信号并转换为文本数 据； 获取文本数据中的实体嵌入表示hi和关系嵌 入表示si； 将hi、 si与乐理知识图谱的每个实体eu 对应的特征向量tu构成候选三元组(hi， si， tu)； 将候选三元 组输入到知 识图谱推理模块， 获得所 有候选三元 组的能量值， 将能量值最优的候选三 元组中的tu对应的eu输出。 本发明通过解析问句 的实体及其 关系， 并挖掘乐理知识图谱中实体和 关系的深度语义交互， 可以提高智能导学的精确 性和扩展性。 权利要求书2页 说明书10页 附图4页 CN 114840679 A 2022.08.02 CN 114840679 A 1.一种基于乐理知识图谱推理的机器人智能导学 方法， 其特 征在于， 包括 步骤： 采集乐理学习者 提问的语音信号， 将所述语音信号 转换为文本数据； 对所述文本数据进行解析， 抽取所述文本数据中的实体和关系， 并得到所述文本数据 中的实体嵌入表示hi和关系嵌入表示si； 将所述实体嵌入表示hi、 关系嵌入表示si与乐理知识图谱 的每个实体eu对应的特征向 量tu构成候选三元组(hi,si,tu)； 将所有候选三元组(hi,si,tu)输入到训练后的知识图谱推理模块， 获得所有候选三元 组的能量值， 能量值是表示tu与hi具有关系si的概率值， 将能量值最优的候选三 元组(hi,si, tu)中的tu对应的eu作为所述语音信号的答案 输出。 2.如权利要求1所述的一种基于乐理知识图谱推理的机器人智能导学方法， 其特征在 于， 采用语音转换器将所述语音信号转换为文本数据， 所述语音转换器包括加权深度全序 列卷积神经网络模型和隐马尔可夫模型， 所述加权深度全序列卷积神经网络模型包括输入 层、 隐藏层和输出层， 所述隐马尔可夫模型用于对所述隐藏层的输出进行处理后输入后所 述输出层， 所述隐藏层的最后一层为加权特征层， 经过所述加权特征层后的加权特征表示 为： G＝ δ(Wwt*Fwt+b) 其中， G是所述加权特征层的输出特征， δ( ·)表示所述特征加权层的激活函数， b为偏 置项， Fwt表示所述特 征加权层的输入特 征， Wwt为所述特 征加权层的特 征加权矩阵。 3.如权利要求1所述的一种基于乐理知识图谱推理的机器人智能导学方法， 其特征在 于， 利用文本解析器对所述文本数据进 行解析， 所述文本解析器包括预训练语言模型、 双向 门控循环单 元和序列标注模型； 所述预训练语言模型用于将所述文本数据转换为字符向量； 所述双向门控循环单 元用于对转换后的字符向量进行 特征抽取； 所述序列标注模型用于根据抽取的特 征输出所述文本数据中实体和关系的标注结果。 4.如权利要求3所述的一种基于乐理知识图谱推理的机器人智能导学方法， 其特征在 于， 所述知识图谱推理模块的训练包括 步骤： 获取将乐理知识图谱中的实体集合和关系集合， 将乐理知识图谱中的实体和关系转换 为嵌入表示， 将乐理知识图谱中实体嵌入表示记为tu， 乐理知识图谱中关系 嵌入表示记为 ru， 将多个tu和ru进行拼接后获得矩阵L； 将矩阵L中的元 素进行混合 排列获得矩阵Lc； 对矩阵Lc进行圆周卷积 操作， 获得 特征图； 将得到的特 征图映射到k维向量空间， 得到隐藏层向量H； 通过全连接层来对隐藏层向量H进行处理， 输出能量预测值， 通过训练减小能量预测值 与乐理知识图谱中实体间实际关系的差异。 5.如权利要求1所述的一种基于乐理知识图谱推理的机器人智能导学方法， 其特征在 于， 所述对矩阵Lc进行圆周卷积操作是采用N个不同的卷积核分别对矩阵Lc进行圆周卷积 操作， 从而生成N个不同的特 征图。 6.一种基于乐理知识图谱推理的机器人智能导学系统， 其特 征在于， 包括： 采集模块， 用于采集 乐理学习者 提问的语音信号， 将所述语音信号 转换为文本数据；权　利　要　求　书 1/2 页 2 CN 114840679 A 2预处理模块， 用于对所述文本数据进行解析， 抽取所述文本数据中的实体和关系， 并得 到所述文本数据中的实体嵌入表示hi和关系嵌入表示si； 三元组构建模块， 用于将所述实体嵌入表示hi、 关系嵌入表示si与乐理知识图谱的每个 实体eu对应的特 征向量tu依次构成候选三元组(hi,si,tu)； 推理输出模块， 用于将所有候选三元组(hi,si,tu)输入到训练后的知识图谱推理模块， 获得所有候选三元 组的能量值， 能量值是表示tu与hi具有关系si的概率值， 将能量值最优的 候选三元组(hi,si,tu)中的tu对应的eu作为所述语音信号的答案 输出。 7.如权利要求6所述的一种基于乐理知识图谱推理的机器人智能导学系统， 其特征在 于， 采用语音转换器将所述语音信号转换为文本数据， 所述语音转换器包括加权深度全序 列卷积神经网络模型和隐马尔可夫模型， 所述加权深度全序列卷积神经网络模型包括输入 层、 隐藏层和输出层， 所述隐马尔可夫模型用于对所述隐藏层的输出进行处理后输入所述 输出层， 所述隐藏层的最后一层为加权特 征层， 经过所述加权特 征层后的加权特 征表示为： G＝ δ(Wwt*Fwt+b) 其中， G是所述加权特征层的输出特征， δ( ·)表示所述特征加权层的激活函数， 而且b 为偏置项， Fwt表示所述特 征加权层的输入特 征， Wwt为所述特 征加权层的特 征加权矩阵。 8.如权利要求6所述的一种基于乐理知识图谱推理的机器人智能导学系统， 其特征在 于， 所述知识图谱推理模块的训练包括 步骤： 获取将乐理知识图谱中的实体集合和关系集合， 将乐理知识图谱中的实体和关系转换 为嵌入表示， 将乐理知识图谱中实体嵌入表示记为tu， 乐理知识图谱中关系 嵌入表示记为 ru， 将多个tu和ru进行拼接后获得矩阵L； 将矩阵L中的元 素进行混合 排列获得矩阵Lc； 对矩阵Lc进行圆周卷积 操作， 获得 特征图； 将得到的特 征图映射到k维向量空间， 得到隐藏层向量H； 通过全连接层来对隐藏层向量H进行处理， 输出能量预测值， 通过训练减小能量预测值 与乐理知识图谱中实体间实际关系的差异。 9.一种电子设备， 包括存储器和 处理器， 所述存储器存储有计算机程序， 其特征在于， 所述处理器执行所述计算机程序时实现权利要求1至 5中任一项所述的方法的步骤。 10.一种计算机可读存储介质， 其上存储有计算机程序， 其特征在于， 所述计算机程序 被处理器执行时实现如权利要求1至 5中任一项所述的方法。权　利　要　求　书 2/2 页 3 CN 114840679 A 3