(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210845873.7 (22)申请日 2022.07.19 (71)申请人 腾讯科技 （深圳） 有限公司 地址 518057 广东省深圳市南 山区高新区 科技中一路腾讯大厦3 5层 (72)发明人 冯鑫　 (74)专利代理 机构 华进联合专利商标代理有限 公司 44224 专利代理师 董慧 (51)Int.Cl. G06K 9/62(2022.01) G06F 16/483(2019.01) G06F 16/683(2019.01) G06F 40/30(2020.01) (54)发明名称 针对多媒体数据的音乐匹配方法、 装置和计 算机设备 (57)摘要 本申请涉及一种针对多媒体数据的音乐匹 配方法、 装置、 计算机设备、 存储介质和计算机程 序产品。 方法通过先获取待配乐的多媒体数据以 及候选音乐数据； 分别提取每一候选音乐数据中 的音频特征以及歌词特征， 并提取多媒体数据的 多媒体文本特征； 针对每一候选音乐数据， 根据 音频特征 以及歌词特征， 构建音乐融合特征； 将 每一音乐融合特征分别与多媒体文本特征进行 多模态匹配处理， 得到每一候选音乐数据的语义 信息与多媒体数据的语义信息之间的语义匹配 度； 根据每一候选音乐数据各自的语义匹配度， 确定候选音乐数据中与多媒体数据匹配的目标 音乐数据， 本申请可以有效实现精准配乐。 权利要求书2页 说明书15页 附图9页 CN 115169472 A 2022.10.11 CN 115169472 A 1.一种针对多媒体数据的音乐匹配方法， 其特 征在于， 所述方法包括： 获取待配乐的多媒体数据以及候选音乐数据； 分别提取每一所述候选音乐数据中的音频特征以及歌词特征， 并提取所述多媒体数据 的多媒体文本特 征； 针对每一所述候选音乐数据， 根据所述音频特征以及所述歌词特征， 构建音乐融合特 征； 将每一所述音乐融合特征分别与 所述多媒体文本特征进行多模态匹配处理， 得到每一 所述候选音乐数据的语义信息与所述多媒体数据的语义信息之间的语义匹配度； 根据每一所述候选音乐数据 各自的语义匹配度， 确定所述候选音乐数据中与 所述多媒 体数据匹配的目标音乐数据。 2.根据权利要求1所述的方法， 其特 征在于， 所述音乐数据包括音频 数据； 提取所述音乐数据中的音频 特征包括： 通过音频 特征提取模型提取 所述音频 数据中的音频 特征帧序列； 通过卷积神经网络对所述音频特征帧序列按维度进行信 息整合处理， 得到音频整合特 征； 通过双向长短期记忆人工神经网络提取所述音频整合特征对应的音频前向隐藏特征 以及音频后向隐藏特 征； 将所述音频前向隐藏特征以及所述音频后向隐藏特征拼接， 得到音乐数据中的音频特 征。 3.根据权利要求2所述的方法， 其特 征在于， 所述音乐数据包括歌词数据； 提取所述音乐数据中的歌词特 征包括： 通过文本特 征提取模型提取 所述歌词数据中的歌词文本特 征； 通过双向长短期记忆人工神经网络提取所述歌词文本特征对应的文本前向隐藏特征 以及文本后向隐藏特 征； 将所述文本前向隐藏特征以及所述文本后向隐藏特征拼接， 得到音乐数据中的歌词特 征。 4.根据权利要求1所述的方法， 其特征在于， 所述根据所述音频特征以及所述歌词特 征， 构建音乐融合特 征包括以下 方式中的任意 一种： 将所述音频 特征以及所述歌词特 征拼接， 得到音乐融合特 征； 对所述音频特征以及所述歌词特征进行维度转换， 得到同一维度 下的音频特征以及歌 词特征， 对所述同一维度下 的音频特征以及歌词 特征中的对位元素值进行求平均 处理， 得 到音乐融合特 征； 对所述音频特征以及所述歌词特征进行维度转换， 得到同一维度 下的音频特征以及歌 词特征， 对所述同一维度下 的音频特征以及歌词 特征中的对位元素值进行求和处理， 得到 音乐融合特 征。 5.根据权利要求1所述的方法， 其特征在于， 所述提取所述多媒体数据的多媒体文本特 征包括： 提取所述多媒体数据中的语音 音频数据； 对所述语音 音频数据进行语音识别处 理， 得到所述多媒体数据中的视频文本数据；权　利　要　求　书 1/2 页 2 CN 115169472 A 2对所述视频文本数据进行文本特征提取处理， 得到所述视频文本数据中的多媒体文本 特征。 6.根据权利要求1至5任意一项所述的方法， 其特征在于， 所述将每一所述音乐融合特 征分别与所述多媒体文本特征进 行多模态匹配处理， 得到每一所述候选音乐数据的语义信 息与所述多媒体数据的语义信息之间的语义匹配度包括： 针对每一所述音乐融合特征， 通过全连接层将所述音乐融合特征与 所述多媒体文本特 征对所述映射处 理， 得到维度相同的稠密融合特 征以及稠密多媒体文本特 征； 确定每一所述音乐融合特征对应的所述稠密融合特征和所述稠密多媒体文本特征的 初始匹配度； 对所述初始匹配度进行归一化处理， 得到每一个所述候选音乐数据的语义信 息与所述 多媒体数据的语义信息之间的语义匹配度。 7.根据权利要求1至6中任意一项所述的方法， 其特征在于， 所述提取所述多媒体数据 的多媒体文本特 征包括： 当识别到所述多媒体数据为无台词的视频数据时， 基于所述多媒体数据构建视频描述 虚拟文本； 对所述视频描述虚拟文本进行文本特征提取处理， 得到所述视频虚拟文本 中的多媒体 文本特征。 8.一种针对多媒体数据的音乐匹配装置， 其特 征在于， 所述装置包括： 数据获取模块， 用于获取待配乐的多媒体数据以及候选音乐数据； 特征提取模块， 用于分别提取每一所述候选音乐数据中的音频特征以及歌词特征， 并 提取所述多媒体数据的多媒体文本特 征； 特征融合模块， 用于针对每一所述候选音乐数据， 根据所述音频特征以及所述歌词特 征， 构建音乐融合特 征； 多模态匹配模块， 用于将每一所述音乐融合特征分别与 所述多媒体文本特征进行多模 态匹配处理， 得到每一所述候选音乐数据的语义信息与所述多媒体数据的语义信息之 间的 语义匹配度； 目标音乐查找模块， 用于根据每一所述候选音乐数据各自的语义匹配度， 确定所述候 选音乐数据中与所述多媒体数据匹配的目标音乐数据。 9.一种计算机设备， 包括存储器和处理器， 所述存储器存储有计算机程序， 其特征在 于， 所述处 理器执行所述计算机程序时实现权利要求1至7中任一项所述的方法的步骤。 10.一种计算机可读存储介质， 其上存储有计算机程序， 其特征在于， 所述计算机程序 被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。 11.一种计算机程序产品， 包括计算机程序， 其特征在于， 该计算机程序被处理器执行 时实现权利要求1至7中任一项所述的方法的步骤。权　利　要　求　书 2/2 页 3 CN 115169472 A 3