(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210542292.6 (22)申请日 2022.05.18 (71)申请人 北京飞象星球科技有限公司 地址 100102 北京市朝阳区广顺 南大街8号 院1号楼1层101内4层F01单 元内02号 (72)发明人 高强　李旭　刘杨　李强　 (74)专利代理 机构 北京智信禾专利代理有限公 司 11637 专利代理师 李琪 (51)Int.Cl. G10L 25/57(2013.01) G10L 15/26(2006.01) G10L 15/18(2013.01) G10L 15/16(2006.01) G06F 40/30(2020.01) (54)发明名称 音视频剪辑方法及装置 (57)摘要 本说明书提供音视频剪辑方法及装置， 其中 所述音视频剪辑方法包括： 获取待剪辑音视频， 并确定所述待剪辑音视频关联的音频文件； 基于 所述待剪辑音视频关联的目标语义将所述音频 文件转换为至少一个音 频文本， 以及确定每个音 频文本对应的文本时间 区间； 根据所述目标语义 在所述至少一个音频文本中确定目标音频文本， 并确定所述目标音频文本对应的目标文本时间 区间； 按照所述目标文本时间区间对 所述待剪辑 音视频进行剪辑， 获得目标音视频。 权利要求书2页 说明书12页 附图4页 CN 114999530 A 2022.09.02 CN 114999530 A 1.一种音视频剪辑方法， 其特 征在于， 包括： 获取待剪辑音视频， 并确定所述待剪辑音视频关联的音频文件； 基于所述待剪辑音视频关联的目标语义将所述音频文件转换为至少一个音频文本， 以 及确定每 个音频文本对应的文本时间区间； 根据所述目标语义在所述至少一个音频文本 中确定目标音频文本， 并确定所述目标音 频文本对应的目标文本时间区间； 按照所述目标文本时间区间对所述待剪辑音视频进行剪辑， 获得目标音视频。 2.如权利要求1所述的方法， 其特征在于， 基于所述待剪辑音视频关联的目标语义将所 述音频文件转换为至少一个音频文本， 包括： 将所述音频文件输入至语音转换模型； 通过所述语音转换模型中的特 征提取单元对所述音频文件进行处 理， 获得音频 特征； 通过所述语音转换模型中的音频特征处理单元对所述音频特征进行处理， 获得待解码 音频特征； 通过所述语音转换模型中的解码单元， 在预设的语义词语列表中确定关联所述音频文 件的目标语义词； 通过所述解码单元按照所述目标语义词对应的所述目标语义， 对所述待解码音频特征 进行解码处 理， 获得至少一个音频文本并输出 所述语音转换模型。 3.如权利要求2所述的方法， 其特征在于， 通过所述解码单元按照所述目标语义词对应 的所述目标语义， 对所述待解码音频特征进行解码处理， 获得至少一个音频文本并输出所 述语音转换模型， 包括： 通过所述解码单元按照所述目标语义词对应的所述目标语义， 对所述待解码音频特征 进行处理， 获得至少一个初始音频文本， 其中， 每 个初始音频文本携带有 文本权重； 对所述至少一个初始音频文本 中， 与所述目标语义词关联的初始音频文本的文本权重 进行调整， 获得至少一个携带有目标文本 权重的音频文本 。 4.如权利要求2所述的方法， 其特征在于， 通过所述解码单元按照所述目标语义词对应 的所述目标语义， 对所述待解码音频特征进行解码处理， 获得至少一个音频文本并输出所 述语音转换模型， 包括： 通过所述解码单元按照所述目标语义词对应的所述目标语义， 对所述待解码音频特征 进行解码处 理， 获得多个解码向量； 通过所述语音转换模型的输出单元对每个解码向量进行转换， 获得每个解码向量对应 的词单元； 通过所述输出单元对每个解码向量对应的词单元与所述音频文件进行对齐， 获得携带 有时间信息的所述至少一个音频文本并输出 所述语音转换模型； 相应的， 确定每 个音频文本对应的文本时间区间， 包括： 根据所述至少一个音频文本中携带的时间信 息， 确定每个音频文本对应的文本时间区 间。 5.如权利要求3所述的方法， 其特征在于， 通过所述解码单元按照所述目标语义词对应 的所述目标语义， 对所述待解码音频 特征进行处 理， 获得至少一个初始音频文本， 包括： 通过所述解码单元按照所述目标语义词对应的所述目标语义， 对所述待解码音频特征权　利　要　求　书 1/2 页 2 CN 114999530 A 2进行处理， 获得至少一个文本片段； 将每个文本片段拼接为文本片段序列， 并识别所述文本片段序列对应的分段 元素； 根据所述分段 元素对所述文本片段序列进行分段， 获得至少一个初始音频文本 。 6.如权利要求1所述的方法， 其特征在于， 根据所述目标语义在所述至少一个音频文本 中确定目标音频文本， 包括： 将每个音频文本输入至语义分析模型进行处理， 获得每个音频文本包含目标语义的概 率值； 将每个音频文本对应的概率值与 预设概率阈值进行比较， 根据比较结果在至少一个音 频文本中筛 选目标音频文本 。 7.如权利要求6所述的方法， 其特征在于， 将每个音频文本输入至语义分析模型进行处 理之前， 还 包括： 获取包含目标语义的样本数据集； 基于所述样本数据集中的样本数据对所述语义分析模型进行训练。 8.如权利要求1所述的方法， 其特征在于， 按照所述目标文本时间区间对所述待剪辑音 视频进行剪辑， 获得目标音视频， 包括： 基于所述目标文本时间区间在所述待剪辑视频中确定待处 理音视频片段； 删除所述待剪辑音视频中的所述待处 理音视频片段， 获得目标音视频。 9.如权利要求5所述的方法， 其特征在于， 识别所述音频文本片段序列对应的分段元 素， 包括： 将所述音频文本片段序列输入至元 素恢复模型； 获取所述元素恢复模型输出的分段元素以及每个分段元素在所述音频文本片段序列 中的位置信息 。 10.一种音视频剪辑装置， 其特 征在于， 包括： 获取模块， 被 配置为获取待剪辑音视频， 并确定所述待剪辑音视频关联的音频文件； 转换模块， 被配置为基于所述待剪辑音视频关联的目标语义将所述音频文件转换为至 少一个音频文本， 以及确定每 个音频文本对应的文本时间区间； 确定模块， 被配置为根据所述目标语义在所述至少一个音频文本中确定目标音频文 本， 并确定所述目标音频文本对应的目标文本时间区间； 剪辑模块， 被配置为按照所述目标文本时间区间对所述待剪辑音视频进行剪辑， 获得 目标音视频。 11.一种计算设备， 其特征在于， 包括存储器和处理器； 所述存储器用于存储计算机可 执行指令， 所述处理器用于执行所述计算机可执行指令， 以实现权利要求1至9任意一项所 述音视频剪辑方法的步骤。 12.一种计算机可读存储介质， 其存储有计算机指令， 其特征在于， 该指令被处理器执 行时实现权利要求1至9任意 一项所述音视频剪辑方法的步骤。权　利　要　求　书 2/2 页 3 CN 114999530 A 3