(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210182137.8 (22)申请日 2022.02.25 (71)申请人 北京京东尚科信息技 术有限公司 地址 100086 北京市海淀区知春路76号8层 (72)发明人 鲍慊　刘武　梅涛　周伯文　 (74)专利代理 机构 中国贸促会专利商标事务所 有限公司 1 1038 专利代理师 安莹 (51)Int.Cl. G06V 40/20(2022.01) G06V 10/40(2022.01) G06V 10/774(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06K 9/62(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) G10L 25/24(2013.01) G10L 25/30(2013.01) (54)发明名称 生成动作序列的方法及 装置、 训练相关模 型 的方法及装置 (57)摘要 本公开涉及生 成动作序列的方法及装置、 训 练生成动作序列的模型的方法及装置、 电子设 备、 计算机 可存储介质， 涉及计算机技术领域。 生 成动作序列的方法包括： 获取参考声音序列； 根 据所述参考声音序列， 利用生成动作序列的模 型， 生成与所述参考声音序列对应的预测动作序 列， 所述生成动作序列的模型包括相关联的第一 子模型和第二子模型， 所述第一子模 型在局部短 时特征的关注度大于其在全局长时特征的关注 度， 所述第二子模型在全局长时特征的关注度大 于其在局部短时特征的关注度。 根据本公开， 可 以提高生成的动作序列的准确性。 权利要求书3页 说明书11页 附图3页 CN 114550302 A 2022.05.27 CN 114550302 A 1.一种生成动作序列的方法， 包括： 获取参考声音序列； 根据所述参考声音序列， 利用生成动作序列的模型， 生成与所述参考声音序列对应的 预测动作序列， 所述生成动作序列的模型包括相关联的第一子模型和第二子模型， 所述第 一子模型在局部短时特征的关注度大于其在全局长时特征的关注度， 所述第二子模型在全 局长时特 征的关注度大于其在局部短时特 征的关注度。 2.一种训练生成动作序列的模型的方法， 包括： 获取参考声音序列及其对应的实际动作序列， 所述实际动作序列为所述参考声音序列 的训练标签； 根据所述参考声音序列， 利用生成动作序列的模型， 生成与所述参考声音序列对应的 预测动作序列， 所述生成动作序列的模型包括相关联的第一子模型和第二子模型， 所述第 一子模型在局部短时特征的关注度大于其在全局长时特征的关注度， 所述第二子模型在全 局长时特 征的关注度大于其在局部短时特 征的关注度； 利用所述预测动作序列和所述实际动作序列， 训练所述 生成动作序列的模型。 3.根据权利要求1或2所述的方法， 其中， 根据 所述参考声音序列， 利用生成动作序列的 模型， 生成与所述 参考声音序列对应的预测动作序列包括： 根据所述参考声音序列， 利用生成动作序列的模型， 生成与所述参考声音序列对应的 初始动作序列； 对所述初始动作序列进行第一调整和第二调整， 得到所述预测动作序列， 所述第一调 整用于调整动作执行体本身， 所述第二调整用于调整 所述动作执行体与其周围环境之 间的 关系。 4.根据权利要求3所述的方法， 其中， 对所述初始动作序列进行第二调整包括： 调整所述动作执行体的一个或多个关键点与其周围环境中的物体之间的相对位置和 相对速度中的至少一种。 5.根据权利要求3所述的方法， 其中， 对所述初始动作序列进行第一调整包括： 调整所述动作执 行体的多个关键点之间的相对旋转速度。 6.根据权利要求5所述的方法， 其中， 对所述初始动作序列进行第一调整还 包括： 调整所述动作执 行体的多个关键点之间的相对位置和相对旋转角度中的至少一种。 7.根据权利要求1或2所述的方法， 其中， 在生成所述预测动作序列的过程中， 所述第一 子模型将与所述参考声音序列相关的特征映射到所述第一子模型的输入空间的局部区域， 所述第二子模型将与所述参考声音序列相关的特征映射到所述第二子模型的输入空间的 全部区域。 8.根据权利要求1或2所述的方法， 其中， 根据 所述参考声音序列， 利用生成动作序列的 模型， 生成与所述 参考声音序列对应的预测动作序列包括： 获取与所述 参考声音序列的部分声 音序列相关的参 考动作序列； 根据所述参考声音序列和所述参考动作序列， 利用所述生成动作序列的模型， 生成所 述预测动作序列。 9.根据权利要求8所述的方法， 其中， 根据所述参考声音序列和所述参考动作序列， 利 用所述生成动作序列的模型， 生成所述预测动作序列包括：权　利　要　求　书 1/3 页 2 CN 114550302 A 2利用所述第 一子模型和所述第 二子模型， 对所述参考声音序列和所述参考动作序列进 行编码， 得到目标语义编码特 征； 根据所述目标语义编码特 征， 生成所述预测动作序列。 10.根据权利要求9所述的方法， 其中， 所述第一子模型和所述第二子模型串联或并联。 11.根据权利要求10所述的方法， 其中， 在所述第 一子模型和所述第 二子模型串联的情 况下， 利用所述第一子模型和所述第二子模型， 对所述参考声音序列和所述参考动作序列 进行编码， 得到目标语义编码特 征包括： 利用所述第一子模型， 对所述参考声音序列和所述参考动作序列进行编码， 得到初始 语义编码特 征； 利用所述第二子模型， 对所述初始语义编码特征进行编码， 得到所述目标语义编码特 征。 12.根据权利要求10所述的方法， 其中， 在所述第 一子模型和所述第 二子模型串联的情 况下， 利用所述第一子模型和所述第二子模型， 对所述参考声音序列和所述参考动作序列 进行编码， 得到目标语义编码特 征包括： 利用所述第二子模型， 对所述参考声音序列和所述参考动作序列进行编码， 得到初始 语义编码特 征； 利用所述第一子模型， 对所述初始语义编码特征进行编码， 得到所述目标语义编码特 征。 13.根据权利要求10所述的方法， 其中， 在所述第 一子模型和所述第 二子模型并联的情 况下， 利用所述第一子模型和所述第二子模型， 对所述参考声音序列和所述参考动作序列 进行编码， 得到目标语义编码特 征包括： 利用所述第一子模型， 对所述参考声音序列和所述参考动作序列进行编码， 得到第一 初始语义编码特 征； 利用所述第二子模型， 对所述参考声音序列和所述参考动作序列进行编码， 得到第二 初始语义编码特 征； 融合所述第 一初始语义编码特征和所述第 二初始语义编码特征， 得到所述目标语义编 码特征。 14.根据权利要求9所述的方法， 其中， 利用所述第 一子模型和所述第 二子模型， 对所述 参考声音序列和所述 参考动作序列进行编码， 得到目标语义编码特 征包括： 根据所述 参考声音序列和所述 参考动作序列， 确定与声 音和动作相关的复合特 征； 利用所述第一子模型和所述第二子模型， 对所述复合特征进行编码， 得到所述目标语 义编码特 征。 15.根据权利要求14所述的方法， 其中， 根据所述参考声音序列和所述参考动作序列， 确定与声 音和动作相关的复合特 征包括： 对所述参考声音序列进行 特征提取， 得到音频 特征； 对所述参考动作序列进行 特征提取， 得到动作特 征； 根据所述音频 特征和所述动作特 征， 确定所述复合特 征。 16.根据权利要求15所述的方法， 其中， 所述音频特征包括梅尔频率倒谱系数特征、 起 始强度特征中的至少一种， 所述动作特征包括与动作执行体的多个关键点相关的多维旋转权　利　要　求　书 2/3 页 3 CN 114550302 A 3