(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211293690.5 (22)申请日 2022.10.21 (71)申请人 浙江吉利控股集团有限公司 地址 310000 浙江省杭州市滨江区江陵路 1760号 申请人 吉利汽车研究院 （宁波） 有限公司 (72)发明人 杜思军　郭尧　 (74)专利代理 机构 上海光华专利事务所(普通 合伙) 31219 专利代理师 林安安 (51)Int.Cl. G06V 40/16(2022.01) G06V 40/20(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01)G06N 3/08(2006.01) G11B 31/00(2006.01) (54)发明名称 一种汽车座 舱的音乐交 互方法 (57)摘要 本发明属于人车交互技术领域， 具体涉及一 种汽车座舱的音乐交互方法， 包括： 获取图像数 据； 对所述图像数据进行分割， 得到原始帧数据 集； 通过骨架动作识别系列算法依次对所述原始 帧数据集进行识别， 以得到用户的身体和肢体的 行为特征和运动轨迹； 通过面部识别神经网络依 次对所述原始帧数据集进行识别， 以得到用户的 人脸特征； 通过动态手势识别算法依次对所述原 始帧数据集进行识别， 以得到用户的手势特征； 根据所述用户的身体和肢体行为特征和运动轨 迹、 人脸特征以及手势特征输出对应的音乐控制 指令。 本发明通过视觉手段， 识别用户的面部属 性， 如视线方向， 面部表情， 眉毛动作等， 手臂方 位， 手掌动作等， 增强用户同座 舱的互动。 权利要求书2页 说明书9页 附图3页 CN 115497149 A 2022.12.20 CN 115497149 A 1.一种汽车座 舱的音乐交 互方法， 其特 征在于， 包括： 获取图像数据； 对所述图像数据进行分割， 得到原 始帧数据集； 通过骨架动作识别系列算法依次对所述原始帧数据集进行识别， 以得到用户的身体和 肢体的行为特 征和运动轨 迹； 通过面部识别神经网络依次对所述原 始帧数据集进行识别， 以得到用户的人脸特 征； 通过动态手势 识别算法依次对所述原 始帧数据集进行识别， 以得到用户的手势特 征； 根据所述用户的身体和肢体行为特征和运动轨迹、 人脸特征以及手势特征输出对应的 音乐控制指令 。 2.根据权利要求1所述的汽车座舱的音乐交互方法， 其特征在于， 所述通过骨架动作识 别系列算法依次对所述原始帧数据集进行识别， 以得到用户的身体和肢体的行为特征和运 动轨迹的步骤 包括： 通过所述骨架动作识别系列算法中的2D动作识别算法依次对所述原始帧数据集进行 提取， 得到每一帧人像数据的2D动作信息和平面 坐标； 整合所有所述2D动作信息并将其输入到所述骨架动作识别系列算法中的3D动作识别 网络中， 得到所述用户的身体和肢体的行为特 征； 整合所有所述平面坐标， 并根据所述原始帧数据集中的环境数据得到所述用户的身体 和肢体的运动轨 迹。 3.根据权利要求2所述的汽车座舱的音乐交互方法， 其特征在于， 所述通过所述骨架动 作识别系列算法中的2D动作识别算法依次对所述原始帧数据集进 行提取， 得到每一帧人像 数据的2D动作信息和平面 坐标的步骤 包括： 将所述原始帧数据集输入至训练好的HRNet网络中， 得到人像数据的骨骼关键点以及 平面坐标； 通过ST‑GCN神经网络对所述骨骼的关键点关联并识别， 得到对应的2D动作信息 。 4.根据权利要求2所述的汽车座舱的音乐交互方法， 其特征在于， 所述整合所有所述2D 动作信息并将其输入到所述骨架动作识别系列算法中的3D动作 识别网络中， 得到所述用户 的身体和肢体的行为特 征的步骤 包括： 将所述2D动作信息输入至PoseC3D或3D ‑CNN模型中识别， 得到用户的身体和肢体行为 特征。 5.根据权利要求2所述的汽车座舱的音乐交互方法， 其特征在于， 所述整合所有所述平 面坐标， 并根据所述原始帧数据集中的环境数据得到所述用户的身体和肢体的运动轨迹的 步骤包括： 根据所述原 始帧数据集中的环境数据与实时环境信息生成环境3D模型； 通过所述环境3D模型将所述平面 坐标转换成空间坐标； 整合所有所述空间坐标 得到所述用户的身体和肢体的运动轨 迹。 6.根据权利要求1所述的汽车座舱的音乐交互方法， 其特征在于， 所述面部识别神经网 络采用AlexNet卷积神经网络 。 7.根据权利要求1所述的汽车座舱的音乐交互方法， 其特征在于， 所述通过动态手势识 别算法依次对所述原 始帧数据集进行识别， 以得到用户的手势特 征的步骤 包括：权　利　要　求　书 1/2 页 2 CN 115497149 A 2根据用户的肤色 分离干扰信息， 得到用户皮肤 裸露部分的特 征数据； 通过形态学灰度运算抹除所述特 征数据中面部特 征， 得到中间特 征数据； 通过基于标记的分水岭分隔算法和八连通种子填充算法对所述中间特征数据进行分 割， 得到目标 特征数据即手势信息； 将所述目标 特征数据输入至预设好的手势模型中识别， 得到所述用户的手势特 征。 8.一种汽车座 舱的音乐交 互系统， 其特 征在于， 包括： 信息采集模块， 用于获取图像数据； 信息处理模块， 用于对所述图像数据进行分割， 得到原 始帧数据集； 第一信息识别模块， 用于通过骨架动作识别系列算法依次对所述原始帧数据集进行识 别， 以得到用户的身体和肢体的行为特 征和运动轨 迹； 第二信息识别模块， 用于通过面部识别神经网络依次对所述原始帧数据集进行识别， 以得到用户的人脸特 征； 第三信息识别模块， 用于通过动态手势识别算法依次对所述原始帧数据集进行识别， 以得到用户的手势特 征； 信息反馈模块， 用于根据所述用户的身体和肢体行为特征和运动轨迹、 人脸特征以及 手势特征输出对应的音乐控制指令 。 9.一种汽车座舱的音乐交互设备， 其特征在于， 包括处理器， 所述处理器与存储器耦 合， 所述存储器存储有程序指令， 当所述存储器存储的程序指令被所述处理器执行时实现 权利要求1至7中任一项所述的一种汽车座 舱的音乐交 互方法。 10.一种计算机可读存储介质， 其特征在于， 包括程序， 当所述程序在计算机上运行时， 使得计算机执 行如权利要求1至7中任一项所述的汽车座 舱的音乐交 互方法。权　利　要　求　书 2/2 页 3 CN 115497149 A 3