(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211395643.1 (22)申请日 2022.11.09 (71)申请人 佛山市天地行 科技有限公司 地址 528000 广东省佛山市禅城区华宝南 路13号 （佛山国家火炬创新创业园） D 座7楼1-7室 (72)发明人 徐俊　 (74)专利代理 机构 芜湖宸泽知识产权代理事务 所(普通合伙) 34208 专利代理师 李俊建 (51)Int.Cl. G10L 15/22(2006.01) G10L 15/06(2013.01) G10L 15/16(2006.01) G10L 15/34(2013.01)G10L 17/02(2013.01) B60W 50/08(2020.01) B60R 16/037(2006.01) G06F 16/33(2019.01) G06F 16/35(2019.01) G06F 16/36(2019.01) G06F 40/30(2020.01) (54)发明名称 一种基于云计算的车载智能语音交互方法 及系统 (57)摘要 本发明公开了一种基于云计算的车载智能 语音交互方法及系统， 包括： 获取车载环境中驾 驶用户在驾驶过程中的注意力信息， 结合车载环 境信息分析驾驶用户的状态信息生成当前车辆 行驶过程中的驾驶情景； 通过语音信息获取目标 用户的位置及身份信息， 初始化指令分级图； 基 于机器学习对语音信息进行语义识别， 在指令分 级图中进行查找生成交互指令， 根据所述驾驶情 景生成综合约束， 通过所述 综合约束对 所述交互 指令进行修正； 获取目标用户对交互指令的反馈 信息分析目标用户的交互指令习惯信息， 对交互 指令的修正进行补偿。 本发明基于驾驶情景智能 化分析交互指令， 在保证识别效率的前提下更好 的满足汽车用户语音交互的行为特性， 提升车内 交互体验。 权利要求书4页 说明书10页 附图4页 CN 115440221 A 2022.12.06 CN 115440221 A 1.一种基于云计算的车 载智能语音交 互方法， 其特 征在于， 包括以下步骤： 获取车载环境中驾驶用户在驾驶过程中的注意力信 息， 根据注意力信 息结合车载环境 信息分析驾驶用户的状态信息， 并生成当前 车辆行驶过程中的驾驶情景； 获取车载环境中的交互语音信息， 通过交互语音信息获取目标用户的位置及身份信 息， 判断所述目标用户是否为驾驶用户， 通过判断结果匹配目标用户对应的交互指令集， 并 初始化指令分级图； 云端基于机器学习对交互语音信 息进行语义识别， 在指令分级图中进行查找生成交互 指令， 根据所述驾驶情景生成 综合约束， 通过 所述综合约束对所述交 互指令进行修 正； 获取目标用户对交互指令的反馈信 息， 通过目标用户的声纹信 息与反馈信 息匹配分析 目标用户的指令习惯信息， 基于指令习惯信息对交 互指令的修 正进行补偿。 2.根据权利要求1所述的一种基于云计算的车载智能语音交互方法， 其特征在于， 根据 注意力信息结合车载环境信息 分析驾驶用户的状态信息， 并生成当前车辆行驶过程中的驾 驶情景， 具体为： 通过车内摄像头获取驾驶用户的面部帧图像数据， 将所述帧图像数据进行预处理， 并 提取面部帧图像数据的关键帧； 根据面部帧图像数据的关键帧提取驾驶用户的人脸特征点， 根据 所述人脸特征点获取 人脸朝向信息、 人眼 闭合程度及视线方向； 通过获取的人脸朝向信息、 人眼闭合程度及视线方向与预设阈值进行对比分析， 读取 驾驶用户的注意力信息， 根据当前行驶路段 的路况信息设置权值信息， 利用权值信息调整 注意力阈值； 根据当前时刻的注意力阈值对驾驶用户的注意力信 息进行评价， 获取车载环境信 息与 注意力评价结果进行匹配分析驾驶用户的状态信息； 当驾驶用户的状态信息为疲劳状态时， 则生成语音信息对驾驶用户进行提醒， 并根据 车载环境信息进 行决策生成改变车载环境建议， 获取驾驶用户的语音反馈进 行相应指 令执 行； 另外， 通过驾驶用户的状态信息、 车载环境信息及车辆行驶信息生成当前车辆行驶过 程中的驾驶情景。 3.根据权利要求1所述的一种基于云计算的车载智能语音交互方法， 其特征在于， 获取 车载环境中的交 互语音信息， 通过交 互语音信息获取目标用户的位置及身份信息， 具体为： 根据车载环境中的语音接收模块获取车载环境中的交互语音信 息， 进行交互语音信 息 的滤波去噪， 将车 载环境划分为预设数量的子区域； 获取各个子区域中接受到的交互语音信 息的声音能量信 息及到达时间差， 根据声音能 量信息及到 达时间差判断交 互语音信息的来源子区域； 确定交互语音信 息的位置后进行声纹识别， 根据声纹识别结果在 云端通过大数据检索 身份信息， 计算交 互语音信息对应的声纹与云端存 储数据进行相似度计算； 获取所述相似度符合预设相似度标准的数据， 提取对应的身份信 息作为目标用户的身 份信息， 通过所述身份信息读取匹配存储的语音习惯特征， 若云端存储数据均不符合预设 相似度标准， 则创建声纹序列存 入云端； 根据目标用户的位置信 息匹配功能信 息对应的交互指令集， 并通过交互指令集基于身权　利　要　求　书 1/4 页 2 CN 115440221 A 2份信息初始化指令分级图。 4.根据权利要求1所述的一种基于云计算的车载智能语音交互方法， 其特征在于， 云端 基于机器学习对交互语音信息进行语义识别， 在指令分级图中进行查找生成交互指令， 根 据所述驾驶情景生成 综合约束， 通过 所述综合约束对所述交 互指令进行修 正， 具体为： 对交互语音信息进行预处理， 通过Word2vec模型将预处理后的交互语音信息进行提取 词向量， 根据所述词向量进行加权平均构建句向量表达， 根据所述词向量及句向量表达作 为语义特 征； 基于双向长短期记忆神经网络模型建立关键信 息提取模型， 将语义特征输入到关键信 息提取模型， 并结合注意力机制结合上下文配置差异化权重， 获取交互语音信息中的关键 信息； 利用关键信息进行分类， 标注类别标签， 在初始化的指令分级图进行检索获取关键信 息的对应指令， 对目标用户的意图进行 管理； 当指令分级图中的检索路径对应指令不唯一时， 则根据检索内容设置反问语音信息， 根据目标用户的反馈对意图进行 更新， 通过 更新后意图匹配对应交 互指令； 基于当前驾驶情景设置综合约束， 判断匹配的交互指令是否符合综合约束的范围， 若 不符合， 则对交 互指令进行修 正后， 通过语音询问目标用户的反馈信息 。 5.根据权利要求1所述的一种基于云计算的车载智能语音交互方法， 其特征在于， 还包 括： 在语音交 互时监测驾驶用户的注意力 信息， 具体为： 当接收到交互指令后， 获取驾驶用户当前时间戳的状态信息， 基于当前时间戳的状态 信息创建临时注意力监测任务； 获取当前时间戳的驾驶情景内驾驶用户的视线落点频率获取注视热点 区域， 通过驾驶 用户的视线方向获取注意力监测任务中各时间戳的视线落点， 并标注视线落点的注视时 长； 判断注意力监测任务中各时间戳的视线落点是否落在所述注视热点区域， 若视线落点 不落在注视热点区域的注视时长大于预设阈值， 则根据交互指 令类型判断是否暂停语音交 互， 并生成语音提醒； 在暂停语音交互后， 当检测到驾驶用户视线落点返回注视热点区域后， 恢复语音交互 场景， 根据历史 交互指令实现指令对应操作。 6.根据权利要求1所述的一种基于云计算的车载智能语音交互方法， 其特征在于， 获取 目标用户对交互指 令的反馈信息， 通过目标用户的声纹信息与反馈信息匹配分析目标用户 的指令习惯信息， 基于指令习惯信息对交 互指令的修 正进行补偿， 具体为： 在交互指令执行后， 获取目标用户对交互指令的反馈信息， 通过反馈信息设置各交互 指令的补充数据集， 并将补充数据集设置目标用户的声纹信息标签； 基于各交互指令的补充数据集对指令分级图进行补充修正， 根据修正后的指令分级图 提取图结构， 根据提取的图结构对图卷积神经网络进行训练获取目标用户的指令习惯信 息； 通过指令习惯信 息结合对应车载环境构建目标用户的个性化数据库， 根据就个性化数 据进行学习， 对交互指令的修正精度进行补偿， 使得交互指令一次性达到目标用户的预期 效果；权　利　要　求　书 2/4 页 3 CN 115440221 A 3