(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211110922.9 (22)申请日 2022.09.13 (71)申请人 中国商用飞机有限责任公司 地址 201210 上海市浦东 新区中国 （上海） 自由贸易试验区张杨路25号 申请人 中国商用飞机有限责任公司上海飞 机设计研究院 (72)发明人 王浩　乔文峰　张涵　姚志超　 谢殿煌　李正强　 (74)专利代理 机构 上海专利商标事务所有限公 司 31100 专利代理师 邵月星 (51)Int.Cl. G06F 3/0481(2022.01) G06F 3/0484(2022.01)G06F 3/04855(2022.01) G06F 3/16(2006.01) G06F 9/451(2018.01) (54)发明名称 用于在驾驶舱中进行人机交互的方法、 装置 和系统 (57)摘要 本公开涉及一种在驾驶舱中进行人机交互 的方法、 装置和系统。 该方法可包括： 获取驾驶员 的头部信息并基于头部信息来确定头部取向向 量； 基于头部取向向量与 驾驶舱中布置的交互界 面的交叉位置来在交互界面上确定视线区域； 确 定视线区域内是否存在至少一个可操作单元； 响 应于确定视线区域内存在至少一个可操作单元 来启动姿态交互； 获取驾驶员的头部运动； 确定 与至少一个可操作单元相对应的至少一个指令 集中与头部运动匹配的交互指令； 以及执行所确 定的交互指令。 根据本公开的方法能够通过驾驶 员的头部姿态进行人机交互， 以使得驾驶员在释 放双手的情况下与交互系统进行人机交互， 显著 提高交互效率并提高安全性。 权利要求书2页 说明书11页 附图8页 CN 115480671 A 2022.12.16 CN 115480671 A 1.一种在驾驶 舱中进行 人机交互的方法， 包括： 获取驾驶员的头 部信息并基于所述头 部信息来确定 头部取向向量； 基于所述头部取向向量与所述驾驶舱中布置的交互界面的交叉位置来在所述交互界 面上确定 视线区域； 确定所述视线区域内是否存在至少一个可操作单 元； 响应于确定所述视线区域内存在所述至少一个可操作单 元来启动姿态交 互； 获取所述驾驶员的头 部运动； 确定与所述至少一个可操作单元相对应的至少一个指令集中与所述头部运动匹配的 交互指令； 以及 执行所确定的交 互指令。 2.如权利要求1所述的方法， 其特征在于， 所述头部信息包括以下一者或多者： 所述头 部的空间位置、 头 部轮廓、 头 部特定部位的空间位置、 眼球或瞳孔的空间位置 。 3.如权利要求1所述的方法， 其特征在于， 基于所述头部信 息来确定所述头部取向向量 包括： 基于所述头 部信息来构建头 部坐标系； 以及 基于所述头 部坐标系来确定所述头 部取向向量。 4.如权利要求1所述的方法， 其特征在于， 基于所述交叉位置来确定所述视线区域进一 步包括： 以所述交叉位置为圆心生成圆形区域， 所述圆形区域的半径基于预设参数； 以及 将所述圆形区域确定为所述视线区域。 5.如权利要求 4所述的方法， 其特 征在于： 所述圆形区域的半径为所述预设参数与增益系数的乘积， 其中所述增益系数是根据包 含所述驾驶 舱的交通工具的运行状态来确定的。 6.如权利要求1所述的方法， 其特征在于， 基于所述交叉位置来确定所述视线区域进一 步包括： 确定所述交叉位置落在可操作单 元内； 以及 将所述交叉位置所在的可操作单 元占据的区域确定为所述视线区域。 7.如权利要求6所述的方法， 其特征在于， 将所述交叉位置所在的可操作单元占据的区 域确定为所述视线区域进一 步包括： 将所述交叉位置所在的可操作单元占据的区域乘以区域增益系数得到的区域确定为 所述视线区域， 其中所述区域增益系数是根据包含所述驾驶舱的交通工具的运行状态来确 定的。 8.如权利要求1所述的方法， 其特征在于， 所述可操作 单元是所述交互界面上的预设有 指令的区块， 其中所述可操作单 元包括窗口、 选项或按 钮。 9.如权利要求1所述的方法， 其特 征在于， 启动姿态交 互进一步包括： 确定所述头 部取向向量是否在阈值时间段内保持不变； 以及 响应于确定所述头 部取向向量在所述阈值时间段内保持不变来启动姿态交 互。 10.如权利要求1所述的方法， 其特征在于， 进一步包括： 在启动姿态交互之际， 在所述 交互界面上显示已启动姿态交 互的反馈或通过语音的方式反馈已启动姿态交 互。权　利　要　求　书 1/2 页 2 CN 115480671 A 211.如权利要求1所述的方法， 其特 征在于： 所述头部运动包括以下一者或多者： 转头、 抬头、 低头、 头部静止、 嘴部运动、 闭眼、 眨 眼、 眼球或瞳孔 转动； 所述交互指令包括以下一者或多者： 页面缩放、 页面切换、 页面滚动、 翻页、 确认、 内容 输入或删除、 执 行预设指令、 和/或告警抑制。 12.如权利要求1所述的方法， 其特 征在于， 执 行所确定的交 互指令进一 步包括： 确定与所述交 互指令所属的指令集相对应的可操作单 元； 以及 针对所述可操作单 元执行所确定的交 互指令。 13.如权利要求1所述的方法， 其特 征在于， 进一 步包括： 经由所述交 互界面的操纵输入接口接收第二交 互指令； 和/或 经由所述交 互界面的语音控制接口接收第三交 互指令。 14.如权利要求13所述的方法， 其特征在于， 在执行所确定的交互指令之前， 进一步包 括： 判断是否还接收到与 所述至少一个可操作 单元相对应的所述第 二交互指令和/或所述 第三交互指令； 以及 在确定存在所述第二交互指令和/或所述第三交互指令的情况下， 执行所确定的交互 指令以及所述第二交 互指令和/或所述第三交 互指令中具有最高优先级的交 互指令。 15.如权利要求13所述的方法， 其特 征在于， 进一 步包括： 判断是否还接收到与 所述至少一个可操作 单元相对应的所述第 二交互指令和/或所述 第三交互指令； 判断所确定的交 互指令是否与所述第二交 互指令和/或所述第三交 互指令冲突； 以及 在所确定的交互指令与所述第二交互指令和/或所述第三交互指令冲突的情况下， 确 定所述交 互指令为 误输入。 16.一种在驾驶 舱中进行 人机交互的系统； 布置在所述驾驶舱中的一个或多个传感器， 所述传感器用于捕捉头部信息和头部运 动； 在所述驾驶 舱中的交 互界面； 以及 处理器， 所述处理器与所述传感器和所述交互界面耦合并被配置成执行如权利要求1 ‑ 15中的任一项所述的方法。权　利　要　求　书 2/2 页 3 CN 115480671 A 3