(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210975038.5 (22)申请日 2022.08.15 (71)申请人 浙江机电职业 技术学院 地址 310053 浙江省杭州市滨江区滨 文路 528号 (72)发明人 查娟　 (74)专利代理 机构 杭州君锐知产专利代理事务 所(普通合伙) 33443 专利代理师 应孔月 (51)Int.Cl. G06F 3/04883(2022.01) G06F 9/451(2018.01) G06V 40/20(2022.01) G06V 10/22(2022.01) (54)发明名称 基于手掌触控的远程交互输入 方法及装置、 电子设备 (57)摘要 本发明公开了一种基于手掌触控的远程交 互输入方法及装置、 电子设备， 包括： 获取深度相 机采集的整个手 掌的第一深度图像； 从第一深度 图像中提取手 掌区域， 将手掌区域和被控制设备 屏幕分别拟合为八个区域， 计算手 掌区域和被控 制设备屏幕的八个区域坐标的映射关系； 获取深 度相机采集的包含另一只操作手的第二深度图 像； 从第二深度图像中提取一个或多个操作手指 在第二深度图像中的指尖位置； 根据操作手指指 尖深度信息与手掌区域中对应指尖位置的深度 信息， 检测操作手指是否触碰手掌区域； 如果检 测到操作手指触碰手掌区域， 根据指尖位置和映 射关系， 计算每一个触碰的操作手指的指尖位置 对应至预期被控制设备屏幕的具体位置并传输 至预期被控制设备。 权利要求书3页 说明书8页 附图4页 CN 115390739 A 2022.11.25 CN 115390739 A 1.一种基于手掌触控的远程交 互输入方法， 其特 征在于， 包括如下步骤： 获取深度相机采集的整个 手掌的第一深度图像； 从所述第一深度图像中提取手掌区域， 将所述手掌区域和被控制设备屏幕分别拟合为 八个区域， 并计算所述手掌区域和被控制设备屏幕的八个区域 坐标的映射关系； 获取深度相机采集的包 含另一只操作手的第二深度图像； 从所述第二深度图像中提取一个或多个操作手指在所述第二深度图像中的指尖位置； 根据操作手指指尖深度信 息与手掌区域中对应指尖位置的深度信 息， 检测操作手指是 否触碰所述手掌区域； 如果检测到操作手指触碰所述手掌区域， 根据所述指尖位置和映射关系， 计算每一个 触碰的操作手指的指尖位置对应至预期被控制设备屏幕的具体位置； 将所述具体位置传输至预期被控制设备， 从而实现通过触摸手掌对远程设备屏幕的操 作。 2.根据权利要求1所述的方法， 其特征在于， 将手掌区域和被控制设备屏幕分别拟合为 八个区域， 并计算所述手掌区域和被控制设备屏幕的八个区域 坐标的映射关系， 包括： 在深度相机采集到的第一深度图像中， 通过深度分割和图像分析技 术提取手掌区域； 将所述手掌区域拟合为八边形， 拟合规则为： 食指和中指根部拟合为第 一个边； 无名指 和小指根部拟合为第二个边； 小拇指根部至手腕处的手掌边缘拟合为两个边， 分别为第三 个边和第四个边； 手腕处拟合为第 五个边； 大拇指根部至手腕处的手掌边缘拟合为第六个 边； 大拇指根部区域拟合 为第七个边； 虎口处拟合 为第八个边； 将八个边的两端分别与掌心坐标分别连接， 形成八个三角形； 将预期被控制设备屏幕对应拟合为八个三角形区域， 并与所述八个三角形构 成一一映 射， 形成八组相互对应的三角形， 并基于仿射不变性计算每组三角形之间的坐标转换关系， 即为映射关系。 3.根据权利要求2所述的方法， 其特征在于， 将预期被控制设备屏幕对应拟合为八个三 角形区域， 并与所述八个三角形构成一 一映射， 包括： 在设备屏幕中基于中心坐标点为原点， 画垂直的十字坐标线， 将设备屏幕分为四个象 限， 每个象限中将屏幕最远点和中心坐标点连线， 从而将每个象限分为两个八个三角形区 域， 共计八个三角形区域； 将第一象限的第一个区域对应第一个边所在的三角形； 将第一象限的第二个区域对应第二个边所在的三角形； 将第二象限的第一个区域对应第三个边所在的三角形； 将第二象限的第二个区域对应第四个边所在的三角形； 将第三象限的第一个区域对应第五个边所在的三角形； 将第三象限的第二个区域对应第六个边所在的三角形； 将第四象限的第一个区域对应第七个边所在的三角形； 将第四象限的第二个区域对应第八个边所在的三角形。 4.根据权利要求1所述的方法， 其特征在于， 检测操作手指是否触碰所述手掌区域， 包 括： 计算操作手指指尖深度信 息与手掌区域中对应指尖位置的深度信 息， 两者之差小于一权　利　要　求　书 1/3 页 2 CN 115390739 A 2定阈值即认为触碰 。 5.根据权利要求1所述的方法， 其特征在于， 如果检测到操作手指触碰所述手掌区域， 根据所述指尖位置和映射关系， 计算每一个触碰的操作手指的指尖位置对应至预期 被控制 设备屏幕的具体位置， 具体包括如下子步骤： 如果检测到操作手指触碰所述手掌区域， 通过所述指尖位置得到操作手指所处 的三角 形及其在该三角形坐标系中的具体位置； 根据所述映射关系， 将操作手指在该三角形坐标系中的具体位置转换成设备屏幕中相 应的三角形坐标位置， 并转换至被控制设备屏幕的具体位置 。 6.根据权利要求1所述的方法， 其特 征在于， 还 包括： 重复执行从所述深度图像中提取手掌区域到将所述具体位置传输至预期被控制设备 的步骤， 实现多个 手指操控状态实时检测与位置 输出。 7.一种基于手掌触控的远程交 互输入装置， 其特 征在于， 包括： 第一获取模块， 用于获取深度相机采集的整个 手掌的第一深度图像； 提取计算模块， 用于从所述第一深度图像中提取手掌区域， 将所述手掌区域和被控制 设备屏幕分别拟合为八个区域， 并计算所述手掌区域和被控制设备屏幕的八个区域坐标的 映射关系； 第二获取模块， 用于获取深度相机采集的包 含另一只操作手的第二深度图像； 提取模块， 用于从所述第 二深度图像中提取一个或多个操作手指在所述第 二深度图像 中的指尖位置； 检测模块， 用于根据操作手指指尖深度信息与手掌区域中对应指尖位置的深度信息， 检测操作手指是否触碰所述手掌区域； 计算模块， 用于如果检测到操作手指触碰所述手掌区域， 根据所述指尖位置和映射关 系， 计算每一个 触碰的操作手指的指尖位置对应至预期被控制设备屏幕的具体位置； 传输模块， 用于将所述具体位置传输至预期被控制设备， 从而实现通过触摸手掌对远 程设备屏幕的操作。 8.根据权利要求1所述的装置， 其特征在于， 将手掌区域和被控制设备屏幕分别拟合为 八个区域， 并计算所述手掌区域和被控制设备屏幕的八个区域 坐标的映射关系， 包括： 在深度相机采集到的第一深度图像中， 通过深度分割和图像分析技 术提取手掌区域； 将所述手掌区域拟合为八边形， 拟合规则为： 食指和中指根部拟合为第 一个边； 无名指 和小指根部拟合为第二个边； 小拇指根部至手腕处的手掌边缘拟合为两个边， 分别为第三 个边和第四个边； 手腕处拟合为第 五个边； 大拇指根部至手腕处的手掌边缘拟合为第六个 边； 大拇指根部区域拟合 为第七个边； 虎口处拟合 为第八个边； 将八个边的两端分别与掌心坐标分别连接， 形成八个三角形； 将预期被控制设备屏幕对应拟合为八个三角形区域， 并与所述八个三角形构 成一一映 射， 形成八组相互对应的三角形， 并基于仿射不变性计算每组三角形之间的坐标转换关系， 即为映射关系。 9.一种电子设备， 其特 征在于， 包括： 一个或多个处 理器； 存储器， 用于存 储一个或多个程序；权　利　要　求　书 2/3 页 3 CN 115390739 A 3