(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210475305.2 (22)申请日 2022.04.29 (71)申请人 深圳市商汤科技有限公司 地址 518000 广东省深圳市前海深港合作 区前湾一路1号A栋201室 (72)发明人 吴华栋　高鸣岐　张展鹏　成慧　 (74)专利代理 机构 北京派特恩知识产权代理有 限公司 1 1270 专利代理师 刘晖铭　徐川 (51)Int.Cl. G06T 7/73(2017.01) G06N 3/08(2006.01) G06K 9/62(2022.01) G06V 10/774(2022.01) G06V 10/82(2022.01)G06V 10/764(2022.01) (54)发明名称 图像处理方法、 装置、 电子设备、 对 弈机器人 及存储介质 (57)摘要 本实施例公开了一种图像处理方法、 装置、 电子设备、 对弈机器人和计算机存储介质， 该方 法包括： 获取第一图像， 第一图像表示国际象棋 的棋盘和各棋子的图像； 利用神经网络对第一图 像进行处理， 确定第一图像中每个棋子的属性数 据， 属性数据包括检测框、 棋子类别和棋子的旋 转角度； 神经网络是根据样本图像集和标注信息 训练得到的； 根据每个棋子的检测框在所述第一 图像中的位置、 以及每个棋子的棋子类别， 生成 决策信息， 决策信息用于指示所述棋盘中的待移 动棋子、 以及第一图像中待移动棋子的目的位 置； 根据待移动棋子的旋转角度， 确定待移动棋 子的抓取角度； 控制机械臂以抓取角度抓取所述 待移动棋子， 并将待移动棋子移动至目的位置 。 权利要求书3页 说明书21页 附图7页 CN 114782534 A 2022.07.22 CN 114782534 A 1.一种图像处 理方法， 其特 征在于， 所述方法包括： 获取第一图像， 所述第一图像表示国际象棋的棋盘和各棋子的图像； 利用神经网络对所述第一图像进行处理， 确定所述第一图像中每个棋子的属性数据， 所述属性数据包括检测框、 棋子类别和棋子的旋转角度； 所述神经网络是根据样本图像集 和标注信息训练得到的； 所述样本图像集中的每个图像表示所述棋盘和各棋子的样本图 像； 所述标注信息包括所述样本图像中棋子的标注的属性数据； 根据所述每个棋子的检测框在所述第一图像中的位置、 以及所述每个棋子的棋子类 别， 生成决策信息， 所述决策信息用于指示所述棋盘中的待移动棋子、 以及所述第一图像中 所述待移动棋子的目的位置； 根据所述待移动棋子的旋转角度， 确定所述待移动棋子的抓取角度； 控制机械臂以所述抓取角度抓取所述待移动棋子， 并将所述待移动棋子移动至所述目 的位置。 2.根据权利要求1所述的方法， 其特 征在于， 所述方法还 包括： 在所述第一图像是图像采集设备采集的图像的情况下， 确定所述图像采集设备的相机 坐标系与机 械臂的基座 坐标系的第一变换关系； 所述控制机械臂以所述抓取角度抓取所述待移动棋子， 并将所述待移动棋子移动至所 述目的位置， 包括： 根据所述待移动棋子的检测框在所述第一图像中的位置、 以及所述第一变换关系， 确 定所述基座 坐标系中所述待移动棋子的起 点位置； 根据所述目的位置、 以及所述第一变换关系， 确定所述基座坐标系中所述待移动棋子 的终点位置； 控制所述机械臂在所述起点位置按照所述抓取角度抓取所述待移动棋子， 并在所述终 点位置放置所述待移动棋子 。 3.根据权利要求1所述的方法， 其特 征在于， 所述方法还 包括： 在所述第一图像是双目相机采集的图像的情况下， 获取所述第 一图像中各摆棋位置的 深度信息； 所述控制机械臂以所述抓取角度抓取所述待移动棋子， 并将所述待移动棋子移动至所 述目的位置， 包括： 根据所述待移动棋子的检测框在所述第 一图像中的位置、 以及所述待移动棋子所处在 的摆棋位置的深度信息， 确定三维空间坐标系中所述待移动棋子的起 点位置； 根据所述目的位置、 以及所述目的位置所处在的摆棋位置的深度信息， 确定所述三维 空间坐标系中所述待移动棋子的终点 位置； 控制所述机械臂在所述起点位置按照所述抓取角度抓取所述待移动棋子， 并在所述终 点位置放置所述待移动棋子 。 4.根据权利要求1至 3任一项所述的方法， 其特 征在于， 所述方法还 包括： 在图像采集设备的至少一个拍摄位姿中， 确定每个拍摄位姿对应的第二变换关系， 其 中， 拍摄位姿包括图像采集设备拍摄所述棋盘的拍摄角度和拍摄位置， 所述第二变换关系 表示图像坐标系和棋盘坐标系之间的变换关系； 所述根据 所述每个棋子的检测框在所述第 一图像中的位置、 以及所述每个棋子的棋子权　利　要　求　书 1/3 页 2 CN 114782534 A 2类别， 生成决策信息， 包括： 响应于第一图像是所述图像采集设备处于第 一拍摄位姿采集的图像， 且所述第 一拍摄 位姿为所述至少一个拍摄位姿中的拍摄位姿， 根据所述第一图像中每个棋子的检测框的位 置、 以及所述第一拍摄位姿对应的第二变换关系， 确定所述每个棋子在所述棋盘坐标系中 的位置； 根据所述每个棋子在所述棋盘坐标系中的位置和所述每个棋子的棋子类别， 生成所述 决策信息 。 5.根据权利要求4所述的方法， 其特征在于， 所述根据所述每个棋子在所述棋盘坐标系 中的位置和所述每 个棋子的棋子类别， 生成所述决策信息， 包括： 根据所述每个棋子在所述棋盘坐标系中的位置和所述每个棋子的棋子类别， 确定所述 棋盘中的棋子分布信息； 根据所述棋子分布信 息和所述国际象棋的对弈规则， 确定所述待移动棋子和所述待移 动棋子的行棋策略； 根据所述待移动棋子和所述待移动棋子的行棋策略， 生成所述决策信息 。 6.根据权利要求4或5所述的方法， 其特征在于， 所述确定每个拍摄位姿对应的第二变 换关系， 包括： 针对所述每个拍摄位姿， 通过对所述图像采集设备和所述棋盘进行标定， 确定所述图 像采集设备的成像平面与所述棋盘的平面之间的单应性矩阵； 将所述单应性矩阵确定为所述第二变换关系。 7.根据权利要求1至6任一项所述的方法， 其特征在于， 在获取所述第 一图像后， 所述方 法还包括： 通过对所述第一图像进行角点检测， 确定所述第一图像中的棋盘图像； 所述利用神经网络对所述第 一图像进行处理， 确定所述第 一图像中每个棋子的属性数 据， 包括： 利用神经网络对所述棋盘图像进行处 理， 确定所述棋盘图像中每 个棋子的属性数据。 8.根据权利要求1至7任一项所述的方法， 其特征在于， 所述神经网络是采用以下步骤 训练得到的： 将所述样本图像集中的每个样本图像输入至所述神经网络， 利用所述神经网络对所述 每个样本图像进行处 理， 得到所述每 个样本图像中每 个棋子的属性数据； 根据所述每个样本 图像中每个棋子的属性数据、 以及所述标注信息， 调整所述神经网 络的网络参数值。 9.根据权利要求1至8任一项所述的方法， 其特征在于， 在对所述神经网络进行训练之 前， 所述方法还 包括： 利用图像采集设备采集至少两种数据采集状态下的所述棋盘的图像， 得到初始图像 集； 所述数据采集状态是根据以下至少一项确定的： 光照强度、 棋盘的位姿、 棋子的位姿、 图 像采集设备拍摄所述棋盘的拍摄位姿； 对所述初始图像集进行预处理， 得到所述样本图像集， 或者， 将所述初始图像集确定为 所述样本图像集。 10.根据权利要求9所述的方法， 其特征在于， 所述对所述初始图像集进行预处理， 得到 所述样本图像集， 包括以下任意 一项：权　利　要　求　书 2/3 页 3 CN 114782534 A 3