(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210476238.6 (22)申请日 2022.04.29 (71)申请人 深圳市商汤科技有限公司 地址 518000 广东省深圳市前海深港合作 区前湾一路1号A栋201室 (72)发明人 吴华栋　张展鹏　高鸣岐　成慧　 (74)专利代理 机构 北京派特恩知识产权代理有 限公司 1 1270 专利代理师 刘晖铭　徐川 (51)Int.Cl. G06V 10/764(2022.01) G06V 10/774(2022.01) G06V 10/82(2022.01) G06N 3/08(2006.01) G06T 7/70(2017.01)G06V 20/10(2022.01) B25J 9/16(2006.01) (54)发明名称 图像处理方法、 装置、 电子设备、 对 弈机器人 及存储介质 (57)摘要 本实施例公开了一种图像处理方法、 装置、 电子设备、 对弈机器人和计算机存储介质， 该方 法包括： 获取第一图像， 所述第一图像表示国际 象棋的棋盘和各棋子的 图像； 利用神经网络对所 述第一图像进行处理， 确定所述第一图像中每个 棋子的属性数据， 所述属性数据包括检测框和棋 子类别； 所述神经网络是根据样 本图像集和标注 信息训练得到的； 所述样本图像集中的每个图像 表示所述 棋盘和各棋子的样本图像； 所述标注信 息包括所述样本图像中每个棋子的标注的属性 数据； 根据所述第一图像中每个棋子的属性数 据， 生成决策信息， 所述决策信息用于指示所述 棋盘中的待移动棋子以及所述第一图像中所述 待移动棋子的目的位置 。 权利要求书3页 说明书18页 附图6页 CN 114821177 A 2022.07.29 CN 114821177 A 1.一种图像处 理方法， 其特 征在于， 所述方法包括： 获取第一图像， 所述第一图像表示国际象棋的棋盘和各棋子的图像； 利用神经网络对所述第一图像进行处理， 确定所述第一图像中每个棋子的属性数据， 所述属性数据包括检测框和棋子类别； 所述神经网络是根据样本图像集和标注信息训练得 到的； 所述样本图像集中的每个图像表示所述棋盘和各棋子的样本图像； 所述标注信息包 括所述样本图像中每 个棋子的标注的属性数据； 根据所述第一图像中每个棋子的属性数据， 生成决策信息， 所述决策信息用于指示所 述棋盘中的待移动棋子以及所述第一图像中所述待移动棋子的目的位置 。 2.根据权利要求1所述的方法， 其特 征在于， 所述方法还 包括： 在所述第一图像是图像采集设备采集的图像的情况下， 确定所述图像采集设备的相机 坐标系与机 械臂的基座 坐标系的第一变换关系； 在生成所述决策信息后， 所述方法还 包括： 根据所述待移动棋子的检测框在所述第一图像中的位置、 以及所述第一变换关系， 确 定所述基座 坐标系中所述待移动棋子的起 点位置； 根据所述目的位置、 以及所述第一变换关系， 确定所述基座坐标系中所述待移动棋子 的终点位置； 控制所述机械臂在所述起点位置抓取所述待移动棋子， 并在所述终点位置放置所述待 移动棋子 。 3.根据权利要求2所述的方法， 其特征在于， 所述确定所述图像采集设备的相机坐标系 与机械臂的基座 坐标系的第一变换关系， 包括： 响应于所述第 一图像为所述图像采集设备拍摄的俯视图像， 根据 所述图像采集设备与 所述机械臂的基座的相对位置， 确定所述第一变换关系。 4.根据权利要求1所述的方法， 其特 征在于， 所述方法还 包括： 在所述第一图像是双目相机采集的图像的情况下， 获取所述第 一图像中各摆棋位置的 深度信息； 在生成所述决策信息后， 所述方法还 包括： 根据所述待移动棋子的检测框在所述第 一图像中的位置、 以及所述待移动棋子所处在 的摆棋位置的深度信息， 确定三维空间坐标系中所述待移动棋子的起 点位置； 根据所述目的位置、 以及所述目的位置所处在的摆棋位置的深度信息， 确定所述三维 空间坐标系中所述待移动棋子的终点 位置； 控制所述机械臂在所述起点位置抓取所述待移动棋子， 并在所述终点位置放置所述待 移动棋子 。 5.根据权利要求1至4任一项所述的方法， 其特征在于， 所述根据所述第一图像中每个 棋子的属性数据， 生成决策信息， 包括： 根据所述每个棋子的检测框在所述第一图像中的位置、 以及所述每个棋子的棋子类 别， 确定所述第一图像中的棋子分布信息； 根据所述棋子分布信 息和所述国际象棋的对弈规则， 确定所述待移动棋子和所述待移 动棋子的行棋策略； 根据所述待移动棋子和所述待移动棋子的行棋策略， 生成所述决策信息 。权　利　要　求　书 1/3 页 2 CN 114821177 A 26.根据权利要求1至5任一项所述的方法， 其特征在于， 在获取所述第 一图像后， 所述方 法还包括： 通过对所述第一图像进行角点检测， 确定所述第一图像中的棋盘图像； 所述利用神经网络对所述第 一图像进行处理， 确定所述第 一图像中每个棋子的属性数 据， 包括： 利用神经网络对所述棋盘图像进行处 理， 确定所述棋盘图像中每 个棋子的属性数据。 7.根据权利要求1至6任一项所述的方法， 其特征在于， 所述神经网络是采用以下步骤 训练得到的： 将所述样本图像集中的每个样本图像输入至所述神经网络， 利用所述神经网络对所述 每个样本图像进行处 理， 得到所述每 个样本图像中每 个棋子的属性数据； 根据所述每个样本 图像中每个棋子的属性数据、 以及所述标注信息， 调整所述神经网 络的网络参数值。 8.根据权利要求1至7任一项所述的方法， 其特征在于， 在对所述神经网络进行训练之 前， 所述方法还 包括： 利用图像采集设备采集至少两种数据采集状态下的所述棋盘的图像， 得到初始图像 集； 所述数据采集状态是根据以下至少一项确定的： 光照强度、 棋盘的位置、 棋子的位姿、 图 像采集设备拍摄所述棋盘的拍摄位姿； 对所述初始图像集进行预处理， 得到所述样本图像集， 或者， 将所述初始图像集确定为 所述样本图像集。 9.根据权利要求8所述的方法， 其特征在于， 所述对所述初始图像集进行预处理， 得到 所述样本图像集， 包括以下任意 一项： 在所述初始图像集中将不符合图像质量要求的图像删除， 得到所述样本图像集； 基于所述初始图像集中图像的属性， 对所述初始图像集进行数据增强， 得到所述样本 图像集； 在所述初始图像集中将不符合图像质量要求的图像删除， 得到数据筛选后的图像集； 基于所述数据筛选后的图像集中图像的属 性， 对所述数据筛选后的图像集进行数据增强， 得到所述样本图像集。 10.一种图像处 理装置， 其特 征在于， 所述装置包括： 获取模块， 用于获取第一图像， 所述第一图像表示国际象棋的棋盘和各棋子的图像； 第一处理模块， 用于利用神经网络对所述第一图像进行处理， 确定所述第一图像中每 个棋子的属 性数据， 所述属 性数据包括检测框和棋子类别； 所述神经网络是根据样本图像 集和标注信息训练得到的； 所述样本图像集中的每个图像表示所述棋盘和各棋子的样本图 像； 所述标注信息包括所述样本图像中每 个棋子的标注的属性数据； 第二处理模块， 用于根据 所述第一图像中每个棋子的属性数据， 生成决策信息， 所述决 策信息用于指示所述棋盘中的待移动棋子以及所述第一图像中所述待移动棋子的目的位 置。 11.一种电子设备， 其特征在于， 包括图像采集设备、 处理器和用于存储能够在处理器 上运行的计算机程序的存储器； 其中， 所述处理器用于运行所述计算机程序以执行权利要 求1至9任一项所述的图像处 理方法。 12.一种对弈机器人， 其特征在于， 包括用于抓取待移动棋子的机械臂， 还包括权利要权　利　要　求　书 2/3 页 3 CN 114821177 A 3