(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211148576.3 (22)申请日 2022.09.21 (71)申请人 浙江莲荷科技有限公司 地址 310000 浙江省杭州市西湖区文二西 路820号3幢5 034室 (72)发明人 祝继伟　仇诗凯　刘西洋　倪鼎　 冯昊　冯雪涛　 (74)专利代理 机构 北京太合九思知识产权代理 有限公司 1 1610 专利代理师 刘戈 (51)Int.Cl. G06V 20/64(2022.01) G06V 10/10(2022.01) G06V 10/22(2022.01) G06V 10/74(2022.01)G06V 10/764(2022.01) G06V 10/774(2022.01) G06Q 30/06(2012.01) (54)发明名称 识别方法、 装置、 设备及存 储介质 (57)摘要 本申请实施例提供一种识别方法、 装置、 设 备及存储介质。 该方法包括： 获取采集到的第一 视角下货架的货架图像， 基于货架图像， 确定目 标对象与货架交互的交互信息， 交互信息包括三 维触碰位置， 基于三维触碰位置， 确定待识别商 品位置， 待识别商品位置为第二视角货架平面中 的位置， 第二视角货架平面为第二视角下货架的 空间平面； 基于第二视角货架平 面中商品位置与 SKU之间的对应关系， 确定待识别商品位置处的 商品。 本申请提供的识别方法， 无需货架内置重 量传感器， 从而可 以降低成本， 有利于市场的推 广与应用。 权利要求书3页 说明书12页 附图9页 CN 115249356 A 2022.10.28 CN 115249356 A 1.一种识别方法， 其特 征在于， 包括： 获取采集到的第一视角下货架的货架图像； 基于所述货架图像， 确定目标对象与所述货架交互的交互信息， 所述交互信息包括三 维触碰位置； 基于所述三维触碰位置， 确定待识别商品位置， 所述待识别商品位置为第二视角货架 平面中的位置， 所述第二视角货架 平面为第二视角下 所述货架的空间平面； 基于所述第二视角 货架平面中商品位置与库存量单位SKU之间的对应关系， 确定所述 待识别商品位置处的商品。 2.根据权利要求1所述的方法， 其特征在于， 基于所述货架图像， 确定所述目标对象与 所述货架交 互的三维触碰位置， 包括： 基于所述货架图像， 确定所述目标对象触碰所述货架上的商品时， 所述目标对象的目 标部位的关键点 位置； 将所述关键点位置投影到第 一视角货架平面上的投影位置， 确定为所述目标对象与 所 述货架交互的三 维触碰位置， 所述第一视角货架平面为所述第一视角下所述货架的空间平 面。 3.根据权利要求2所述的方法， 其特征在于， 所述基于所述货架图像， 确定所述目标对 象触碰所述货架上的商品时， 所述目标对象的目标部位的关键点 位置， 包括： 基于所述货架图像， 确定所述目标部位的关键点轨 迹； 基于所述目标部位的关键点轨迹， 确定所述目标部位进入所述货架的第 一时间点以及 所述目标部位离开所述货架的第二时间点； 基于所述第一时间点和所述第二时间点， 确定所述目标对象触碰所述货架上的商品 时， 所述目标对象的目标部位的关键点 位置。 4.根据权利要求3所述的方法， 其特征在于， 所述基于所述第 一时间点和所述第 二时间 点， 确定所述目标对象触碰所述货架上的商品时， 所述目标对象 的目标部位的关键点位置， 包括： 将所述第一时间点与所述第二时间点之间某一时间点对应的一帧货架图像中所述目 标部位的关键点位置， 确定为所述 目标对象触碰所述货架上 的商品时， 所述 目标对象的目 标部位的关键点 位置。 5.根据权利要求3所述的方法， 其特征在于， 所述基于所述目标部位的关键点轨迹， 确 定所述目标部位进入所述货架的第一时间点以及所述目标部位离开所述货架的第二时间 点， 包括： 将多帧货架图像中所述目标部位的关键点向靠近所述货架的方向运动， 且所述目标部 位的关键点是在目标直线的第一侧的第一货架图像对应的时间点， 确定为所述目标部位进 入所述货架的第一时间点， 所述目标直线 是根据用于表示所述货架的多个边中与所述第一 视角相应的目标边得到； 将所述多帧货架图像中所述目标部位的关键点向远离所述货架的方向运动， 且所述目 标部位的关键点是在目标直线的第二侧的第二货架图像对应的时间点， 确定为所述目标部 位离开所述货架的第二时间点， 所述第二侧与所述第一侧相反。 6.根据权利要求1所述的方法， 其特征在于， 所述第 一视角和所述第 二视角为不同的视权　利　要　求　书 1/3 页 2 CN 115249356 A 2角； 所述基于所述 三维触碰位置， 确定待识别商品位置， 包括： 基于所述第 一视角货架平面到所述第 二视角货架平面的转换关系， 将所述三维触碰位 置在所述第二视角货架 平面中的对应位置， 确定为待识别商品位置 。 7.根据权利要求1所述的方法， 其特征在于， 所述基于所述第 二视角货架平面中商品位 置与SKU之间的对应关系， 确定所述待识别商品位置处的商品， 包括： 对于所述待识别商 品位置的邻域内的多个位置 中的每个位置， 根据所述对应关系确定 所述每个位置对应的SKU； 确定每个位置对应SKU的商品图像特征与所述目标对象所触碰商品的商品图像特征之 间的相似度； 基于所述相似度， 确定所述待识别商品位置处的商品。 8.根据权利要求7所述的方法， 其特征在于， 所述基于所述相似度， 确定所述待识别商 品位置处的商品， 包括： 如果所述多个位置对应的相似度中的最高相似度高于相似度阈值， 则将所述最高相似 度对应的SKU， 确定为所述待识别商品位置处的商品的SKU； 如果所述多个位置对应的相似度中的最高相似度低于所述相似度阈值， 则将所述待识 别商品位置对应的SKU， 确定为所述待识别商品位置处的商品的SKU。 9.根据权利要求1所述的方法， 其特 征在于， 所述交 互信息还 包括动作类型。 10.根据权利要求9所述的方法， 其特征在于， 基于所述货架图像， 确定所述目标对象与 所述货架交 互的动作类型， 包括： 确定对应于所述 三维触碰位置的触碰前后的多帧货架图像； 根据所述多帧货架图像， 确定动作识别 信息； 根据所述动作识别 信息， 确定所述目标对象与所述货架交 互的动作类型。 11.根据权利要求10所述的方法， 其特征在于， 所述动作识别信息包括： 所述多帧货架 图像中的每帧货架图像中所述目标对象是否拿有商品的信息， 以及所述每帧货架图像中所 述目标对象的目标部位的关键点到目标直线的距离信息， 所述目标直线 是根据用于表示所 述货架的多个边中与所述第一视角相应的目标边得到； 所述根据所述动作识别信 息， 确定所述目标对象与 所述货架交互 的动作类型， 包括： 将 所述动作识别信息输入动作分类模型进行 处理， 得到所述目标对象与所述货架交互的动作 类型。 12.根据权利要求11所述的方法， 其特征在于， 所述动作分类模型是采用下述方式训练 得到： 构建所述动作分类模型， 所述动作分类模型中设置有训练参数； 将多个样本动作识别 信息分别输入至所述动作分类模型中， 生成预测结果； 基于所述预测结果与 所述样本动作识别信 息的样本标签对应的期望结果之间的差异， 对所述训练参数进行迭代调整， 直至所述差异满足预设要求。 13.根据权利要求1所述的方法， 其特 征在于， 所述第一视角包括俯视 视角。 14.根据权利要求1所述的方法， 其特 征在于， 所述第二视角包括平视 视角。 15.一种识别装置， 其特 征在于， 包括： 获取模块， 用于获取采集到的第一视角下货架的货架图像；权　利　要　求　书 2/3 页 3 CN 115249356 A 3