(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211299656.9 (22)申请日 2022.10.24 (71)申请人 广西柳工 机械股份有限公司 地址 545007 广西壮 族自治区柳州市柳太 路1号 (72)发明人 蔡登胜　李佳恒　陶佳伟　周文彬　 (74)专利代理 机构 广州三环 专利商标代理有限 公司 44202 专利代理师 李群华 (51)Int.Cl. G06V 20/58(2022.01) G06V 10/52(2022.01) G06V 10/764(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 车厢姿态识别系统、 方法、 电子设备及存储 介质 (57)摘要 本发明公开了一种车厢姿态识别系统、 方 法、 电子设备及存储介质。 该系统包括处理器、 双 目相机、 第一车辆、 第二车辆和标识件； 第一车辆 包括车厢； 第二车辆用于向第一车辆的车厢卸物 料； 标识件设于车厢的侧面； 标识件上设有多个 参考点； 双 目相机设于第二车辆上， 双目相机用 于采集包含 标识件的图像， 并将图像发送给处理 器； 处理器用于利用图像识别网络模 型对图像进 行识别处理， 得到目标图像； 目标图像为包含多 个参考点的识别结果的 图像； 并利用双目相机立 体几何视觉算法对目标图像中的每个参考点进 行目标空间三维坐标确定； 基于各个参考点的目 标空间三维坐标确定车厢的姿态信息。 该系统具 有结构简单和适用于大规模室外无人作业场景 的特点。 权利要求书2页 说明书13页 附图5页 CN 115497077 A 2022.12.20 CN 115497077 A 1.一种车厢姿态识别系统， 其特征在于， 包括处理器(5)、 双目相机(4)、 第一车辆(1)、 第二车辆(2)和标识件(3)； 所述第一车辆(1)包括车厢(101)； 所述第二车辆(2)用于向所述第一车辆(1)的车厢(101)卸物料； 所述标识件(3)设于所述车厢(101)的侧面； 所述标识件(3)上设有 多个参考点； 所述双目相机(4)设于所述第二车辆(2)上， 所述双目相机(4)用于采集包含所述标识 件(3)的图像， 并将所述图像发送给 所述处理器(5)； 所述处理器(5)与所述双目相机(4)通信连接； 所述处理器(5)用于利用图像识别网络 模型对所述图像进行识别处理， 得到目标图像； 所述 目标图像为包含所述多个参考点的识 别结果的图像； 并利用双目相 机(4)立体几何视觉算法对所述目标图像中的多个参考点中 的每个参考点进 行目标空间三维坐标确定； 基于各个参考点的目标 空间三维坐标确定所述 车厢(101)的姿态信息 。 2.根据权利要求1所述的车厢姿态识别系统， 其特征在于， 所述第二车辆(2)包括连接 的卸料装置(201)和主体结构(202)； 所述卸料装置(201)与所述主体结构(202)的第一侧面(2021)连接； 所述双目相机(4)设于所述第一侧面(2021)上。 3.根据权利 要求2所述的车厢姿态识别系统， 其特征在于， 所述第一侧面(2021)包括第 一安装点和第二 安装点； 所述第一 安装点和所述第二 安装点位于所述第一侧面(2021)的顶部； 所述第一 安装点与所述第二 安装点之间存在第一预设距离； 所述双目相机(4)包括第一双目相机(401)和第二双目相机(402)； 所述第一双目相机(401)设于所述第一 安装点； 所述第二双目相机(402)设于所述第二 安装点。 4.根据权利要求2所述的车厢姿态识别系统， 其特征在于， 所述标识件(3)包括至少两 个子标识件(3 01)； 所述至少两个子标识件(301)分别位于所述车厢(101)的第二侧面的第一位置点和第 二位置点； 所述第二侧面 为朝向所述第一侧面(2021)的面； 所述第一位置点与 所述第二位置点之间存在第 二预设距离； 所述第 二预设距离大于所 述第二侧 面沿第一预设方向的长度的一半； 所述第一预设方向与所述第二预设方向垂直； 所述第二预设方向为所述第一车辆(1)的高度方向的延长线方向。 5.根据权利要求1所述的车厢姿态识别系统， 其特征在于， 所述处理器(5)包括图像识 别模块和位置确定模块； 所述图像识别模块用于利用图像识别网络模型对所述图像进行识别处理， 得到目标图 像； 所述目标图像为包含所述多个参考点的识别结果的图像， 并将所述 目标图像发送给位 置确定模块； 所述位置确定模块用于利用双目相机(4)立体几何视觉算法对所述目标图像 中的多个 参考点中的每个参考点进 行目标空间三维坐标确定； 基于各个参考点的目标 空间三维坐标 确定所述车厢(101)的姿态信息 。权　利　要　求　书 1/2 页 2 CN 115497077 A 26.一种利用如权利要求1 ‑5任一项所述的车厢姿态识别系统实现的车厢姿态识别方 法， 其特征在于， 所述方法包括： 利用双目相机(4)采集包 含标识件(3)的图像； 将所述图像输入到 图像识别网络模型， 得到目标图像； 所述目标图像上包含有对所述 多个参考点中每个参考点的识别结果； 针对每个所述参考点， 基于所述目标图像和所述参考点的识别结果确定所述参考点在 像素坐标系下的坐标； 获取所述双目相机(4)的相机参数； 利用双目相机立体几何视觉算法， 基于所述双目相机(4)的相机参数和所述参考点在 像素坐标系下的坐标确定所述 参考点的目标空间三维坐标； 基于各个参 考点的目标空间三维坐标确定所述车厢(101)的目标空间三维坐标； 基于所述车厢(101)的目标空间三维坐标确定所述车厢(101)的姿态信息 。 7.根据权利要求6所述的车厢姿态识别方法， 其特征在于， 所述相机参数包括双目相机 (4)的左右目相机之间的距离、 安装参数以及内参。 8.根据权利要求7所述的车厢姿态识别方法， 其特征在于， 所述基于所述双目相机(4) 的相机参数和所述参考点在像素坐标系下的坐标确定所述参考点的目标 空间三维坐标； 基 于各个参考点的目标三维坐标确定所述车厢(101)的目标空间三维坐标； 基于所述车厢 (101)的目标三维坐标确定所述车厢(101)的姿态信息， 包括： 基于所述双目相机(4)的左右目相机之间的距离、 所述双目相机的内参和所述参考点 在像素坐标系下的坐标确定所述 参考点在相机坐标系下的三维坐标； 基于所述双目相机的安装参数确定第一 坐标转换矩阵； 按照所述第 一坐标转换矩阵， 将所述参考点在相机坐标系下的三维坐标转换为目标车 辆坐标系下的三维坐标； 所述目标 车辆坐标系为所述第二车辆所在的坐标系； 基于各个参考点在所述目标车辆坐标系下的三维坐标确定所述车厢在目标车辆坐标 系下的三维坐标； 基于所述车厢在目标 车辆坐标系下的三维坐标确定所述车厢(101)的姿态信息 。 9.一种电子设备， 所述电子设备包括处理器和存储器， 所述存储器中存储有至少一条 指令、 至少一段程序、 代码集 或指令集， 所述至少一条指 令、 所述至少一段程序、 所述代码集 或指令集由所述处理器加载并执行以实现如权利要求6 ‑8任一项所述的车厢姿态识别方 法。 10.一种计算机存储介质， 其特征在于， 所述计算机存储介质中存储有至少一条指令或 至少一段程序， 所述至少一条指令或至少一段程序由处理器加载并执行以实现如权利要求 6‑8任一项所述的车厢姿态 识别方法。权　利　要　求　书 2/2 页 3 CN 115497077 A 3