(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210598786.6 (22)申请日 2022.05.30 (71)申请人 浙江孔辉汽车 科技有限公司 地址 313000 浙江省湖州市吴兴区南太湖 高新技术产业园区工业路18号-102 (72)发明人 赵添一郎 　张博宇　董志圣　 李朝健　 (74)专利代理 机构 长春中科长光知识产权代理 事务所(普通 合伙) 22218 专利代理师 高一明 (51)Int.Cl. G06T 5/20(2006.01) G06T 7/246(2017.01) G06T 7/277(2017.01) G06T 7/73(2017.01)G06T 7/90(2017.01) G06V 10/50(2022.01) G06V 20/58(2022.01) G06N 3/08(2006.01) G06V 10/62(2022.01) (54)发明名称 智能AGV车实时跟踪方法及跟踪系统 (57)摘要 本发明提供一种智能AGV车实时跟踪 方法及 跟踪系统， 采用改进的Camshift算法和改进的 CSRT算法作为目标跟踪算法， 在传统Camshift算 法的基础上建立联合直方图， 再引入 滤波预测机 制， 算法运行速度快， 且对目标形变等环境干扰 具有一定的鲁棒性， 改进的CSRT 算法对于模型更 新策略的调整可以避免相似背景的模型漂移问 题， 相关滤波的应用也可以排除光强变化的干 扰， 同时运行两种算法进行跟踪， 利用算法可靠 性评价响应状态， 建立结果选择性更新机制获取 目标位置。 在一定程度上可以有效实现智能AGV 车的实时跟踪需要。 权利要求书4页 说明书10页 附图5页 CN 114972132 A 2022.08.30 CN 114972132 A 1.一种智能AGV车实时跟踪系统， 其特 征在于， 包括： 主摄像头， 用于拍摄获得第一图像； 辅摄像头， 用于拍摄获得第二图像； 测距模块， 用于基于所述第一图像与所述第二图像采用 双目空间测距算法进行测距， 获得跟踪目标与智能AGV车之间的直线距离L； 滤波模块， 用于采用高斯双边滤波算法对所述第一图像进行 滤波处理； 色彩转换模块， 用于采用Camshift算法对所述第一图像中的跟踪目标进行直方图特征 提取， 并对所述 直方图特 征进行HSV色彩转换， 获得 所述跟踪目标的色度、 饱和度和透明度； 三维联合直方图跟踪模板建立模块， 用于基于所述跟踪目标的色度， 饱和度和透明度 建立三维联合 直方图跟踪模板； 三维联合直方图建立模块， 用于采用自适应加权策略调整所述跟踪目标的色度、 饱和 度和透明度的权 重值， 建立自适应的三维联合 直方图； 跟踪目标遇障判断模块， 用于采用巴氏距离判断所述跟踪目标 是否遇到障碍物； 算法融合模块， 用于当所述巴氏距离大于预设阈值 时， 引入卡尔曼滤波算法， 并与所述 Camshift算法进行线性拟合获得观测值与预测值， 作为第一结果； 目标特征跟踪模板建立模块， 用于采用CSRT算法建立目标特征跟踪模板获得观测值与 预测值， 作为第二结果； 其中， 所述CSRT算法每隔m帧更新 一次， m≥5； 判断器， 用于接收所述第 一结果和所述第二结果， 并采用算法可靠性来评价响应状态， 建立结果选择 更新机制， 进行 结果输出； 转角计算模块， 用于根据所述判断器的输出 结果计算所述智能AGV车的转角； 智能AGV车 车速计算模块， 用于根据所述 直线距离L计算所述智能AGV车的车速； 目标跟踪模块， 用于根据所述智能AGV车的转角和车速对所述跟踪目标进行跟踪。 2.如权利要求1所述的智能AGV车实时跟踪系统， 其特 征在于， 所述测距模块包括： 参数确定单 元， 用于确定所述双目空间测距算法中19个待学习的参数； 参数学习单元， 用于采用BP神经网络算法对19个参数进行 学习， 确定19个参数的值。 3.如权利要求1所述的智能AGV车实时跟踪系统， 其特征在于， 所述三维联合直方图建 立模块中的自适应加权策略为： 所述跟踪目标的色度A的权 重值 λA＝1/3； 所述跟踪目标的透明度V的权重值 其中， Va为跟踪目标的透明度V的 平均值， α 为透明度调整参数； 所述跟踪目标的饱和度S的权 重值 λS＝1‑λA‑λV。 4.如权利要求1所述的智能AGV车实时跟踪系统， 其特征在于， 所述跟踪目标遇障判断 模块中的巴氏距离d(H1,H)的计算公式如下： 其中， H1为第i帧观测到的所述第一图像的直方图， H为第i帧建立的三维联合直方图； N 为H1或H的像素值的总数；权　利　要　求　书 1/4 页 2 CN 114972132 A 2所述算法融合模块对所述卡尔曼滤波算法与所述Camshift算法进行线性拟合的公式 如下： x(t)＝β x(t|t ‑1)+(1‑β )Y； x(t)为目标在t时刻的预测位置； x(t|t ‑1)为所述卡尔曼滤波算法的预测位置； Y为所 述Camshift算法的预测位置； β 为比例因子， β 近似等于1 ‑d(H1,H)。 5.如权利要求1所述的智能AGV车实时跟踪系统， 其特征在于， 所述判断器采用的算法 可靠性包括 算法离中可靠性和算法稳定可靠性； 所述算法离中可靠性的权 重计算公式为： 其中， ω1为所述算法离中可靠性的权重， xi和yi为第i帧的第一图像的中心像素的横坐 标与纵坐标， x0和y0为图像中值， x0＝w/2， y0＝h/2， w和h为每一帧图像的宽和高， S 为离心可 靠性阈值， n 为当前帧数， n≥1； 所述算法稳定可靠性的权 重计算公式为： 其中， ω2为所述算法稳定可靠性的权重， xn为当前帧的图框的中心像素坐标的横 坐标， xn‑1为前一帧的图框的中心像素坐标的横坐标， xj为第j帧的图框的中心像素坐标的横坐 标， xj+1为第j+1帧的图框的中心像素坐标的横坐标； 所述第一结果的权重系数W1＝ω11+ω1， 所述第二结果的权重系数W2＝ω21+ω2， ω11为 所述第一结果离中可靠性的权重， ω12为所述第一结果稳定可靠性的权重； ω21为所述第二 结果离中可靠性的权重， ω22为所述第二 结果稳定可靠性的权重， 则所述 结果选择更新机制 如下： 当0<n<13时， 输出所述第二结果， 当n>12时， 比较W1和W2的数值大小， 若W1>W2则输出所述 第一结果的数据， 若W1≤W2则输出所述第二结果； 转角计算模块计算所述智能AGV车的转角的公式为： θ ＝(x‑x0)*θ0/w； 其中， x为当前检测结果的中心横坐标， θ 为所述智能AGV车的转角， θ0为主摄像头的最大 视角范围。 6.一种利用权利要求1～5中任一项所述的智能AGV车实时跟踪系 统实现的智能AGV车 实时跟踪方法， 其特 征在于， 包括如下步骤： S1： 通过主摄像头与辅摄像头分别进行拍摄获得第一图像和第二图像， 采用对高斯双 边滤波算法对所述第一图像进 行滤波处理， 以及基于所述第一图像与所述第二图像采用双 目空间测距算法进行测距， 获得跟踪目标与智能AGV车之间的直线距离L； S2： 采用Camshift算法对所述第一图像中的跟踪 目标进行直方 图特征提取， 并对所述 直方图特征进行HSV色彩转换， 获得所述跟踪目标的色度、 饱和度和透明度， 建立三维联合 直方图跟踪模板， 并使用自适应加权策略来调整所述色度、 所述饱和度和所述透明度的权权　利　要　求　书 2/4 页 3 CN 114972132 A 3