(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210420941.5 (22)申请日 2022.04.20 (71)申请人 深圳市旗扬特种装备技 术工程有限 公司 地址 518000 广东省深圳市宝安区航城街 道三围社区泰华梧桐工业园大暑 （7#） 栋6层 (72)发明人 黄金叶　陈磊　陈予涵　陈予琦　 吴维　 (74)专利代理 机构 成都顶峰专利事务所(普通 合伙) 51224 专利代理师 杨国瑞 (51)Int.Cl. G08G 1/01(2006.01) G08G 1/017(2006.01)G06F 16/23(2019.01) G01S 13/86(2006.01) (54)发明名称 视频车辆检测模 型在线更新方法、 装置及雷 视融合系统 (57)摘要 本发明涉及雷达视觉融合技术领域， 公开了 一种视频车辆检测模型在线更新方法、 装置及雷 视融合系统， 其方法是一方面通过更新前的视频 车辆检测模 型， 输出得到检测所得车辆在视频图 像中的车辆图像坐标， 另一方面根据由雷达检测 器输出的且与所述视频图像同期采集的雷达数 据， 确定出所述检测所得车辆在雷达坐标系中的 车辆真实坐标， 然后根据所述车辆图像坐标和所 述车辆真实坐标， 得到所述检测所得车辆的坐标 偏差程度， 再然后根据所述坐标偏 差程度得到损 失函数对深度学习网络中各个权重的偏导数， 最 后基于FTRL算法对所述各个权重的权重值进行 迭代更新， 由此可根据来自所述雷达检测器的线 上实时反馈， 实现对所述视频车辆检测模型的在 线学习目的。 权利要求书3页 说明书10页 附图3页 CN 114842643 A 2022.08.02 CN 114842643 A 1.一种视频车辆检测模型在线更新方法， 其特征在于， 在基于深度学习网络建模而得 的视频车辆检测模型 上线后执 行， 包括： 将由摄像头采集的视频图像作为待检测图像输入所述视频车辆检测模型， 输出得到视 频车辆检测结果， 其中， 所述视频车辆检测结果包含有检测所得车辆在所述视频图像中的 车辆图像坐标； 根据由雷达检测器输出的且与所述视频图像同期采集的雷达数据， 确定出所述检测所 得车辆在雷达坐标系中的车辆真实坐标， 其中， 所述雷达检测器中的雷达与所述摄像头分 别朝同一方向设置； 根据所述车辆图像坐标和所述车辆真实坐标， 得到所述检测所得车辆的坐标偏差程 度； 针对在所述视频车辆检测模型上线后的各个时刻,将在对应时刻的坐标偏差程度作为 用于估量所述视频车辆检测模型在 对应时刻的预测结果与真实结果的不一致程度， 得到所 述视频车辆检测模型在 对应时刻的损失函数值， 然后计算出在 对应时刻损失函数对所述深 度学习网络中各个权 重的偏导数； 针对所述各个权 重， 按照如下公式迭代更新对应的权 重值： 式中， i、 j和t分别表示自然数， ωt+1,i表示第i个权重在t+1 时刻的权重值， zt,i表示所述 第i个权重在t时刻的第一中间量， +＝表示复合赋值运算符， gt,i表示在t时刻损失函数对 所 述第i个权重的偏导数， α和 λ1分别表示 预设的超参 数， ni表示所述第i个权重在t时刻的第二 中间量， ωt,i表示所述第i个权重在t时刻的权重值， ηt表示所述第i个权重在t时刻的第三 中间量， gj,i表示在j时刻损失函数对所述第i个权 重的偏导数， sgn()表示符号 函数； 将所述各个权重的最新权重值传入所述深度 学习网络 中， 得到完成在线更新的视频车 辆检测模型。 2.如权利要求1所述的视频车辆检测模型在线更新方法， 其特征在于， 所述深度 学习网 络包括卷积神经网络 。 3.如权利要求1所述的视频车辆检测模型在线更新方法， 其特征在于， 所述检测所得车 辆包括机动车或非机动车。 4.如权利要求1所述的视频车辆检测模型在线更新方法， 其特征在于， 所述车辆图像坐 标包含有所述检测所得车辆在所述视频图像中的车辆图像左上角坐标和车辆图像右下角 坐标。 5.如权利要求1所述的视频车辆检测模型在线更新方法， 其特征在于， 根据所述车辆图权　利　要　求　书 1/3 页 2 CN 114842643 A 2像坐标和所述车辆真实坐标， 得到所述检测所 得车辆的坐标偏差程度， 包括： 根据所述车辆图像坐标， 确定所述检测所得车辆在所述摄像头的相机坐标系下的车辆 估算坐标； 根据所述雷达坐标系与所述相机坐标系的已知坐标变换关系， 将所述车辆真实坐标变 换为在所述相机坐标系下的车辆实际坐标； 计算所述车辆实际坐标与 所述车辆估算坐标的差的平方， 得到所述检测所得车辆的坐 标偏差程度。 6.一种视频车辆检测模型在线更新装置， 其特征在于， 用于在基于深度学习网络建模 而得的视频车辆检测模型上线后启用， 包括有视频车辆检测单元、 真实坐标确定单元、 坐标 偏差获取 单元、 权重偏导数获取 单元、 权重值更新单 元和权重值传入单 元； 所述视频车辆检测单元， 用于将由摄像头采集的视频图像作为待检测图像输入所述视 频车辆检测模型， 输出得到视频车辆检测结果， 其中， 所述视频车辆检测结果包含有检测所 得车辆在所述视频图像中的车辆图像坐标； 所述真实坐标确定单元， 通信连接所述视频车辆检测单元， 用于根据由雷达检测器输 出的且与所述视频图像同期采集的雷达数据， 确定出所述检测所得车辆在雷达坐标系中的 车辆真实坐标， 其中， 所述雷达检测器中的雷达与所述摄 像头分别 朝同一方向设置； 所述坐标偏差获取单元， 分别通信连接所述视频车辆检测单元和所述真实坐标确定单 元， 用于根据所述车辆图像坐标和所述车辆真实坐标， 得到所述检测所得车辆的坐标偏差 程度； 所述权重偏导数获取单元， 通信连接所述坐标偏差获取单元， 用于针对在所述视频车 辆检测模型上线后的各个时刻,将在对应时刻的坐标偏差程度作为用于估量所述视频车辆 检测模型在 对应时刻的预测结果与真实结果的不一致程度， 得到所述视频车辆检测模型在 对应时刻的损失函数值， 然后计算出在 对应时刻损失函数对所述深度学习网络中各个权重 的偏导数； 所述权重值更新单元， 通信连接所述权重偏导数获取单元， 用于针对所述各个权重， 按 照如下公式迭代更新对应的权 重值： 式中， i、 j和t分别表示自然数， ωt+1,i表示第i个权重在t+1 时刻的权重值， zt,i表示所述 第i个权重在t时刻的第一中间量， +＝表示复合赋值运算符， gt,i表示在t时刻损失函数对 所 述第i个权重的偏导数， α和 λ1分别表示 预设的超参 数， ni表示所述第i个权重在t时刻的第二 中间量， ωt,i表示所述第i个权重在t时刻的权重值， ηt表示所述第i个权重在t时刻的第三权　利　要　求　书 2/3 页 3 CN 114842643 A 3