(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210291410.0 (22)申请日 2022.03.23 (71)申请人 超级视线科技有限公司 地址 075000 河北省张家口市桥 东区站前 东大街28号河北国控北方硅谷高科新 城10号楼4层 (72)发明人 闫军　丁丽珠　王艳清　 (51)Int.Cl. G06V 20/62(2022.01) G06V 20/52(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06V 10/764(2022.01) G06V 10/82(2022.01) (54)发明名称 车牌识别方法以及装置 (57)摘要 本申请公开一种车牌识别方法以及装置。 方 法包括： 将每个监控图像输入至端到端识别模型 中， 输出预测车牌类别、 预测字 符类别、 预测车牌 位置以及预测字符位置； 根据真实车牌类别、 真 实字符类别、 真实车牌位置、 真实字符位置、 预测 车牌类别、 预测字符类别、 预测车牌位置以及预 测字符位置， 构建损失函数进行训练优化， 获得 训练完成的端到端识别模型； 将待测监控图像输 入至训练完成的端到端识别模型中， 输出对应的 车牌类别、 车牌位置、 字符类别以及字符位置； 将 每个车牌位置与每个字 符位置进行交并比计算， 获得车牌字符 交并比值， 若车牌字符 交并比值大 于归属阈值， 则字符位置对应的字符属于车牌位 置对应的车牌。 权利要求书3页 说明书11页 附图2页 CN 114724129 A 2022.07.08 CN 114724129 A 1.一种车牌识别方法， 其特 征在于， 包括： 获取多个监控图像， 每个所述监控图像标注有真实车牌类别、 多个真实字符类别、 多个 真实车牌 位置以及多个真实字符位置； 将每个所述监控图像输入至端到端识别模型中， 输出预测车牌类别、 多个预测字符类 别、 多个预测车牌 位置以及多个预测字符位置； 根据所述真实车牌类别、 所述真实字符类别、 所述真实车牌位置、 所述真实字符位置、 所述预测车牌类别、 所述预测字 符类别、 所述预测车牌位置以及所述预测字符位置， 构建损 失函数， 并根据所述损失函数对所述端到端识别模型进行训练优化， 获得训练完成的端到 端识别模型； 获取待测监控图像， 并将所述待测监控图像输入至所述训练完成的端到端识别模型 中， 输出所述待测监控图像对应的车牌类别、 多个车牌位置、 多个字符类别以及多个字符位 置； 将每个所述车牌位置与每个所述字符位置进行交并比计算， 获得车牌字符交并比值， 并判断所述车牌字符交并比值是否大于归属阈值， 若 所述车牌字符交并比值大于所述归属 阈值， 则所述字符位置对应的字符属于所述车牌 位置对应的车牌。 2.根据权利要求1所述的车牌识别方法， 其特征在于， 所述将每个所述监控图像输入至 端到端识别模型中， 输出预测车牌类别、 多个预测字符类别、 多个预测车牌位置以及 多个预 测字符位置， 包括： 将特征金字塔网络结构融入至卷积神经网络中， 形成所述端到端识别模型； 根据所述端到端识别模型， 对每个所述监控图像进行识别， 输出所述预测车牌类别、 所 述多个预测字符类别、 所述多个预测车牌 位置以及所述多个预测字符位置 。 3.根据权利要求2所述的车牌识别方法， 其特征在于， 所述根据所述真实车牌类别、 所 述真实字符类别、 所述真实车牌位置、 所述真实字符位置、 所述预测车牌类别、 所述预测字 符类别、 所述预测车牌位置以及所述预测字 符位置， 构建损失函数， 并根据所述损失函数对 所述端到端识别模型进行训练优化， 获得训练完成的端到端识别模型， 包括： 根据所述真实车牌类别、 所述真实字符类别、 所述预测车牌类别以及所述预测字符类 别构建分类损失函数； 根据所述真实车牌位置、 所述真实字符位置、 所述预测车牌位置以及所述预测字符位 置构建位置回归损失函数； 根据所述分类损失函数与 所述位置回归损失函数， 对所述端到端识别模型进行训练优 化， 获得训练完成的端到端识别模型。 4.根据权利要求1所述的车牌识别方法， 其特征在于， 所述获取待测监控图像， 并将所 述待测监控图像输入至所述训练完成的端到端识别模型中， 输出所述待测监控图像对应的 车牌类别、 多个车牌位置、 多个字符类别以及多个字符位置之后， 所述将 每个所述车牌位置 与每个所述字符位置进行交并比计算， 获得车牌字符交并比值， 并判断所述车牌字符交并 比值是否大于归属阈值， 若所述车牌字符交并比值大于所述归属阈值， 则所述字符位置对 应的字符属于所述车牌 位置对应的车牌之前， 还 包括： 将所述多个车牌位置中每两个所述车牌位置进行交并比计算， 获得车牌交并比值， 并 判断所述车牌交并比值是否小于第一阈值， 若所述车牌交并比值小于所述第一阈值， 则计权　利　要　求　书 1/3 页 2 CN 114724129 A 2算每个所述车牌 位置与每 个所述字符位置的交并比。 5.根据权利要求4所述的车牌识别方法， 其特征在于， 所述将每个所述车牌位置与每个 所述字符位置进行交并比计算， 获得车牌字符交并比值， 并判断所述车牌字符交并比值是 否大于归属阈值， 若所述车牌字符交并比值大于所述归属阈值， 则所述字符位置对应的字 符属于所述车牌 位置对应的车牌之后， 还 包括： 将每个所述车牌位置对应的满足所述车牌字符交并比值大于所述归属阈值的多个字 符位置中每两个字符位置进行交并比计算， 获得字符交并比值， 并判断所述字符交并比值 是否小于第二阈值， 若所述字符交并比值小于所述第二阈值， 则将每个所述车牌位置中满 足所述车牌字符交并比值大于所述归属阈值且所述字符交并比值小于所述第一阈值的字 符进行排序， 获得完整车牌字符序列。 6.根据权利要求5所述的车牌识别方法， 其特征在于， 所述第一阈值的范围为0.8至 1.0， 所述归属阈值的范围为0.9至1.0， 所述第二阈值的范围为0.95 至1.0。 7.一种车牌识别装置， 其特 征在于， 包括： 数据获取模块， 用于获取多个监控图像， 每个所述监控图像标注有真实车牌类别、 多个 真实字符类别、 多个真实车牌 位置以及多个真实字符位置； 模型建立模块， 用于将每个所述监控图像输入至端到端识别模型中， 输出预测车牌类 别、 多个预测字符类别、 多个预测车牌 位置以及多个预测字符位置； 模型训练模块， 用于根据所述真实车牌类别、 所述真实字符类别、 所述真实车牌位置、 所述真实字符位置、 所述预测车牌类别、 所述预测字符类别、 所述预测车牌位置以及所述预 测字符位置， 构建损失函数， 并根据所述损失函数对所述端到端识别模型进行训练优化， 获 得训练完成的端到端识别模型； 预测模块， 用于获取待测监控图像， 并将所述待测监控图像输入至所述训练完成的端 到端识别模型中， 输出所述待测监控图像对应的车牌类别、 多个车牌位置、 多个字符类别以 及多个字符位置； 关系匹配模块， 用于将每个所述车牌位置与每个所述字符位置进行交并比计算， 获得 车牌字符交并比值， 并判断所述车牌字符交并比值是否大于归属阈值， 若所述车牌字符交 并比值大于所述归属阈值， 则所述字符位置对应的字符属于所述车牌 位置对应的车牌。 8.根据权利要求7 所述的车牌识别装置， 其特 征在于， 所述模型建立模块包括： 生成模块， 用于将特征金字塔网络结构融入至卷积神经网络中， 形成所述端到端识别 模型； 输出模块， 用于根据 所述端到端识别模型， 对每个所述监控图像进行识别， 输出所述预 测车牌类别、 所述多个预测字符类别、 所述多个预测车牌 位置以及所述多个预测字符位置 。 9.根据权利要求8所述的车牌识别装置， 其特 征在于， 所述模型训练模块包括： 分类损失函数形成模块， 用于根据所述真实车牌类别、 所述真实字符类别、 所述预测车 牌类别以及所述预测字符类别构建 分类损失函数； 回归损失函数形成模块， 用于根据所述真实车牌位置、 所述真实字符位置、 所述预测车 牌位置以及所述预测字符位置构建位置回归损失函数； 训练优化模块， 用于根据所述分类损 失函数与所述位置回归损 失函数， 对所述端到端 识别模型进行训练优化， 获得训练完成的端到端识别模型。权　利　要　求　书 2/3 页 3 CN 114724129 A 3