(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211140981.0 (22)申请日 2022.09.20 (71)申请人 恒银金融科技股份有限公司 地址 300308 天津市滨 海新区自贸试验区 (空港经济区)西八道3 0号 (72)发明人 冯国徽　刘贯伟　张振彬　江浩然　 张云峰　 (51)Int.Cl. G06V 20/62(2022.01) G06V 10/46(2022.01) G06V 10/75(2022.01) G06V 10/764(2022.01) G06V 10/774(2022.01) G06V 10/80(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 指示牌识别系统的设计方法 (57)摘要 本发明提供一种指示牌识别系统的设计方 法， 该方法包括： 预先设置多个摄像机， 并预设采 集图像的分辨率， 读取摄像机实时流， 将实时流 的第一帧作为初始图像； 根据初始图像确认第一 图像； 提取第一图像的特征信息， 使用最近邻匹 配法计算得到最佳匹配特征点； 根据仿射变换 法、 光束平差法和最佳匹配特征点， 确认各类参 数； 结合第五图像， 对摄像机实时流的后续的每 一帧图像进行处理， 得到一张第九图像； 预先建 立检测模型； 预先建立识别模型； 基于图形用户 界面应用程序开发框架， 得到视频显示平台； 将 全景算法、 预先训练好的检测模型、 预先训练好 的识别模型部署至视频显示平台， 得到指示牌识 别系统。 本方法可 以为游客指示更佳的路线， 提 升游客体验。 权利要求书2页 说明书7页 附图2页 CN 115223160 A 2022.10.21 CN 115223160 A 1.一种指示 牌识别系统的设计方法， 其特 征在于， 所述方法包括： S1： 预先在同一水平线设置多个枪型的摄像机， 并预设摄像机采集的图像的分辨率， 读 取摄像机实时流， 将所述实时流的第一帧作为初始图像； 根据初始图像确认第一图像； S2： 提取所述第一图像的特 征信息， 使用最近邻匹配法计算得到最佳匹配特 征点； S3： 根据仿射变换法、 光束平差法和步骤S2得到的最佳匹配特征点， 确认摄像机的第一 估计参数、 第二估计参数、 第二图像、 第三图像、 第四图像、 第五图像和第二左上角点； S4： 结合第五图像， 对摄像机实时流的后续的每一帧图像进行处理， 得到一张第九图 像； S5： 预先建立检测模型； S6： 预先建立识别模型； S7： 基于图形用户界面应用程序开发框架， 得到 视频显示平台； S8： 将S1‑S4的全景算法、 预先训练好的检测模型、 预先训练好的识别模型部署至S7得 到的视频显示平台， 得到所述指示 牌识别系统。 2.根据权利要求1所述的方法， 其特征在于， 步骤S2包括： 使用尺度不变特征变换算法 提取第一图像的特 征信息， 使用最近邻匹配法选出最佳匹配特 征， 得到最佳匹配特 征点。 3.根据权利要求2所述的方法， 其特 征在于， 步骤S3包括： S3‑1： 基于仿射变换法， 根据S2中获取的最佳匹配特征点， 计算出摄像机的第一估计参 数， 所述第一估计参数包括摄 像机的内参矩阵、 焦距 矩阵和旋转变换矩阵； S3‑2： 使用光束平差法， 校正摄 像机的第一估计参数， 得到第二估计参数； S3‑3： 利用S3 ‑2计算得到的第二估计参数和仿射变换法， 对第一图像进行变换， 得到第 二图像， 并提取第二图像的第二左上角点特征， 使用仿射变换法对第一图像的掩膜进行变 换， 生成第三图像； S3‑4： 基于所述第二左上角点， 对第二 图像进行曝光补偿， 得到第四图像； 基于所述第 二左上角点， 第三图像进行曝光补偿， 得到第五图像。 4.根据权利要求3所述的方法， 其特 征在于， 步骤S4包括： S4‑1： 按照接收先后顺序， 根据第二估计参数， 分别计算后续初始图像的掩膜变换， 分 别得到多个第十图像； 其中， 第十 图像与第三图像都属于掩膜图像； 所述后续初始图像即为实时流中第一帧 之后的图像； S4‑2： 根据第二左上角点、 多个后续初始图像， 对最新获取的多个第十图像进行曝光补 偿， 得到多个第十一图像； 同时， 对第三图像进行膨胀和尺寸变换， 得到第七图像； S4‑3： 将第七图像分别与多个第十一图像合并， 获取图像之间缝隙优化后的掩膜， 得到 多个第八图像； S4‑4： 基于多频融合算法， 将后续初始图像、 多个第八图像和第二左上角点进行融合， 得到第九图像。 5.根据权利要求1所述的方法， 其特 征在于， 步骤S4 ‑4包括： S4‑4‑1： 对第八图像进行高斯金字塔 变换， 得到高斯金字塔图像； S4‑4‑2： 对高斯金字塔图像进行拉普拉斯金字塔 变换， 得到普拉斯金字塔图像； S4‑4‑3： 将处于同一级的拉普拉斯金字塔图像进行融合；权　利　要　求　书 1/2 页 2 CN 115223160 A 2S4‑4‑4： 将高层的拉普拉斯金字塔图像依次扩展， 扩展至和第一图像相同分辨 率； S4‑4‑5： 将后续初始图像依次叠加， 得到第九图像。 6.根据权利要求5所述的方法， 其特 征在于， 步骤S5包括： S5‑1： 预先获取样本图像； S5‑2： 将样本图像输入到可微二值网进行训练， 获取到可检测自然场景文字位置的检 测模型； 在此DBNet的主体网络backbo ne使用Resnet18。 7.根据权利要求6所述的方法， 其特 征在于， 步骤S5 ‑2包括： S5‑2‑1： 使用特征金字塔网络结构得到样本图像的多尺度特征， 按照卷积公式分别获 取样本图像大小比例的  1/2、 1/4、 1/8、 1/16、 1/ 32 的特征图， 得到 5个特征图； S5‑2‑2： 对所述5个特征图自顶向下进行上采样， 上采样进行2遍； 将上采样得到的结果 与上述5个特征图融合， 得到5个融合特征图； 对5个融合特征图采用  3x3 的卷积消除上采 样的混叠效应， 得到第一特 征图； S5‑2‑3： 对每层第一特征 图进行上采样， 统一采样  1/4 大小的特征 图， 得到第二特征 图； S5‑2‑4： 根据全连接网络结构和样本图像， 将所述第二特征图经过一系列卷积和转置 卷积的结构， 获取第二特 征图的概 率图 P 和阈值图 T； S5‑2‑5： 将概率图 P 和阈值图 T经过可微二值化方法得到 近似二值图； S5‑2‑6： 根据近似二值化 图， 获取到目标位置框； 根据目标位置框， 可得最佳目标位置 框； S5‑2‑7： 根据预定的训练次数N， 重复N次步骤S5 ‑2‑1： 至S5‑2‑6： ， 根据预设最小损失， 得到最佳目标位置 框的DBNet的网络 权重值； S5‑2‑8： 将所述DBNet和网络 权重值合并， 得到所述检测模型。 8.根据权利要求7 所述的方法， 其特 征在于， 步骤S6包括： S6‑1： 将样本图像缩放到 32*160*1大小， 得到第二样本图像； S6‑2： 将第二样本图像经过CRNN中的CNN处理， 变为1*40*512大小的第三样本图像， 其 中， 512代表特征图数量， 1代 表高度， 40代 表宽度； S6‑3： 对第三样本图像进行网络计算， 预先设置时间长度和输出特征宽度， 其中， 时间 长度和输出 特征宽度数值 一样， 每次输入的列向量数量 为512个， 得到第四样本图像； S6‑4： 将第四样本图像输入至文字识别系统， 得到最佳识别参数； 将该最佳识别参数与 递归神经网络合并， 得到识别模型。 9.根据权利要求8所述的方法， 其特征在于， 在步骤S8中： 所述视频显示平台包括4个模 块， 模块1： 菜单， 菜单包括参数输入； 模块2： 调试， 调试包括运行和停止； 模块3： 摄像机地址 参数， 包括显示摄像机的地址或本地视频地址； 模块4： 主平台： 用于显示第九图像、 文字位 置和识别内容。权　利　要　求　书 2/2 页 3 CN 115223160 A 3