(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210858148.3 (22)申请日 2022.07.20 (71)申请人 成都飞机工业 （集团） 有限责任公司 地址 610000 四川省成 都市青羊区黄田坝 纬一路88号 (72)发明人 李汶一　郑兴　方燕玲　蒙科材　 邹光勇　 (74)专利代理 机构 四川力久律师事务所 512 21 专利代理师 曹露 (51)Int.Cl. G06T 7/00(2017.01) G06T 5/00(2006.01) G06T 7/80(2017.01) G06V 10/44(2022.01) (54)发明名称 一种基于图像识别的航空装配制造过程数 据校验方法及装置 (57)摘要 本发明涉及飞机制造生产管控 领域， 具体涉 及一种基于图像识别的航空装配制造过程数据 校验方法及装置。 方法包括， 首先， 绑定机位信息 和摄像头信息， 获得生产现场的视频数据； 其次， 从视频数据拉取流媒体数据， 按照固定周期截取 实时机位图， 并对其进行标记； 进一步的， 对预先 获取的空机位图和实时机位图进行预处理并计 算， 判断机位状态； 最后， 绑定实时机位图与MES 中对应的机位信息， 经处理后获得 飞机实物流信 息， 将实物流信息与MES中的信息流数据进行比 对并融合。 本发 明可准确判定飞机在每个机位上 的作业时间， 实现了实物流和信息流一致化， 为 飞机制造全生命周期的精准管控提供有力支撑 。 权利要求书2页 说明书5页 附图1页 CN 115170533 A 2022.10.11 CN 115170533 A 1.一种基于图像识别的航空装配制造过程数据校验方法， 其特 征在于， 包括以下步骤： S1， 绑定机位信息和摄 像头信息， 获得生产现场的视频 数据； S2， 从所述视频数据拉取流媒体数据， 按照固定周期截取实时机位图， 并对其进行标 记； S3， 对预先获取的空机位图和所述实时机位图进行 预处理并计算， 判断机位状态； S4， 绑定所述实时机位 图与MES中对应的机位信息， 经处理后获得飞机实物流信息， 将 所述实物流信息与M ES中的信息流数据进行比对并融合。 2.根据权利要求1所述的一种基于图像识别的航空装配制造过程数据校验方法， 其特 征在于， 步骤S1中， 每个机位选择一个唯一对应的摄像头进行信息绑定， 机位信息包括飞 机、 型架、 相关 设施设备。 3.根据权利要求1所述的一种基于图像识别的航空装配制造过程数据校验方法， 其特 征在于， 步骤S2中， 基于监控视频系统的ESDK服务， 将摄像头设备号及NVR编码作为输入， 请 求ESDK服务， ESDK服务返回实时视频流加密地址， 解析RTSP视频流并转换为FLV协议视频 流， 基于FLV协议视频流， 设定截 取所述实时机位图的固定周期t， 对所述 实时机位图标记时 间戳。 4.根据权利要求1所述的一种基于图像识别的航空装配制造过程数据校验方法， 其特 征在于， 步骤S3中， 采用图像二 值化方法对所述空机位图与所述实时机位图进行 预处理。 5.根据权利要求1所述的一种基于图像识别的航空装配制造过程数据校验方法， 其特 征在于， 步骤S3中， 所述计算包括， 对所述空机位图和所述实时机位图进行作差运算， 再基 于sobel算子的特 征提取方式， 提取图像边 缘特征来判断即为状态， 公式如下： 经横向边 缘检测的图像Gx为： 经纵向边 缘检测的图像Gy为： 梯度方向角度为： θ ＝arctan(Gy/Gx) 其中， P为所述空机位图与所述实时机位图作差后的图像； 若梯度 方向角度θ等于零， 则 所述实时机位图中有飞机存在； 反 之， 则无飞机存在。 6.根据权利要求1所述的一种基于图像识别的航空装配制造过程数据校验方法， 其特 征在于， 步骤S4中， 绑定所述 实时机位图与MES中对应的机位信息， 构建机位状态表， 将状态 表转换为状态序列， 形成飞机实物流信息， 在机位Am上所述飞机实物流信息可表示 为： 其中， 表示在Am机位上第k次检测到飞机作业的开始时刻， 表示在Am机位上从 开 始到未检测到飞机的结束时刻， 为飞机在Am机位上第k次的实际作业时间。 7.根据权利要求1所述的一种基于图像识别的航空装配制造过程数据校验方法， 其特权　利　要　求　书 1/2 页 2 CN 115170533 A 2征在于， 步骤S4中， 从M ES中获取在机位Am上的信息流数据， 可表示 为： 其中， 表示在Am机位上第k次飞机作业的开始时刻， 表示在Am机位上第k次飞机 作业的结束时刻， 为飞机在Am机位上第k次的作业时间。 8.根据权利要求6 ‑7任意所述的一种基于图像识别的航空装配制造过程数据校验方 法， 其特征在于， 步骤S4中所述的将实物流信息与MES中的信息流数据进行比对并融， 包括 如下步骤： S41， 从所述飞机实物流信息 中抽取机位Am的第k段作业时间， 获得开始时刻 和 结束时刻 S42， 基于所述开始时刻 对所述信息流数据 进行搜索， 找到离 时刻最近的起 始时刻， 记为 其对应的结束时刻记为 S43， 计算两段时间重合率 当δ大于或者等于阈值时， 则判定信息流数据 的作业时间应修订为 当δ小于阈值， 则返回步骤 S42， 找到距离第二近的起始时刻并计算 δ， 直至满足δ 大于等于阈值 为止。 9.一种基于图像识别的航空装配制造过程数据校验装置， 其特征在于， 包括处理单元， 以及与所述处理单元通讯连接的摄像头， 所述处理单元用于处理并存储航空装配制造过程 数据校验工作流 程， 以使所述装置能够执 行权利要求1至8中任一项所述的方法。权　利　要　求　书 2/2 页 3 CN 115170533 A 3