(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210678520.2 (22)申请日 2022.06.20 (71)申请人 扬州市法马智能设备有限公司 地址 225600 江苏省扬州市高邮市高邮镇 同心东路209号 (72)发明人 杨朝友　李大为　刘刚　李鹏远　 孙婧　谢维华　孔凡全　吴港书　 詹孝芸　 (74)专利代理 机构 南京申云知识产权代理事务 所(普通合伙) 32274 专利代理师 邱兴天 (51)Int.Cl. G06V 40/20(2022.01) G06V 20/54(2022.01) G06V 40/16(2022.01)G06V 20/62(2022.01) G06V 20/40(2022.01) G06V 10/25(2022.01) G06V 10/40(2022.01) G06V 10/774(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) (54)发明名称 一种基于AI的过街行人交通违章自动抓拍 及分析方法 (57)摘要 本发明公开一种基于AI的过街行人交通违 章自动抓拍及分析方法， 采用语义识别算法识别 出视频帧图像中的斑马线区域； 采用目标检测算 法识别出视频帧中的行人、 自行车和电动车； 然 后识别出识别出骑电动车的行人； 判断骑行者是 否佩戴头盔； 如果没带头盔， 则是识别出人脸和 电动车的车牌； 判断交通信号灯的状态， 如果是 红灯， 则判断是否在闯红灯； 如果不是红灯， 则调 用目标跟踪算法， 统计一个 绿灯阶段通过斑马线 的行人、 自行车和电动车的流量。 本发明实现完 全自动化和智能化的过街行人交通违章的判定 与取证， 全程无需人工干预， 节省了交通执法的 警力人力， 而强大的取证功能使得本发明对交通 违章者具有硬约束力。 权利要求书2页 说明书4页 附图1页 CN 115050099 A 2022.09.13 CN 115050099 A 1.一种基于AI的过街行 人交通违章自动抓拍及分析 方法， 其特 征在于， 包括 一下步骤： 步骤1： 首 先采用语义识别算法识别出视频帧图像中的斑马线区域； 步骤2： 采用目标检测算法识别出视频帧中的行 人、 自行车和电动车； 步骤3： 然后识别出行人与自行车或电动车的骑行关系， 进行关联绑定， 识别出骑电动 车的行人； 步骤4： 采用目标检测算法判断出骑行者是否佩戴头盔； 如果没带头盔， 则是识别出人 脸和电动车的车牌； 步骤5： 判断交通信号灯的状态， 如果是红灯， 则将视频帧中的行人、 自行车和电动车与 斑马线区域进行对比， 根据重 叠比例判断是否在闯红灯； 步骤6： 如果不是红灯， 则调用目标跟踪算法， 统计一个绿灯阶段通过斑马线的行人、 自 行车和电动车的流 量。 2.根据权利要求1所述的基于AI的过街行人交通违章自动抓拍及分析方法， 其特征在 于： 步骤1中， 语义分割算法包括以下步骤： 步骤11： 首先进行视频帧图像的语义分支的高维特 征提取； 步骤12： 将高维特征图下采样1/4尺寸的特征图经过池化层， 并与下采样1/16尺寸特征 图经过上采样之后的结果 合并为空间分支的输出 特征图， 进入特 征融合模块； 步骤13： 语义分支将ResNet的4个Bottleneck对应特征图分别经过卷积层， 并在通道维 度归一化为 128维特征图， 之后进 行合并压缩到适合特征融合模块输入的通道维度特征图， 在经过上采样模块之后进入特 征融合模块； 步骤14： 特 征融合模块将空间分支和语义分支的输出 特征进行特征融合。 3.根据权利要求2所述的基于AI的过街行人交通违章自动抓拍及分析方法， 其特征在 于： 步骤14中， 特征融合模块将空间分支和上下文语义的输出特征连接起来， 然后利用批处 理归一化来平衡特征的尺度。 将连接的特征集合到一个特征向量中， 并计算一个权值向量， 该权重向量可以对特 征进行重新加权， 最终得到 视频帧图像中的斑马线区域。 4.根据权利要求1所述的基于AI的过街行人交通违章自动抓拍及分析方法， 其特征在 于： 采用目标检测算法识别出其中的行 人、 自行车和电动车的具体步骤 包括： 步骤21： 准备与行人、 电动车和自行车相关的数据集， 将数据集划分测试集、 验证集和 训练集， 进行模型 预训练； 步骤22： 输入视频帧图像， 利用预训练好的模型进行初始多层次特征提取并对初始多 层次进行 特征编码。 步骤23： 利用残差特征重构模块通过集成不同提取特征范围的卷积、 空洞卷积操作以 及特征重构操作从初始多层次特征中高效提取局部和全局上下文信息， 聚合上下文信息优 化初始多层次特 征； 步骤24： 通过残差短连接操作， 交互包含不同信息的优化后的多层次特征， 生成即包含 准确显著性目标信息又 具有丰富目标边 缘细节信息的特 征表示； 步骤25： 将特征表示进行降维激活生成最原始的显著性图， 然后使用多次监督策略利 用真值标签对算法进行训练， 生成损失最小的参数文件。 5.根据权利要求1所述的基于AI的过街行人交通违章自动抓拍及分析方法， 其特征在 于： 步骤4中， 如果确实没戴头盔， 则调用人脸识别算法识别出该行人的人脸， 及调用车牌识权　利　要　求　书 1/2 页 2 CN 115050099 A 2别算法识别出电动车的车牌； 人脸识别时的具体方式如下： 步骤31： 首 先对视频帧图像进行 预处理； 步骤32： 然后基于预处理的结果， 从人脸 图像中提取左眼、 右眼、 鼻子、 嘴 巴四个区块， 接着训练各区块的网络模型， 并提取对应的特征， 然后训练各区块的遮挡判别网络获取遮 挡判别结果； 步骤33： 最后根据各区块的遮挡 判别结果融合 其特征； 步骤34： 在线识别阶段， 采用与离线训练 阶段相同的方法提取得到人脸图像特征， 然后 进行特征查询， 从而得到识别的结果。 6.根据权利要求5所述的基于AI的过街行人交通违章自动抓拍及分析方法， 其特征在 于： 步骤34中， 特征查询采用索引的方式， 将人脸图像特征与数据库中的人脸进行识别对 比， 数据库采用公安部门的数据库； 基于K ‑D树构建特征索引， 每棵K ‑D树的节点数在15万个 以内； 每张人脸图像提取 出4部分特 征， 对于这四个特 征， 扩展出15个特 征用于构造K ‑D树。 7.根据权利要求1所述的基于AI的过街行人交通违章自动抓拍及分析方法， 其特征在 于： 如果确实在闯红灯， 则调用人脸识别算法识别出该行人的人脸， 或者调用车牌识别算法 识别出电动车的车牌。权　利　要　求　书 2/2 页 3 CN 115050099 A 3