(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 20221084590 0.0 (22)申请日 2022.07.19 (71)申请人 公安部交通管理科 学研究所 地址 214151 江苏省无锡市滨湖区钱荣路 88号 (72)发明人 蔡岗　赵磊　黄淑兵　魏亚宽　 孔晨晨　张森　施一珑　 (74)专利代理 机构 无锡盛阳专利商标事务所 (普通合伙) 32227 专利代理师 黄莹　张宁 (51)Int.Cl. G06F 16/901(2019.01) G06F 16/9537(2019.01) G06F 16/2455(2019.01) G06F 16/25(2019.01)G06F 9/46(2006.01) G08G 1/01(2006.01) (54)发明名称 一种基于Spark Streaming的快速实时预 警 方法 (57)摘要 本发明提供的一种基于Spark  Streaming的 快速实时预警方法， 将待处理车辆轨迹数据按照 车牌号码分别存储到不同的存储分区中， 将所有 实时监测事件分别建立一个实时比对线程 thread， 每次将待处理车辆轨迹数据同时送入到 所有的实时比对线程thread中并行计算； 同时， 因为待处理车辆轨迹数据是按照车牌号码存储 的， 每次计算时， 车缓存队列消费线程将数据送 入存储分区对应的过车数据缓存队列中， 在每个 实时比对线 程thread中， 因为是按照需要比对的 待处理车辆轨迹数据对应的车牌范围从基础数 据库和嫌疑车辆黑名单中提取对应车牌号码范 围的数据， 所 以数据对比查找的命中率会提高， 极大的提高了系统的计算效率， 同时每个threa d 中每次需要计算的数据量有限， 进一步的提高了 计算速度。 权利要求书2页 说明书9页 附图5页 CN 115168659 A 2022.10.11 CN 115168659 A 1. 一种基于Spark  Streaming的快速实时预警方法， 其特 征在于， 其包括以下步骤： S1： 确定需要实时处 理的车辆 轨迹数据， 记作待处 理车辆轨迹数据； S2： 在Kafka系统中， 为所述待处 理车辆轨迹数据建立 一个过车topic， 将所述待处理车辆轨迹数据按照车牌号码分别 存储到所述过车topic的不同存储分区 中； S3： 基于Spark  Streaming分布式流式处理框架将预警比对处理程序分配到各个工作 节点， 单个工作节点启动执 行器executor来 运行所述预警比对处 理程序； 所述工作节点和所述执 行器executor的关系为1:n， n 为大于等于1的正整数； S4： 所述预警比对处理程序确定进行实时计算的所有实时监测事件， 以及每个所述实 时监测事 件中使用到的所有基础数据库数据和嫌疑车辆黑名单 数据； 所述基础数据库为在所述实时监测事件中需要比对车辆信息时用到的基础车辆信息 所在的数据库； 所述嫌疑车辆黑名单中记载了在所述实时监测事件中需要找到并进行预警的嫌疑车 辆； S5： 每个所述预警比对处 理程序中包括所有并行处 理的所述实时监测事 件； 每个所述实时监测事 件分别对应一个预警规则和一个实时比对线程thread； 每个所述实时监测事件对应一个预警缓存队列作为数据输出， 所述实时比对线程 thread找到符合条件的所述待处 理车辆轨迹数据后， 推送到所述预警缓存队列中； S6： 构建过 车缓存队列消费线程和预警缓存队列消费线程； S7： 每个所述预警比对处理程序启动后， 并获取本次计算的所述实时计算车辆数据对 应的车牌 号码范围， 记作： 车牌 提取范围； 按照所述车牌提取范围， 在所述基础数据库和所述嫌疑车辆黑名单中提取对应车牌号 码范围的数据， 分别记作： 比对基础数据、 比对黑名单 数据； S8： 所述预警比对处理程序按照预设的数据提取量， 从所述过车topic中获取参与本次 计算的数据， 记作： 实时计算车辆数据； 将所述实时计算车辆数据封装成离散数据流 DStream结构， 传递给所述预警比对处理程序中所有的所述实时比对线程thread中进行比 对计算； 所述实时比对线程thread按照所述监测事件对应的所述预警规则， 将输入的所述待处 理车辆数据与所述比对基础数据和所述比对黑名单数据进 行碰撞比对， 找到符合预警条件 的待处理车辆数据推送到预警缓存队列； S9： 所述预警缓存队列消费线程从所述预警缓存队列中读取 数据发布预警信息 。 2. 根据权利要求1所述一种基于Spark  Streamin g的快速实时预警方法， 其特征在于： 其还包括步骤S10： 保存每一次参与计算的所述实时计算车辆数据对应的过车topic分区P 的偏移量 offset。 3. 根据权利要求1所述一种基于Spark  Streamin g的快速实时预警方法， 其特征在于： 步骤S2中， 所述待处 理车辆轨迹数据的存 储方法， 具体包括以下步骤： a1： 在Kafka系统中， 为所述待处 理车辆轨迹数据建立 一个所述过 车topic； 设： 所述过 车topic中包括的分区总数为Z， Z为自然数； a2： 逐一取 出每一份所述待处 理车辆轨迹数据， 确认是否有车牌 号码；权　利　要　求　书 1/2 页 2 CN 115168659 A 2如果没有车牌 号码， 则实施步骤a3， 计算对应的存 储分区； 否则， 将车牌 号码记作： 待计算车牌 号码， 实施步骤a4； a3： 基于随机函数， 计算得到一个位于[0， (Z ‑1)]之间的整数， 即为所述待处理车辆轨 迹数据对应的存 储分区对应的分区号码P， P为小于等于Z的自然数； 执行步骤a5； a4： 基于哈希函数计算所述待计算车牌号码对应的哈希值H， 所述待处理车辆轨迹数据 对应的存 储分区对应的分区号码P为： P = H mod Z； a5： 将所述待处 理车辆轨迹数据对应的文本数据存 储到对应的所述存 储分区P中。 4. 根据权利要求1所述一种基于Spark  Streamin g的快速实时预警方法， 其特征在于： 所述执行器executor的个数 大于等于1； 所述存储分区与所述执行器executor的对应关系为： m： 1， 其中m为大于等于1的自然 数。权　利　要　求　书 2/2 页 3 CN 115168659 A 3