(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211185264.X (22)申请日 2022.09.27 (71)申请人 浙江省水利河口研究院 （浙江省海 洋规划设计 研究院） 地址 310020 浙江省杭州市江干区凤起 东 路50号 (72)发明人 宋立松　饶丹丹　殷腾箐　吴辉　 陈捷　郑国　张笑楠　王云翔　 (74)专利代理 机构 杭州君锐知产专利代理事务 所(普通合伙) 33443 专利代理师 应孔月 (51)Int.Cl. G07C 1/20(2006.01) G06V 10/774(2022.01) G06V 20/40(2022.01)G06V 20/52(2022.01) G06T 7/30(2017.01) G06T 7/70(2017.01) G08B 25/08(2006.01) G08B 25/10(2006.01) G08B 31/00(2006.01) G08B 3/10(2006.01) (54)发明名称 基于视频监控的水利工程智能巡查方法及 装置、 电子设备 (57)摘要 本发明公开了一种基于视频监控的水利工 程智能巡查方法及装置、 电子设备， 包括： 建立需 检查的隐患标准数据库； 根据每个摄像头监视范 围对水利工程巡查区域进行网格化处理， 其中每 个网格至少具有一个摄像头和语音广播装置， 每 个摄像头的监视范围内至少设置四个特征点； 接 收所述特征点与对应的摄像头的相关参数， 并将 两者进行绑定和地理定位； 接收摄像头采集的视 频图像和摄像头的视频参数； 建立视频识别所需 的样本库； 根据所述隐患标准数据库和样本库， 对所述视频图像进行视频识别和空间融合 以及 动态演变监测分析， 获得隐患识别结果； 根据所 述隐患识别结果中识别出的工程隐患和不规范 行为， 生产预警信息进行 预警。 权利要求书3页 说明书9页 附图3页 CN 115546917 A 2022.12.30 CN 115546917 A 1.一种基于 视频监控的水利工程智能巡查方法， 其特 征在于， 包括： S0： 根据水利工程监督检查办法和水利工程运行管理规程梳理水利工程巡查清单， 建 立需检查的隐患标准数据库； S1： 根据每个摄像头监视范围对水利工程巡查区域进行网格化处理， 其中每个网格至 少具有一个摄像头和语音广播装置， 每个摄像头的监视范围内至少设置四个特征点并直接 定位到巡查区域的电子地图上； S2： 接收所述特 征点与对应的摄 像头的相关参数， 并将两者进行绑定； S3： 接收摄 像头采集的视频图像和摄 像头的视频参数， 并将图像进行地理定位； S4： 建立视频识别所需的样本库； S5： 根据所述隐患标准数据库和样本库， 对所述视频图像进行视频识别和空间融合以 及动态演变监测分析计算， 获得隐患识别结果； S6： 根据所述隐患识别结果中识别出的工程隐患， 生产第 一预警信息， 并将所述第一预 警信息发送给管理责任人 的客户端； 对所述隐患识别结果中识别出 的不规范行为， 生产第 二预警信息， 并将所述第二预警信息转换为语音发送给所述语音广播装置进 行语音播报预 警。 2.根据权利要求1所述的方法， 其特 征在于， 还 包括： S7， 根据预警信息 中的解决方案进行隐患处理， 同时将经确认的问题和对应的图片、 实 际的处理措施转入样本库。 3.根据权利要求1所述的方法， 其特征在于， 所述隐患标准数据库中的隐患 根据隐患涉 及的对象是物还是人分为工程隐患和不规范行为两个类别， 每类隐患还根据危害和整改难 度分为一般隐患和严重隐患两个级别， 其中所述一般隐患为将发现后能够立即整改排除的 隐患， 其余的隐患为重大隐患； 所述隐患标准数据库中还具有根据水利工程管理知识和安 全处理历史经验， 针对隐患类别和级别建立相应的隐患处 理对策和解决方案 。 4.根据权利要求1所述的方法， 其特征在于， 接收摄像头采集的视频图像和摄像头的视 频参数， 包括： S31： 根据巡查要求进行影像采集， 在非汛期参照日常巡查频率要求， 对网格进行轮巡 保证在巡查周期内能全覆盖； 在 汛期， 对重点巡查对象所在的网格可加密识别， 选择巡查周 期内清晰度较高的图片进 行识别； 在设施设备运行期间可不间断采样进 行实时或准 实时采 样识别； S32： 在采集视频图像时同时采取摄 像头参数。 5.根据权利要求1所述的方法， 其特 征在于， 建立视频识别所需的样本库， 包括： S41： 根据巡查对象要求选择网格内接收的视频影像， 并按一定规则切割成包含需巡查 的工程设施和所设特 征点图片， 并标注隐患标签、 时间标签和摄 像头参数； S42： 对上述所选择的系列图片根据所设特征点进行几何校正配准， 并直接对视频进行 地理定位， 并标记 正常和不正常类别的样本， 对不正常样 本中工程隐患、 不规范行为图片进 行标记。 6.根据权利要求1所述的方法， 其特征在于， 根据所述 隐患标准数据库和样本库， 对获 取的视频图像进 行视频识别， 对不同方法识别结果进 行空间融合以及动态演 变监测分析计 算， 获得隐患识别结果， 包括：权　利　要　求　书 1/3 页 2 CN 115546917 A 2S51， 根据采集的摄像头参数在样本库中选择具有相同参数的图像， 根据 预设的特征点 进行配准和地理定位； S52， 根据电子地图上视频地理位置从样本库中自动选取同一地理空间区域具有相同 参数的历史同期的正常图片或上一次正常图片作为比对图片， 采用背 景差值法或帧差法进 行隐患、 违规行为巡查检测， 得到变化区域1， 作为初步识别结果； S53， 采用基于深度 学习的图像识别算法， 对网格图像进行异常目标检测和图像智能识 别， 构建适用于识别隐患的深度学习模 型， 对工程隐患和人员不规范行为的持续训练， 对不 同的图像进 行识别， 并依据图像识别相似度， 同步推荐疑似问题， 训练过程中需要持续采集 和标记相关样本； 相似度最高的结果确认为识别结果， 其他识別 结果按相似度由高到低排 序， 作为疑似问题进行关联推荐， 得到变化区域2； S54， 对变化区域1和变化区域2进行交叉、 相邻、 包含空间关系判断和空间融合分析计 算， 当交叉、 相邻时取二者之和为变化区域， 当包含时取大 的区域为变化区域， 作为标记 区 域进行类别 智能识别判断； S55， 对上述变化区域与样本库中不正常的样例进行形态、 特征比对， 获取隐患类别， 同 时根据图像识别的类别在隐患标准数据库中模糊匹配相 应的隐患或不规范行为描述作为 疑似问题； S56， 对识别的疑似问题， 按照模糊匹配的工程隐患和不规范行为两个类别写入到对应 的疑似问题数据库中， 并在图片上提供疑似问题的位置、 探头编号、 网格编号、 图片时间、 疑 似问题类别； S57， 根据已分类的疑似问题， 模糊匹配隐患标准数据库中的一般隐患、 严重隐患， 得到 隐患分级信息； S58， 对一般隐患通过不间断加密巡查识别， 进行动态演变监测分析， 通过帧间差分法， 利用图像序列中连续多帧图像的差异 来进行隐患 演化的监测分析， 将连续 实时图像ft‑2(x， y)、 ft‑1(x， y)、 ft(x， y)作差运算， 得到差值图像Dt‑1(x,y)＝ft‑1(x， y)‑ft‑2(x， y)， Dt(x,y)＝ ft(x， y)‑ft‑1(x， y)， 对差值图像Dt‑1(x,y)、 Dt(x,y)除以相应的时间间隔得到变化速率， Vt (x,y)＝Dt(x,y)/ΔT1， Vt‑1(x,y)＝Dt‑1(x,y)/ΔT2， ΔT1为t时刻图像与t ‑1时刻图像之间 的时间间隔， ΔT2为t ‑1时刻图像与t ‑2时刻图像之间的时间间隔， 对变化速率Vt、 Vt‑1再作 差值计算得到ΔV(x,y)＝Vt(x,y)‑Vt‑1(x,y)， 当ΔV(x,y)>＝T时， T为阀值， 认为隐患在演 化发育， 当ΔV(x,y)<T时认 为隐患在逐渐消除， 如隐患在不断演化， 修改隐患级别为严重隐 患。 7.根据权利要求1所述的方法， 其特 征在于， 还 包括： S59， 据已分类分级的隐患模糊匹配隐患标准数据库中相应的处理对策和解决方案， 生 成预警信息， 所述预警信息包括隐患类别、 级别、 所属网格(探 头)、 解决方案 。 8.一种基于 视频监控的水利工程智能巡查装置， 其特 征在于， 应用到服 务器， 包括： 第一建立模块， 用于根据水利工程监督检查办法和水利 工程运行管理规程梳理水利 工 程巡查清单， 建立需检查的隐患标准数据库； 网格化模块， 用于根据每个摄像头监视范围对水利工程巡查区域进行网格化处理， 其 中每个网格至少具有一个摄像头和语音广播装置， 每个摄像头的监视范围内至少设置四个 特征点并直接 定位到巡查区域的电子地图上；权　利　要　求　书 2/3 页 3 CN 115546917 A 3