(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210613804.3 (22)申请日 2022.06.01 (71)申请人 中广核工程有限公司 地址 518124 广东省深圳市大鹏新区鹏飞 路大亚湾 核电基地工程公司办公大楼 申请人 中国广核集团有限公司 　 中国广核电力股份有限公司 (72)发明人 袁小宁　陈军　仇少帅　刘朝鹏　 (74)专利代理 机构 广州三环 专利商标代理有限 公司 44202 专利代理师 王基才 (51)Int.Cl. G06V 40/20(2022.01) G06V 20/40(2022.01) G06V 20/52(2022.01)G06N 5/04(2006.01) G06N 20/00(2019.01) G06Q 50/06(2012.01) G21D 3/00(2006.01) G08B 31/00(2006.01) G08B 21/24(2006.01) (54)发明名称 控制系统的在线预警方法、 装置、 计算机设 备及介质 (57)摘要 本发明公开了一种控制系统的在线预警方 法、 装置、 计算机设备及介质， 其中， 控制系统的 在线预警方法包括： 实时获取操作员的操作视频 流， 基于操作视频流识别至少两帧操作窗口面板 图像； 基于所有操作窗口面板图像， 获取操作员 的至少一个单步操作路径； 基于操作规程和所有 单步操作路径， 获取至少一个单步操作诊断结 果， 并基于操作规程、 误操作案例库以及至少一 个单步操作诊断结果， 获取多步操作诊断结果； 根据单步操作诊断结果和/或多步操作诊断结 果， 对误操作发出预警或启动人机交互操作终止 指令。 该方法可有效保障核电厂安全持续运行， 提高自动化在线预警的能力， 减少人工干预的成 本。 权利要求书2页 说明书9页 附图4页 CN 115019392 A 2022.09.06 CN 115019392 A 1.一种控制系统的在线预警方法， 其特 征在于， 包括： 实时获取操作员的操作视频流， 基于所述操作视频流识别至少两帧操作窗口面板图 像； 基于所有所述操作窗口面板图像， 获取 所述操作员的至少一个单步操作路径； 基于操作规程和所有所述单步操作路径， 获取至少一个单步操作诊断结果， 并基于所 述操作规 程、 误操作案例库以及至少一个所述单步操作诊断结果， 获取多步操作诊断结果； 根据所述单步操作诊断结果和/或所述多步操作诊断结果， 对误操作发出预警或启动 人机交互操作终止指令 。 2.根据权利要求1所述的控制系统 的在线预警方法， 其特征在于， 所述实时获取操作员 的操作视频流， 基于所述操作视频流识别至少两帧操作窗口面板图像， 包括： 对所述操作视频流进行 过滤， 通过图像算法提取至少两帧操作窗口图像； 基于至少两帧所述操作窗口图像进行特征提取， 获取所述操作窗口图像对应的操作动 作信息； 按时间戳对所有所述操作动作信息进行排序， 获取操作动作信息序列。 3.根据权利要求1所述的控制系统 的在线预警方法， 其特征在于， 所述基于所有所述操 作窗口面板图像， 获取 所述操作员的至少一个单步操作路径， 包括： 结合所述操作动作信息序列和控制系统的所述操作规 程， 形成结构化信息 框架； 基于工艺设计参数库、 操作规程库和操作经验库， 对所述结构化信 息框架进行补充， 形 成所述操作视频流对应的整体操作路径， 所述整体操作路径包括至少一个所述单步操作路 径。 4.根据权利要求3所述的控制系统 的在线预警方法， 其特征在于， 所述结合所述操作动 作信息序列和控制系统的操作规 程， 形成结构化信息 框架， 包括： 获取两两所述单步操作路径之间的关联信息关系， 并基于所有所述关联信息关系， 形 成有向链接弧； 基于所有所述有向链接弧和所述操作规 程， 形成所述结构化信息 框架。 5.根据权利要求1所述的控制系统 的在线预警方法， 其特征在于， 所述基于操作规程和 所有所述单步操作路径， 获取至少一个单步操作诊断结果， 包括： 获取每一所述单步操作路径对应的单步操作意图； 基于所述操作规程和每一所述单步操作意图进行单步操作一致性分析， 获取所述单步 操作诊断结果。 6.根据权利要求1所述的控制系统 的在线预警方法， 其特征在于， 所述基于所述操作规 程、 误操作案例库以及至少一个所述单步操作诊断结果， 获取多步操作诊断结果， 包括： 基于每一所述单步操作路径， 建立诊断证据链； 采用机器学习算法对所述诊断证据链、 所有所述单步操作诊断结果、 所述操作规程和 所述误操作案例库进行分析， 获取 所述多步操作诊断结果。 7.根据权利要求1所述的控制系统 的在线预警方法， 其特征在于， 所述根据所述单步操 作诊断结果和/或所述多步操作诊断结果， 对误操作发出预警或启动人机交互操作终止指 令， 包括： 对所述单步操作诊断结果和/或所述多步操作诊断结果进行真实性确认；权　利　要　求　书 1/2 页 2 CN 115019392 A 2若所述真实性确认为真实， 则对误操作发出 预警或启动人机交 互操作终止指令 。 8.一种控制系统的在线预警装置， 其特 征在于， 包括： 识别面板 图像模块， 用于实时获取操作员的操作视频流， 基于所述操作视频流识别至 少两帧操作窗口面板图像； 获取操作路径模块， 用于基于所有所述操作窗口面板 图像， 获取所述操作员的至少一 个单步操作路径； 获取诊断结果模块， 用于基于操作规程和所有所述单步操作路径， 获取至少一个单步 操作诊断结果， 并基于所述操作规程、 误操作案例库以及至少一个所述单步操作诊断结果， 获取多步操作诊断结果； 发出误操作预警模块， 用于根据所述单步操作诊断结果和/或所述多步操作诊断结果， 对误操作发出 预警或启动人机交 互操作终止指令 。 9.一种计算机设备， 包括存储器、 处理器以及存储在所述存储器中并可在所述处理器 上运行的计算机程序， 其特征在于， 所述处理器执行所述计算机程序时实现如权利要求 1至 7任一项所述控制系统的在线预警方法。 10.一种计算机可读介质， 所述计算机可读介质存储有计算机程序， 其特征在于， 所述 计算机程序被处 理器执行时实现如权利要求1至7任一项所述控制系统的在线预警方法。权　利　要　求　书 2/2 页 3 CN 115019392 A 3