(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210492665.3 (22)申请日 2022.05.07 (71)申请人 北京优臻软件技 术有限公司 地址 101112 北京市通州区鑫隅三 街11号 院6号楼2层101-82 (72)发明人 刘佳　王喆　 (74)专利代理 机构 北京路浩知识产权代理有限 公司 11002 专利代理师 白冬梅 (51)Int.Cl. G06V 20/40(2022.01) G06V 10/82(2022.01) G06V 20/52(2022.01) G06T 7/246(2017.01) G06T 7/73(2017.01)G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 应用访问行为的识别、 监控方法及装置 (57)摘要 本发明涉及信息安全 领域， 提供一种应用访 问行为的识别、 监控方法及装置， 方法包括： 获取 访问应用过程中的视频帧数据； 将 视频帧数据输 入预先构建的应用识别模型， 得到理论参数数 据； 将理论参数数据分别与预设的各类应用的标 准参数数据进行比对， 基于比对的结果得到应用 访问行为的识别结果。 通过将 视频帧数据输入应 用识别模型得到理论参数数据， 将理论参数数据 分别与各类应用的标准参数数据进行比对， 基于 比对结果得到应用访问行为的识别结果， 整个应 用访问行为的识别过程不受数据传输方式和协 议加密等应用场景的限制， 适用范围更广， 识别 结果的稳定性和可靠性更高， 解决了现有的应用 识别方式适用范围小且识别结果可靠性低的问 题。 权利要求书2页 说明书9页 附图3页 CN 114882406 A 2022.08.09 CN 114882406 A 1.一种应用访问行为的识别方法， 其特 征在于， 包括： 获取访问应用过程中的视频帧数据； 将所述视频帧数据输入预先构建的应用识别 模型， 得到理论参数数据， 其中， 所述应用 识别模型是基于访问应用过程中的视频帧数据样本以及所述视频帧数据样本对应的标准 参数数据对深度学习模型进行训练得到的； 将所述理论参数数据分别与 预设的各类应用的标准参数数据进行比对， 基于所述比对 的结果得到应用访问行为的识别结果。 2.根据权利要求1所述的应用访问行为的识别方法， 其特征在于， 将所述视频帧数据输 入预先构建的应用识别模型， 得到理论 参数数据， 包括： 对所述视频帧数据进行图像像素色差分析， 得到色差分析结果； 和/或对所述视频帧数 据进行关键点定位分析， 得到关键点定位分析结果； 和/或对 所述视频帧数据进 行关键字语 句排序分析， 得到关键字排序分析结果； 和/或对所述视频帧数据进行页面元素追踪分析， 得到页面元 素的变化轨 迹分析结果； 将所述色差分析结果、 关键点定位分析结果、 关键字排序分析结果和/或页面元素的变 化轨迹分析结果作为理论 参数数据。 3.根据权利要求2所述的应用访问行为的识别方法， 其特征在于， 所述对所述视频帧数 据进行图像 像素色差分析， 得到色差分析 结果， 包括： 获取所述视频帧数据中图像区域的背景颜色值； 基于所述图像区域的背景颜色值， 对所述视频帧数据进行图像像素色差分析， 确定所 述视频帧数据中关键区域的颜色和形状， 得到色差分析 结果。 4.根据权利要求2所述的应用访问行为的识别方法， 其特征在于， 对所述视频帧数据进 行关键点定位分析， 得到关键点定位分析 结果， 包括： 确定所述视频帧数据中的关键点， 其中， 所述关键点包括： 关键图标、 关键字、 非图标类 关键图形和关键表格中至少一个； 获取所述关键点的坐标 数据； 基于所述关键点的坐标数据， 确定所述关键点的点间距离信息， 得到关键点定位分析 结果。 5.根据权利要求2所述的应用访问行为的识别方法， 其特征在于， 所述对所述视频帧数 据进行关键 字语句排序分析， 得到关键 字排序分析 结果， 包括： 对所述视频帧数据中的关键 字进行识别 扫描， 得到识别 扫描结果； 根据所述识别 扫描结果， 分析 各个关键 字的语句排序信息， 得到关键 字排序分析 结果。 6.根据权利要求1所述的应用访问行为的识别方法， 其特征在于， 将所述理论参数数据 分别与预设的各类应用的标准参数数据进 行比对， 基于所述比对的结果得到应用访问行为 的识别结果， 包括： 将所述理论参数数据分别与 各类应用的所述标准参数数据进行比对， 根据所述比对的 结果确定当前访问的应用以及当前访问行为， 得到应用访问行为的识别结果。 7.一种应用访问行为的识别装置， 其特 征在于， 包括： 获取模块， 用于获取访问应用过程中的视频帧数据； 第一处理模块， 用于将所述视频帧数据输入预先构建的应用识别模型， 得到理论参数权　利　要　求　书 1/2 页 2 CN 114882406 A 2数据， 其中， 所述应用识别模型是基于访问应用过程中的视频帧数据样本以及所述视频帧 数据样本对应的标准 参数数据对深度学习模型进行训练得到的； 第二处理模块， 用于将所述理论参数数据分别与 预设各类应用的标准参数数据进行比 对， 基于所述比对的结果得到应用访问行为的识别结果。 8.一种应用访问行为的监控方法， 其特 征在于， 包括： 通过如权利要求1至6任一项所述的应用 访问行为的识别方法对应用 访问行为进行识 别， 得到应用访问行为的识别结果； 基于所述应用访问行为的识别结果以及预设的访问控制策略， 对应用访问行为进行监 控。 9.一种电子设备， 包括存储器、 处理器及存储在所述存储器上并可在所述处理器上运 行的计算机程序， 其特征在于， 所述处理器执行所述程序时实现如权利要求1至6任一项所 述应用访问行为的识别方法或如权利要求8所述的应用访问行为的监控方法。 10.一种非暂态计算机可读存储介质， 其上存储有计算机程序， 其特征在于， 所述计算 机程序被处理器执行时实现如权利要求1至6任一项所述应用访问行为的识别方法或如权 利要求8所述的应用访问行为的监控方法。权　利　要　求　书 2/2 页 3 CN 114882406 A 3