(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211223718.8 (22)申请日 2022.10.08 (71)申请人 上海弘玑信息技 术有限公司 地址 201240 上海市闵行区紫星路58 8号2 幢13层055室 (72)发明人 杭天欣　高煜光　康佳慧　 (74)专利代理 机构 北京超凡宏宇专利代理事务 所(特殊普通 合伙) 11463 专利代理师 钟扬飞 (51)Int.Cl. G06F 9/451(2018.01) G06V 10/46(2022.01) G06V 10/75(2022.01) (54)发明名称 界面图像的自动采集方法及电子设备 (57)摘要 本申请提供一种界面图像的自动采集方法 及电子设备， 该方法包括： 根据获取的操作流程 记录， 对当前图形界面进行截屏， 获得界面图像； 根据操作流程记录指示的下一步按钮图像， 在界 面图像中查找按钮图像的目标位置； 根据操作流 程记录指示的点击操作， 自动控制鼠标移动到目 标位置并进行点击操作； 若跳转到下一个图形界 面， 继续根据操作流程记录进行截屏操作， 获得 下一个界面图像。 本申请实施例利用RPA技术自 动采集界面图像， 极大降低了人工成本， 方案可 复用性高， 提高了数据的多样性， 并保证了数据 的质量。 权利要求书2页 说明书8页 附图3页 CN 115525380 A 2022.12.27 CN 115525380 A 1.一种界面图像的自动采集方法， 其特 征在于， 包括： 根据获取的操作流 程记录， 对当前图形界面进行截屏， 获得界面图像； 根据所述操作流程记录指示的下一步按钮图像， 在所述界面图像中查找所述按钮图像 的目标位置； 根据所述操作流程记录指示的点击操作， 自动控制鼠标移动到所述目标位置并进行点 击操作； 若跳转到下一个图形界面， 继续根据所述操作流程记录进行截屏操作， 获得下一个界 面图像。 2.根据权利要求1所述的方法， 其特征在于， 所述根据所述操作流程记录指示的下一步 按钮图像， 在所述界面图像中查找所述按 钮图像的目标位置， 包括： 根据所述操作流程记录指示的下一步按钮图像， 通过单应性匹配算法在所述界面图像 中获得所述按钮图像的目标位置 。 3.根据权利要求2所述的方法， 其特征在于， 所述根据所述操作流程记录指示的下一步 按钮图像， 通过单应性匹配算法在所述界面图像中匹配得到所述按钮图像的目标位置， 包 括： 计算从所述按 钮图像到所述界面图像的单应性矩阵； 根据所述按钮图像的中心点坐标以及所述单应性矩阵， 确定所述按钮图像在所述界面 图像中的目标位置 。 4.根据权利要求3所述的方法， 其特征在于， 所述计算从所述按钮图像到所述界面图像 的单应性矩阵， 包括： 对所述按钮图像和所述界面图像进行特征提取， 获得所述按钮图像中每个关键点的特 征描述子以及所述界面图像中每 个关键点的特 征描述子； 将所述按钮图像中每个关键点的特征描述子以及所述界面图像中每个关键点的特征 描述子进行匹配， 获得多个最匹配的特 征描述对； 根据多个最匹配的特 征描述对， 得到对应的多个关键点对； 根据多个关键点对的坐标信 息， 计算得到从所述按钮图像的关键点变换到所述界面图 像对应关键点的单应性矩阵。 5.根据权利要求3所述的方法， 其特征在于， 所述根据所述按钮图像的中心点坐标以及 所述单应性矩阵， 确定所述按 钮图像在所述界面图像中的目标位置， 包括： 根据所述按 钮图像的宽和高， 确定所述按 钮图像的中心点 坐标； 根据所述单应性矩阵指示的x方向的偏移量和y方向的偏移量， 以及所述按钮图像的中 心点坐标， 确定所述按 钮图像的中心点 坐标在所述界面图像中的目标位置 。 6.根据权利要求1所述的方法， 其特征在于， 在所述根据获取的操作流程记录， 对当前 图形界面进行截屏， 获得界面图像之后， 所述方法还 包括： 根据所述操作流程记录指示的是否去重， 若不去重， 则将所述界面图像存入数据库中； 若去重， 则舍弃， 不存 入数据库中。 7.根据权利要求1所述的方法， 其特征在于， 在所述根据获取的操作流程记录， 对当前 图形界面进行截屏， 获得界面图像之前， 所述方法还 包括： 打开待采集软件或待采集网站， 启动RPA脚本 。权　利　要　求　书 1/2 页 2 CN 115525380 A 28.根据权利要求7所述的方法， 其特征在于， 在所述根据 所述操作流程记录指示的点击 操作， 自动控制鼠标移动到所述目标位置并进行点击操作之后， 所述方法还 包括: 若所述待采集软件或待采集网站自动关闭， 则结束本次采集 流程。 9.根据权利要求7所述的方法， 其特征在于， 在所述打开待采集软件或待采集网站之 后， 所述方法还 包括： 登录指定账户； 其中， 每次采集 流程登录不同的账户。 10.一种电子设备， 其特 征在于， 所述电子设备包括： 处理器； 用于存储处理器可执行指令的存 储器； 其中， 所述处理器被配置为执行权利要求1 ‑9任意一项所述的界面图像的自动采集方 法。权　利　要　求　书 2/2 页 3 CN 115525380 A 3