(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210386808.2 (22)申请日 2022.04.13 (65)同一申请的已公布的文献号 申请公布号 CN 114816401 A (43)申请公布日 2022.07.29 (73)专利权人 上海弘玑信息技 术有限公司 地址 201240 上海市闵行区紫星路58 8号2 幢13层055室 (72)发明人 潘巍　王铁　汪勇旭　何叶　 景雪松　 (74)专利代理 机构 北京超凡宏宇专利代理事务 所(特殊普通 合伙) 11463 专利代理师 徐叶馨 (51)Int.Cl. G06F 8/38(2018.01) G06F 9/445(2018.01) G06F 9/451(2018.01)(56)对比文件 CN 114327481 A,202 2.04.12 CN 111857710 A,2020.10.3 0 CN 113796023 A,2021.12.14 CN 106325703 A,2017.01.1 1 CN 10202380 5 A,2011.04.20 CN 107357586 A,2017.1 1.17 US 20180 32745 A1,2018.02.01 US 10558824 B1,2020.02.1 1 CN 111459589 A,2020.07.28 CN 110162249 A,2019.08.23 钱泽虹.面向iOS系统移动终端保密通信技 术研究. 《中国优秀硕士学位 论文全文数据库 信 息科技辑》 .2018, frozen12 2.Linux | c语言静态 链接库和动 态链接库以及动态加载库. 《ht tps:// blog.csdn.net/frozen12 2/article/detai ls/ 116277992》 .2021, (续) 审查员 包静 (54)发明名称 界面元素的定位方法、 电子设备及存 储介质 (57)摘要 本申请提供一种界面元素的定位方法、 电子 设备及存储介质， 该方法由电子设备执行， 电子 设备安装有机器人软件和使用Cef技术的软件客 户端， 该方法包括： 机器人软件启动软件客户端， 并将第一代码动态链接库注入软件客户端的进 程中； 第一代码动态链接库拦截 软件客户端发送 的界面元素加载通知， 对所述界面元素加载通知 进行修改后转发到所述软件客户端的第二代码 动态链接库； 第二代码动态链接库加载软件客户 端的界面元素； 第一代码动态链接库拦截第二代 码动态链接库发送给软件客户端的加载完成通 知， 并调用第二代码动态链接库的编程接口， 执 行界 面 元 素 定 位 脚本 。该 方 案 让 不 支持 accessibility技术的Cef软件 客户端， 能准确定 位界面元 素。 [转续页] 权利要求书2页 说明书9页 附图6页 CN 114816401 B 2022.12.23 CN 114816401 B (56)对比文件 Seung Jae Le等.Simulati on of triaxial compression tests w ith polyhedral discrete elements. 《Computers and Geotechnics》 .2012,第43卷 陈锦富等.一个组件安全自动化测试平台的 设计与实现. 《计算机科 学》 .2008,第35卷(第12 期),2/2 页 2[接上页] CN 114816401 B1.一种界面元素的定位方法， 其特征在于， 所述方法由电子设备执行， 所述电子设备安 装有机器人 软件和使用Cef技 术的软件客户端， 所述方法包括： 所述机器人软件启动所述软件客户端， 并将第 一代码动态链接库注入所述软件客户端 的进程中； 所述第一代码动态链接库拦截所述软件客户端发送的界面元素加载通知， 对所述界面 元素加载通知进行修改后转发到所述软件客户端的第二代码动态链接库， 包括： 通过函数 挂钩技术， 在所述软件客户端调用所述第二代码动态链接库的对 象创建函数之前， 跳转到 所述第一代码动态链接库的参数修改函数； 所述参数修改函数修改所述软件客户端传 入的 地址获取函数为所述第一代码动态链接库的返回函数， 并将所述返回函数传入所述第二代 码动态链接库； 调用所述第二代码动态链接库的对象创建函数， 创建浏览器对象； 或者， 所 述软件客户端调用所述第一代码动态链接库的导出函数， 跳转到所述第二代码动态链接库 的对应函数； 在调用所述第一代码动态链接库的对 象创建函数时， 修改所述软件客户端传 入的地址获取函数为所述第一代码动态链接库的返回函数， 并将所述返回函数传入所述第 二代码动态 链接库； 调用所述第二代码动态 链接库的对象创建函数， 创建浏览器对象； 所述第二代码动态 链接库加载 所述软件客户端的界面元 素； 所述第一代码动态链接库拦截所述第二代码动态链接库发送给所述软件客户端的加 载完成通知， 并调用所述第二代码动态 链接库的编程接口， 执 行界面元 素定位脚本 。 2.根据权利要求1所述的方法， 其特 征在于， 所述执 行界面元 素定位脚本， 包括： 所述软件客户端通过socket网络通信技术与所述机器人软件进行通信， 接收机器人软 件发送的鼠标位置信息； 所述软件客户端向所述机器人 软件返回所述鼠标位置信息对应的界面元 素信息。 3.根据权利要求2所述的方法， 其特 征在于， 所述执 行界面元 素定位脚本， 包括： 所述软件客户端接收所述机器人 软件发送的界面元 素信息和操作信息； 根据所述界面元 素信息， 找到相应的界面元 素； 根据所述操作信息， 对找到的所述界面元 素执行相应的操作。 4.根据权利要求1所述的方法， 其特征在于， 所述第 一代码动态链接库拦截所述软件客 户端发送的界面元素加载通知， 对所述界面元素加载通知进 行修改后转 发到所述软件客户 端的第二代码动态 链接库， 包括： 所述第一代码动态链接库拦截所述软件客户端发送给所述第二代码动态链接库的界 面元素加载通知； 所述第一代码动态 链接库对所述界面元 素加载通知进行修改； 所述第一代码动态 链接库将修改后的界面元 素加载通知转发到第二代码动态 链接库。 5.根据权利要求1所述的方法， 其特征在于， 所述第 二代码动态链接库加载所述软件客 户端的界面元 素， 包括： 通过所述浏览器对象绘制所述软件客户端的界面元 素。 6.根据权利要求1所述的方法， 其特征在于， 所述第 一代码动态链接库拦截所述第 二代 码动态链接库发送给所述软件客户端的加载完成通知， 并调用所述第二代码动态链接库的 编程接口， 执 行界面元 素定位脚本， 包括： 所述第二代码动态链接库调用所述第 一代码动态链接库的返回函数， 获得所述第 一代权　利　要　求　书 1/2 页 2 CN 114816401 B 3