(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111263218.2 (22)申请日 2021.10.21 (71)申请人 深圳市联谛信息无障碍有限责任公 司 地址 518000 广东省深圳市福田区莲 花街 道雨田路富 莲大厦一栋一楼 (72)发明人 李柳玲　王孟琦　刘彪　谢晟　 (74)专利代理 机构 深圳市六加知识产权代理有 限公司 4 4372 代理人 陈金赏 (51)Int.Cl. G06F 9/451(2018.01) G06F 3/0484(2022.01) G06F 3/0488(2022.01) G06N 20/00(2019.01) (54)发明名称 一种操作移动终端用户界面的方法、 装置及 其电子设备 (57)摘要 本申请公开一种操作移动终端用户界面的 方法、 装置、 和电子设备。 该方法包括： 获取操作 指令； 根据操作指令， 控制操作终端操作移动终 端用户界面， 以使操作终端执行与操作指令对应 的操作， 其中， 操作终端对移动终端用户界面进 行操作的关键操作路径， 通过预设人工智能模型 从预设视频中学习。 本发明通过下达操作指令， 让操作终端根据操作 指令自动操作移动终端， 方 便障碍用户操作移动终端。 权利要求书2页 说明书9页 附图2页 CN 113986434 A 2022.01.28 CN 113986434 A 1.一种操作移动终端用户界面的方法， 其特 征在于， 所述方法包括： 获取操作指令； 根据所述操作指令， 控制操作终端操作所述移动终端用户界面， 以使所述操作终端执 行与所述操作指令对应的操作， 其中， 所述操作终端对所述移动终端用户界面进行所述操 作的关键操作路径， 通过 预设人工智能模型从预设视频中学习。 2.根据权利要求1所述的方法， 其特征在于， 所述通过预设人工智能模型从预设视频中 学习， 包括： 获取所述预设视频； 分析所述预设视频， 识别出 所述预设视频内的操作对象和操作主体； 提取所述操作主体对所述操作对象进行操作的所述关键操作路径， 以使所述操作终端 通过所述关键操作路径正确复现对应操作。 3.根据权利要求2所述的方法， 其特 征在于， 所述方法还 包括： 设置所述关键操作路径对应的关键信息， 其中， 所述关键信息对应至少一个所述关键 操作路径。 4.根据权利要求3所述的方法， 其特 征在于， 所述方法还 包括： 通过所述预设人工智能模型识别所述操作指令， 找到与 所述操作指令对应的所述关键 信息； 根据所述关键信 息对应的所述关键操作路径， 控制所述操作终端操作 所述移动终端用 户界面。 5.根据权利要求1 ‑4任一项所述的方法， 其特 征在于， 所述方法还 包括： 获取所述移动终端用户界面的图像； 根据所述图像， 实时校正所述操作终端对所述移动终端用户界面的操作过程。 6.根据权利要求5所述的方法， 其特征在于， 所述根据所述图像， 实时校正所述操作过 程， 包括： 根据所述图像， 由预设人工智能模型判断所述用户界面是否为所述操作 过程对应的用 户界面； 若是， 则， 继续执 行所述操作过程； 否则， 控制所述移动终端切换到所述操作过程对应的用户界面。 7.根据权利要求6所述的方法， 其特征在于， 所述由预设人工智能模型判断所述用户界 面是否为所述操作过程对应的用户界面， 包括： 训练所述预设人工智能模型； 获取若干所述移动终端用户界面的样本； 为每个所述样本打上对应的标签； 根据机器学习算法， 使用所述移动终端用户界面的样本以及每个所述样本对应的标签 对所述预设人工智能模型进行训练， 获得训练好的所述预设人工智能模型。 8.根据权利要求6所述的方法， 其特征在于， 所述操作指令为语音指令， 所述操作终端 为带触控笔的机 械臂。 9.一种操作移动终端用户界面的装置， 其特 征在于， 所述装置包括： 获取模块， 用于获取操作指令；权　利　要　求　书 1/2 页 2 CN 113986434 A 2操作模块， 用于根据 所述操作指令， 控制操作终端操作移动终端用户界面， 以使所述操 作终端执行与所述操作指令对应的操作， 其中， 所述操作终端对所述移动终端用户界面进 行所述操作的关键操作路径通过 人工智能模型从预设视频中学习。 10.一种电子设备， 其特 征在于， 包括： 至少一个处 理器； 以及， 与所述至少一个处 理器通信连接的存 储器； 其中， 所述存储器存储有可被所述至少一个处理器执行的指令， 所述指令被所述至少一个处 理器执行， 以使所述至少一个处 理器能够执 行权利要求1 ‑8任一项所述方法。权　利　要　求　书 2/2 页 3 CN 113986434 A 3