(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211046321.6 (22)申请日 2022.08.30 (71)申请人 航天数智 （苏州） 科技有限公司 地址 215500 江苏省苏州市 常熟高新 技术 产业开发区湖山路2号同济科技广场1 幢2110 (72)发明人 彭功状　叶强　 (74)专利代理 机构 北京睿智保诚专利代理事务 所(普通合伙) 11732 专利代理师 杜娟 (51)Int.Cl. H04N 7/14(2006.01) H04L 65/80(2022.01) H04L 65/403(2022.01) G06T 17/00(2006.01)G06T 5/00(2006.01) (54)发明名称 一种基于视频协作的远程指导系统 (57)摘要 本发明公开了一种基于视频协作的远程指 导系统， 涉及维修指导技术领域， 包括： 音频及视 频通讯模块， 所述音 频及视频通话模块与所述用 户终端及所述专家远程终端 连接， 用于将所述用 户终端及所述专家远程终端开启音频及视频通 话的同时共享设备画面； 锁屏模块， 用于在所述 用户终端及所述专家远程终端视频通话过程中 保持所述设备画面的显示内容不变； 音频通讯优 先传输模块， 用于当网络不通畅时检测是否存在 音频信息及视频信息， 当同时检测到音频信息及 视频信息时则优先发送音频信息； 传输模块， 用 于在所述用户终端及所述专家远程终端之间发 送远程指导信息； 本发明具有适应性强、 流畅性 好、 建模快速简单、 指导经验 存储复用等优点。 权利要求书1页 说明书4页 附图1页 CN 115426471 A 2022.12.02 CN 115426471 A 1.一种基于视频协作的远程指导系统， 应用于用户终端及专家远程终端， 其特征在于， 包括： 音频及视频通讯模块， 所述音频及视频通话模块与所述用户终端及所述专家远程终端 连接， 用于将所述用户终端及所述专家远程终端开启音频及视频通话的同时共享设备画 面； 锁屏模块， 用于在所述用户终端及所述专家远程终端视频通话过程中保持所述设备画 面的显示内容 不变； 音频通讯优先传输模块， 用于当网络不通畅时检测是否存在音频信息及视频信息， 当 同时检测到音频信息及视频信息时则优先发送音频信息； 传输模块， 用于在所述用户终端及所述专 家远程终端之间发送远程指导信息 。 2.根据权利要求1所述的一种基于视频协作的远程指导系统， 其特征在于， 还包括： 所 述音频通讯优先传输模块还用于当检测到 视频信息时， 对视频信息进行分块发送处 理。 3.根据权利要求2所述的一种基于视频协作的远程指导系统， 其特征在于， 还包括： 锚 定标记模块， 用于在所述用户终端及所述专家远程终端进 行视频通话时对 所述设备画面添 加故障点标注信息并锚定在设备的故障部位。 4.根据权利要求3所述的一种基于视频协作的远程指导系统， 其特征在于， 还包括： 视 频背景模糊模块， 用于对所述设备画面中的背景进行模糊处 理。 5.根据权利要求2所述的一种基于视频协作的远程指导系统， 其特征在于， 还包括： 视 频降帧模块， 用于在网络环境 不佳时对所述设备画面进行降帧处 理。 6.根据权利要求2所述的一种基于视频协作的远程指导系统， 其特征在于， 还包括： 音 频降噪模块， 用于当存在环境噪音时对环境噪音 进行降噪处 理。 7.根据权利要求2所述的一种基于视频协作的远程指导系统， 其特征在于， 还包括： 三 维重建模块， 用于对所述设备画面中的整个设备进行三维重建。 8.根据权利要求1 ‑7所述的一种基于视频协作的远程指导系统， 其特征在于， 还包括： 存储模块， 用于存 储音频信息、 视频信息及远程指导信息 。权　利　要　求　书 1/1 页 2 CN 115426471 A 2一种基于视频协作的远 程指导系统 技术领域 [0001]本发明涉及维修指导技术领域， 更具体的说是涉及一种基于视频协作的远程指导 系统。 背景技术 [0002]目前， 在工业设备日常工作过程中， 设备故障时有发生， 当用户无法独立解决问题 时， 需寻求专业人员的技术指导。 若联系原厂售后到现场解决问题， 往往存在响应慢、 成本 较高、 耽误作业进度等问题。 [0003]随着互联 网技术的发展， 现场工作人员还可利用当下受众较广的主流社交软件远 程解决设备运 维问题。 这种方式可以较快联系到远程专家， 但是单一的音视频通话， 难以做 到有效沟通， 容易产生歧义， 例如无法准确描述 故障位置， 一定程度地限制了远程指导的效 率。 并且目前主流社 交软件并不能完全适应网络较差、 噪声较大的作业环境。 伴随着设备复 杂程度的提高， 传统方式不仅维修成本高， 响应时间长， 而且对维修方案描述不直观， 导致 维修效率低下， 例如中国专利CN  110324560A提出了一种远程视频指导维修系统， 介绍了维 修系统的结构， 仅包含显示图像、 拍摄图像、 图像识别、 语音传输和同步等功能， 功能有限， 远程指导效果较差 。 [0004]因此， 如何提供一种能够 解决上述问题的远程指导系统是本领域技术人员亟需解 决的问题。 发明内容 [0005]有鉴于此， 本 发明提供了一种基于视频协作的远程指导系统， 具有适应性强、 流畅 性好、 通信稳定、 建模快速简单、 标记故障直观、 指导经验 存储复用等优点。 [0006]为了实现上述目的， 本发明采用如下技 术方案： [0007]一种基于 视频协作的远程指导系统， 应用于用户终端及专 家远程终端， 包括： [0008]音频及视频通讯模块， 所述音频及视频通话模块与所述用户终端及所述专家远程 终端连接， 用于将所述用户终端及所述专家远程 终端开启音频及视频通话的同时共享设备 画面； [0009]锁屏模块， 用于在所述用户终端及所述专家远程终端视频通话过程中保持所述设 备画面的显示内容 不变； [0010]音频通讯优先传输模块， 用于当网络不通畅时检测是否存在音频信息及视频信 息， 当同时检测到音频信息及视频信息时则优先发送音频信息； [0011]传输模块， 用于在所述用户终端及所述专 家远程终端之间发送远程指导信息 。 [0012]优选的， 还包括： 所述音频通讯优先传输模块还用于当检测到视频信息时， 对视频 信息进行分块发送处 理。 [0013]优选的， 还包括： 锚定标记模块， 用于在所述用户终端及所述专家远程终端进行视 频通话时对所述设备画面添加故障点标注信息并锚定在设备的故障部位。说　明　书 1/4 页 3 CN 115426471 A 3