(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211322240.4 (22)申请日 2022.10.27 (71)申请人 北京德风 新征程科技有限公司 地址 101499 北京市怀柔区府前街3号楼1 层3-8号-132 (72)发明人 曹有龙　林哲　王清杰　李旭　 (74)专利代理 机构 北京唯智勤实知识产权代理 事务所(普通 合伙) 11557 专利代理师 姜悦 (51)Int.Cl. H04N 5/232(2006.01) H04N 13/161(2018.01) H04N 13/332(2018.01) H04N 13/366(2018.01) G10L 15/22(2006.01)G10L 15/26(2006.01) (54)发明名称 交互信息发送方法、 装置、 服 务器和介质 (57)摘要 本公开的实施例公开了交互信息发送方法、 装置、 服务器和介质。 该方法的一具体实施方式 包括： 接收第一实时全景视频； 接收虚拟现实可 佩戴设备发送的摄像机角度调整语音； 将摄像机 角度调整语音发送至安检客户端， 接收安检客户 端发送的、 针对摄像机角度调整语音的回复语 音； 接收全 景摄像机调整角度后所拍摄的第二实 时全景视频； 接收针对第二实时全 景视频的视频 识别结果； 生成针对虚拟现实可佩戴设备和安检 客户端的交互记录； 将视频识别结果、 摄像机角 度调整语音、 回复语音和交互记录发送至交互信 息展示客户端。 该实施方式可以实时实现虚拟现 实可佩戴设备的相关人员查看摄像机角度调整 后拍摄的局部视频， 以了解到安全检查区域的当 前情况。 权利要求书4页 说明书18页 附图3页 CN 115379125 A 2022.11.22 CN 115379125 A 1.一种交 互信息发送方法， 包括： 接收第一实时全景视频； 响应于确定接收到虚拟现实可佩戴设备的状态为表征虚拟现实可佩戴设备和安检客 户端进行语音交 互的状态， 接收所述虚拟现实可佩戴设备发送的摄 像机角度调整语音； 将所述摄像机角度调整语音发送至安检客户端， 以供所述安检客户端相关用户针对摄 像机角度调整语音对 全景摄像机进行角度调整； 接收所述 安检客户端发送的、 针对所述摄 像机角度调整语音的回复语音； 响应于确定所述全景摄像机角度调整完成， 接收所述全景摄像机调 整角度后所拍摄的 第二实时全景视频； 接收针对所述第二实时全景视频的视频识别结果； 根据所述视频识别结果、 所述摄像机角度调整语音和所述回复语音， 生成针对所述虚 拟现实可佩戴设备和安检客户端的交 互记录； 将所述视频识别结果、 所述摄像机角度调整语音、 所述回复语音和 交互记录发送至交 互信息展示 客户端。 2.根据权利要求1所述的方法， 其中， 所述接收第一实时全景视频， 包括： 控制全景摄 像机， 以对受检区域进行实时拍摄， 以生成实时全景视频； 控制所述全景摄 像机， 以将所述实时全景视频发送至网关服 务器； 控制所述网关服务器， 以对所述实时全景视频进行视频编码， 以生成第一编码后实时 全景视频； 控制所述网关服 务器， 以将所述第一编码后实时全景视频发送至流 媒体服务器； 控制所述流媒体服务器， 以将所述第 一编码后实时全景视频作为第 一实时全景视频进 行发送处 理； 接收所述 流媒体服务器发送的所述第一实时全景视频。 3.根据权利要求1所述的方法， 其中， 所述接收针对所述第 二实时全景视频的视频识别 结果， 包括： 控制所述全景摄像机， 以对受检区域进行实时拍摄， 以生成调整角度后所拍摄的实时 全景视频； 控制所述全景摄像机， 以将所述调整角度后所拍摄的实时全景视频发送至网关服务 器； 控制所述网关服务器， 以将所述调整角度后所拍摄的实时全景视频进行视频编码， 以 生成第二编码后实时全景视频； 控制所述网关服 务器， 以将所述第二编码后实时全景视频发送至流 媒体服务器； 控制所述流媒体服务器， 以将所述第 二编码后实时全景视频作为第 二实时全景视频发 送至视频识别服 务器； 控制所述视频识别服务器， 以接收所述第二实时全景视频， 供视频识别服务器进行视 频识别处 理， 以生成所述第二实时全景视频的视频识别结果； 控制所述视频识别服 务器， 以将所述视频识别结果进行发送处 理； 接收针对所述第二实时全景视频的视频识别结果。 4.根据权利要求3所述的方法， 其中， 所述第 二实时全景视频的视频识别结果是通过以权　利　要　求　书 1/4 页 2 CN 115379125 A 2下步骤生成的： 接收所述第二实时全景视频和观看信息； 响应于确定所述观看信 息为表征观看可扫描码的信 息， 且可扫描码集存在所述第 二实 时全景视频中、 且虚拟现实可佩戴设备的当前可观看视场角对应的画面中不存在所述可扫 描码集， 根据所述当前可观看视场角对应的画面、 所述可扫描码集和所述可扫描码集对应 的可扫描码实际位置集， 生 成针对所述虚拟现实可佩戴设备的第一设备扭转信息集， 其中， 所述第一设备扭转信息集中的第一设备扭转信息和所述可扫描码集中的可扫描码存在一 一对应关系； 将所述第一设备扭转信 息集发送至所述虚拟现实可佩戴设备， 以提示所述虚拟现实可 佩戴设备的相关人员查看所述可扫描码集； 响应于确定虚拟现实可佩戴设备的相关人员针对第 一设备扭转信 息完成设备扭转、 且 所述虚拟现实可佩戴设备的扭转后可观看视场角对应的画面中存在至少一个可扫描码、 且 所述至少一个可扫描码的可扫描码的数量小于等于预设数量， 将所述至少一个可扫描码的 每个可扫描码的图像输入至可扫描码信息识别模型， 以生成识别结果集， 作为视频识别结 果， 其中， 所述第一设备 扭转信息为所述第一设备 扭转信息集中的设备 扭转信息； 响应于确定虚拟现实可佩戴设备的相关人员针对第 一设备扭转信 息完成设备扭转、 且 所述虚拟现实可佩戴设备的扭转后可观看视场角对应的画面中存在至少一个可扫描码、 且 所述至少一个可扫描码的可扫描码的数量大于所述预设数量， 从所述至少一个可扫描码的 可扫描码中筛 选出所述预设数量的可扫描码， 得到可扫描码组； 将所述可扫描码组中的每个可扫描码的图像输入至所述可扫描码信 息识别模型， 以生 成第一子识别结果， 以及将所述至少一个可扫描码中剩余的可扫描码的图像发送至安检客 户端， 以供安检客户端的相关人员对至少一个可扫描码中剩余的可扫描码的图像进行识 别， 以生成第二子识别结果； 将所述第一子识别结果和所述第二子识别结果的融合识别结果确定为视频识别结果。 5.根据权利要求 4所述的方法， 其中， 所述方法还 包括： 响应于确定所述观看信 息为表征观看目标人员的信 息， 且目标人员信 息集存在所述第 二实时全景视频中、 且虚拟现实可佩戴设备的当前可观看视场角对应的画 面中不存在所述 目标人员信息集， 根据所述当前可观看视场角对应的画面、 所述 目标人员信息集和所述 目 标人员信息集对应的目标人员信息实际位置集， 生成针对所述虚拟现实可佩戴设备的第二 设备扭转信息集， 其中， 所述第二设备扭转信息集中的第二设备扭转信息和所述 目标人员 信息集中的目标 人员信息存在一 一对应关系； 将所述第二设备扭转信 息集发送至所述虚拟现实可佩戴设备， 以提示所述虚拟现实可 佩戴设备的相关人员查看所述目标 人员信息集； 响应于确定虚拟现实可佩戴设备的相关人员针对第 二设备扭转信 息完成设备扭转、 且 所述虚拟现实可佩戴设备的扭转后可观看视场角对应的画面中存在至少一个目标人员信 息、 且所述至少一个目标人员信息的目标人员信息的数量小于等于所述预设数量， 对于所 述至少一个目标 人员信息中的每 个目标人员信息的图像， 执 行以下视频 结果生成步骤： 将所述图像输入至目标人员 信息识别模型包括的安全帽佩戴检测子模型、 工服穿着检 测子模型、 口罩佩戴检测子模型、 人员跌倒检测子模型和人员吸烟检测子模型， 以输出安全权　利　要　求　书 2/4 页 3 CN 115379125 A 3