(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210726604.9 (22)申请日 2022.06.24 (71)申请人 中广建融合 （北京） 科技有限公司 地址 100045 北京市西城区南 礼士路13号1 号楼一层1 12房间 (72)发明人 欧阳玥　张恒　金辉　周耀平　 (74)专利代理 机构 北京力量专利代理事务所 (特殊普通 合伙) 11504 专利代理师 郭大为 (51)Int.Cl. H04N 5/232(2006.01) H04N 5/225(2006.01) H04N 5/265(2006.01) H04N 19/42(2014.01) H04N 21/44(2011.01)G06T 19/00(2011.01) G06T 15/20(2011.01) G06T 5/50(2006.01) (54)发明名称 一种基于沉浸式视频终端搭建的XR虚拟拍 摄系统 (57)摘要 本发明提供一种基于沉浸式视频终端搭建 的XR虚拟拍摄系统， 属于虚拟拍摄系统技术领 域， 该系统包括： 虚拟数字资产、 摄像机追踪、 播 控、 渲染和合成系统等。 本发明构建了实时合成 渲染的拍摄流程， 基于实景三维空间和实时影像 在三维GIS系统的融合数据， 通过摄像机追踪系 统实时发送 位置姿态等信息给渲染服务器， 渲染 服务器将虚拟画面进行渲染输出显示和合成服 务器， 显示服务器将画面发送给LED屏， 合成服务 器将摄像机的画面和渲染画面实时进行合成输 出给监视器进行调色、 存储和监看， 同步信号发 生器给各系统授时。 解决了传统绿幕拍摄系统后 期处理困难、 无实物表演、 无法精准把控拍摄效 果和数字资产数据获取难度大， 整体性、 准确性 和实时性 好的难题。 权利要求书2页 说明书6页 附图1页 CN 115118880 A 2022.09.27 CN 115118880 A 1.一种基于沉浸式视频终端搭建的XR虚拟拍摄系统， 其特 征在于， 该系统包括： 虚拟数字资产系统， 其基于实景三维空间数据模型和实时影像在三维GIS系统融合而 成虚实结合的系统； 追踪系统， 所述追踪系统用于获取摄 像机的位置姿态6DOF信息和摄 像机焦距信息； hecoos服务器， 所述播控服务器用于接收所述追踪系 统获取的摄像机信息， 并将信息 转发给渲染服务器进行渲染处理； 合成服务器实时接收摄像机的画面和渲染服务器的画 面， 进行合成渲染， 并输出 给监视器， 监视器进行 校色后存 储， 并同时将信号传至监看大屏。 渲染服务器， 渲染服务器接收到播控服务器的位置姿态数据后， 将实时渲染该姿态下 的背景、 前 景、 扩展虚拟画面输出显示和合成服 务器， 显示 服务器将画面发送给LED屏。 同步发生器， 同步发生器将同步 时钟信号分别下发虚拟数字资产系统、 追踪系统、 播控 服务器、 渲染服 务器、 合成服 务器和摄 像机。 2.根据权利要求1所述的一种基于沉浸式视频终端搭建的XR虚拟拍摄系统， 其特征在 于， 所述渲染服务器为UE4、 Notch或unity引擎中的一种， 其底层数据使用的是基于实景三 维模型或实时影 像采集融合的模型资产。 3.根据权利要求2所述的一种基于沉浸式视频终端搭建的XR虚拟拍摄系统， 其特征在 于， 所述青瞳追踪系统获取位置及姿态信息 。 4.根据权利要求3所述的一种基于沉浸式视频终端搭建的XR虚拟拍摄系统， 其特征在 于， 所述heco os服务器内设置有heco os合成模块和heco os显示模块。 5.根据权利要求4所述的一种基于沉浸式视频终端搭建的XR虚拟拍摄系统， 其特征在 于， 所述heco os合成模块 通过视频编码器采集摄 像机拍摄的现场画面。 6.根据权利要求5所述的一种基于沉浸式视频终端搭建的XR虚拟拍摄系统， 其特征在 于， 所述渲染服务器通过网络或串口将画面信息发送给heco os服务器。 7.根据权利要求6所述的一种基于沉浸式视频终端搭建的XR虚拟拍摄系统， 其特征在 于， 所述渲染服务器渲染出的画面包括背景画面和前 景画面。 8.一种基于沉浸式视频终端搭建的XR虚拟拍摄系统的工作方法， 应用于权利要求1 ‑7 任意一项所述的一种基于沉浸式视频终端搭建的XR虚拟拍摄系统中， 其特征在于， 包括如 下步骤： S1、 首先在 现场摄像机上安装标记物， 然后通过青瞳追踪中的摄像机拍摄标记物， 获取 摄像机的位置信息， 通过网络协议发送给heco os合成模块； S2、 hecoos合成模块 通过视频编码器， 采集摄 像机拍摄的现场画面； S3、 hecoos合成模块对位置信息作出校准处理， 然后将处理后的信息发送给渲染服务 器； S4、 渲染服务器获取位置信息后， 使用UE4渲染引擎， 实时渲染出虚拟背景、 前景画面、 LED屏幕外的拓展画面， 通过网络发送给heco os合成模块和heco os显示模块； S5、 此时hecoos显示模块接收背景画面， 将背景画面输出给LED视频处理器， 让LED屏幕 显示出实时背景； S6、 hecoos合成模块将拍摄到的画面， 与渲染出的虚拟画面合成， 在hecoos服务器中， 对画面的延迟进行调整， 并调整LED画面与LED屏外扩展画面间的色差， 将最终的合成画面 输出给导播台或显示设备。权　利　要　求　书 1/2 页 2 CN 115118880 A 29.根据权利要求8所述的一种基于沉浸式视频终端搭建的XR虚拟拍摄系统的工作方 法， 其特征在于， 所述 步骤S5中通过heco os合成模块输出画面。 10.根据权利要求9所述的一种基于沉浸式视频终端搭建的XR虚拟拍摄系统的工作方 法， 其特征在于， 还包括同步信号发生器， 所述同步信号发生器用于给各设备提供同步信 号。权　利　要　求　书 2/2 页 3 CN 115118880 A 3