(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211062655.2 (22)申请日 2022.08.31 (71)申请人 之江实验室 地址 310023 浙江省杭州市余杭区文一西 路1818号人工智能小镇10号楼 (72)发明人 鲍虎军　张举勇　邓治　李特　 (74)专利代理 机构 杭州求是专利事务所有限公 司 33200 专利代理师 邱启旺 (51)Int.Cl. G06T 17/00(2006.01) G06T 7/80(2017.01) G06T 7/194(2017.01) G06F 30/27(2020.01) G06F 30/10(2020.01)G06F 17/12(2006.01) G06F 17/13(2006.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于运动分解的动态物体重建方法及 装置 (57)摘要 本发明公开了一种基于运动分解的动态物 体重建方法及装置， 该方法包括： 对包含目标物 体运动过程的初始动态视频集合V逐帧进行分 割， 得到V中每帧图像的前景动态区域； 使用多视 角重建的方法， 得到V中每帧图像的相机外参数 与内参数； 对V的每一帧， 构造邻居集， 并借助于 预训练的光流方法对所述邻居集中所选的图片 对进行光流估计， 得到两帧之间的光流； 根据V中 每帧图像的前景动态区域、 相机外参数与内参 数， 建立非刚性神经体渲染模型； 根据所述非刚 性神经体渲染模 型和所述光流， 结合时序的一致 性约束， 得到优化的非刚性神经体渲染模型； 根 据所述优化的非 刚性神经体渲染模 型， 重建所述 目标物体 每一帧的完整几何和颜色。 权利要求书3页 说明书10页 附图2页 CN 115482332 A 2022.12.16 CN 115482332 A 1.一种基于运动分解的动态 物体重建方法， 其特 征在于， 包括： (1)对包含目标物体运动过程的初始动态视频集合V逐帧进行分割， 得到所述初始动态 视频集合V中每帧图像的前 景动态区域； (2)使用多视角重建的方法， 得到所述初始动态视频集合V中每帧图像的相机外参数与 内参数； (3)对所述初始动态视频集合V的每一帧， 构造邻居集， 并借助于预训练的光流方法对 所述邻居集中所选的图片对进行光 流估计， 得到 两帧之间的光 流； (4)根据所述初始动态视频集合V中每帧图像的前景动态区域、 相机外参数与内参数， 建立非刚性神经体渲染模型； (5)根据所述非刚性神经体渲染模型和所述光流， 结合时序的一致性约束， 得到优化的 非刚性神经体渲染模型； (6)根据所述优化的非刚性神经体渲染模型， 重建所述目标物体 每一帧的几何和颜色。 2.根据权利要求1所述的方法， 其特征在于， 所述非刚性神经体渲染模型包括标准空间 的几何模块、 标准空间的颜色模块和其 他帧变到标准空间的变形场模块。 3.根据权利要求2所述的方法， 其特 征在于， 所述标准空间的几何模块 为： x→σ： fθ(x) 其中， θ是标准空间的几何模型参数， 该模型会将标准空间中的一个点， 解码出标准空 间几何的符号距离函数， σ 为输出的标量属性， fθ(x)为建模x与σ 之间的映射 的含参隐式函 数。 所述标准空间的颜色模块 为： (p， v， cappe(t))→c:cψ(p， v， cappe(I)) 其中θ是标准空间的几何模型参数， 该模型会将标准空间中的一个点， 解码出标准空间 几何的符号距离函数, ψ是标准帧的颜色模 型参数， p是标准空间的位置， v是p点在标准空间 的射线方向， cappe(I)对应I张图片的外观条件向量， c为颜色属性， cψ为建模(p,v,cappe(t)) 的含参隐式函数， t 表示第t帧。 所述其他帧变到标准空间的变形场模块 为： (p(t)， cdef(t))→p′(t)： Dη(p(t)， cdef(t)) 其中， η是从将第t帧中的点变到标准空间的变形场的参数， p(t)表示t帧下的点的位 置， p’(t)表示变形到标准帧的位置， cdef(t)是对应t帧的变形 条件向量。 4.根据权利要求1所述的方法， 其特 征在于， 第t帧的所述非刚性神经体渲染模型为： 其中， o是第t帧 的相机中心， snear与sfar是第t帧的相机对应的近远平面， ω(s)是 沿着射 线v再对应点p(s)在标准空间中变形后的点密度， v(u,t)表 示的是对于t帧,像素u对应的视 角方向， J对应的是 该变形在 p点对应的雅可比矩阵。 权　利　要　求　书 1/3 页 2 CN 115482332 A 25.根据权利要求2所述的方法， 其特征在于， 所述非刚性神经体渲染模型通过其他帧变 到标准空间的变形场模块和标准空间的渲 染模块C(o,v)得到， 所述标准空间的渲 染模块根 据所述标准空间的几何模块和标准空间的颜色模块得到： φγ(x)＝γe‑γx/(1+e‑γx)‑2 其中， o是图片I对应的相机中心， v是像 素u与相机中心连接的射线， snear与sfar分别是图 片I对应的相机的近远平 面， 其中ω(s)是沿着射线v 再对应点p(s)处的密度， 通过再该点的 符号距离函数做变换得到， φγ(x)为对密度函数作用的一种非线性激活函数， 在这个函数 的激活下， 可以使得密度达到无偏的属性， γ是一个超参数， 用于控制几何与渲染的稀疏 性。 6.根据权利要求1所述的方法， 其特征在于， 在步骤(5)中， 当模型的损失函数收敛时， 模型优化完成， 其中所述损失函数为： 其中各项损失分别为: 表示渲染的颜色与当前帧图片的颜色一 致的Lcolor: 关于几何的规则项， 约束几何尽可能满足Ei konal方程的约束Lreg: 关于前景区域的面 罩约束Lmask， 使用交叉熵损失函数: 其中面罩的估计是通过体渲染对密度的积分得到： 关于在时序上几何一 致的约束:权　利　要　求　书 2/3 页 3 CN 115482332 A 3