(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211304570.0 (22)申请日 2022.10.24 (71)申请人 中山大学 地址 510275 广东省广州市海珠区新港西 路135号 (72)发明人 黄以华　许翔智　 (74)专利代理 机构 广州粤高专利商标代理有限 公司 44102 专利代理师 郑堪泳 (51)Int.Cl. G06T 15/00(2011.01) G06T 9/00(2006.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于FPGA和多分辨率哈希编码算法的 NeRF渲染器及渲染方法 (57)摘要 本发明公开了一种基于FPGA和多分辨率哈 希编码算法的Ne RF渲染器及渲染方法， 涉及图像 渲染技术领域， 将NeRF渲染器部署到FPGA上， NeRF渲染器包括特征读取器、 颜色与不透明度推 理器、 光线 渲染器、 内存； 特征读取器根据输入的 参数， 计算得到采样点的光线方向、 采样点之间 的距离并分别发送给颜色与不透明度推理器、 光 线渲染器； 根据计算得到的采样点的坐标计算所 需特征在内存中的地址并读取特征后进行插值 处理并发送给颜色与不透明度推理器； 颜色与不 透明度推理器计算出采样点的颜色、 采样点的不 透明度并发送到光线渲染器； 光线渲染器根据采 样点之间的距离、 采样点的颜色、 不透明度信息 计算出渲染结果； 对目标特征进行区分， 减小了 内存的占用， 简化 渲染步骤。 权利要求书3页 说明书10页 附图2页 CN 115546373 A 2022.12.30 CN 115546373 A 1.一种基于FPGA和多分辨率哈希编码算法的NeRF渲染器， 其特征在于， 将NeRF渲染器 部署到FPGA上， 其中NeRF渲染器包括特征读取器、 颜色与不透明度推理器、 光线渲染器、 预 先存储有不同分辨率的表的内存； 所述的不同分辨率的表中对应存储有 特征点不同频率的 特征； 所述的特征读取器根据输入需要渲染的图像的相机参数和图像参数， 计算得到采样点 的光线方向、 将采样点之间的距离； 所述的特征读取器将计算得到的采样点的光线方向发送给所述的颜色与不透明度推 理器， 将计算得到的采样点之间的距离发送给所述的光线渲染器； 根据计算得到的采样点 的坐标计算所需特征， 基于多分辨率哈希编码查表法读取内存中的不同频率的表， 获得相 应的特征； 并将获得的特 征进行插值处 理后发送给 所述的颜色与不透明度推理器； 所述的颜色与不透明度推理器根据得到的采样点的光线方向和插值处理后的特征计 算出采样点的颜色、 采样点的不透明度， 发送到所述的光线渲染器； 所述的光线渲染器根据得到的采样点之间的距离、 采样点的颜色和不透 明度信息计算 出渲染结果。 2.根据权利要求1所述的一种基于FPGA和多分辨率哈希编码算法的NeRF渲染器， 其特 征在于， 基于多分辨 率哈希编码查表法读取内存中的不同分辨 率的表， 具体如下： 设置一个表 的尺寸的限制值， 判断所有表的尺寸是否大于限制值， 若表的尺寸小于限 制值时， 则在 对表的内容寻址时采用三维坐标直接寻址； 若表的尺寸大于限制值时， 则使用 哈希函数通过三维坐标的哈希编码结果进行寻址， 并使用哈希算法对表进行压缩。 3.根据权利要求2所述的一种基于FPGA和多分辨率哈希编码算法的NeRF渲染器， 其特 征在于， 所述的特征读取器包括光线参数计算器、 光线采样 器、 地址生成器、 内存控制器、 插 值器； 所述的光线参数计算器根据输入需要渲染的图像的相机参数和图像参数， 得到采样点 的光线方向、 光线起点、 近端距离、 远端距离； 并根据近端距离与远端距离之间的大小关系 判断是否需要渲染； 所述的光线参数计算器将所述的采样点的光线方向发送给所述的颜色与不透明度推 理器； 在确定需要渲 染后， 将采样点的光线 方向、 光线起点、 近端距离、 远端距离发送给所述 的光线采样器； 所述的光线采样器计算出采样点之间的距离发送给光线渲染器， 计算出采样点的坐标 发送给所述的地址生成器； 所述的地址生成器 计算出采样点的坐标在内存中的地址， 并发送到内存 控制器； 所述的内存 控制器从内存中读取到相应的特 征， 并发送到插值器中； 所述的插值器进行插值处 理后将插值后的特 征发送到所述的颜色与不透明度推理器。 4.根据权利要求3所述的一种基于FPGA和多分辨率哈希编码算法的NeRF渲染器， 其特 征在于， 所述的光线参数计算器计算采样点的光线方向、 光线起点、 近端距离、 远端距离的 具体步骤如下： S101： 将相机位置 视为光线起点； S102： 计算像素点在相机坐标系下的方向； S103： 使用矩阵乘法， 将该 方向变换为真实空间中的方向；权　利　要　求　书 1/3 页 2 CN 115546373 A 2S104： 变换后的结果经归一 化得到采样点的光线方向； S105： 计算光线起点在光线方向上到采样区域 边界所在的六个平面的距离； S106： 将相对的三组平面中， 距离小的三个分入近端组， 距离大的三个分入远端组； S107： 近端组中的距离与0之间的最大值即为近端距离， 远端组中的距离中的最小值即 为远端距离； S108： 通过判断近端距离与远端距离的大小关系来判断采集的光线是否需要渲染； 若 近端距离大于远端距离， 表明该光线需要渲 染； 若远端距离大于近端距离， 表明该光线不需 要渲染。 5.根据权利要求3所述的一种基于FPGA和多分辨率哈希编码算法的NeRF渲染器， 其特 征在于， 所述的地址生成器计算出采样点的坐标后， 从内存中读取到距离该采样点距离最 近的八个存在于表中的特 征点的特 征， 使用三线性插值法得到该采样点的特 征。 6.根据权利要求1所述的一种基于FPGA和多分辨率哈希编码算法的NeRF渲染器， 其特 征在于， 所述的颜色与不透明度推理器包括方向缓存模块、 球谐 函数编码 器、 全连接神经网 络模块； 所述的方向缓存 模块接收从特 征读取器发送的采样点的光线方向； 所述的球谐函数编码器从方向缓存模块取出最早存入方向缓存模块的采样点的光线 方向， 进行球谐函数编码， 然后发送到所述的全连接神经网络模块； 所述的全连接神经网络模块根据所述的特征读取器发送的插值处理后的特征和通过 球谐函数编码 器编码后的采样点的光线方向， 计算出采样点的颜色、 采样点的不透明度， 并 发送给所述的光线渲染器。 7.根据权利要求6所述的一种基于FPGA和多分辨率哈希编码算法的NeRF渲染器， 其特 征在于， 所述的全连接神经网络模块的计算基于FPGA上的DSP所构建的乘累加器完成； 所述 的全连接神经网络模块 为可选并行度结构； 所述的全连接神经网络模块包括输入层、 输出层、 第一隐藏层、 第二 隐藏层、 第三隐藏 层、 第四隐藏层； 输入层的输入特征数量为32， 第一隐藏层的隐藏特征数量为64， 激活函数 为ReLU； 第二隐藏层的特征数量为16， 激活函数为 ReLU， 取其中的第一个特征作为不透明度 输出， 剩下15个特 征； 所述的全连接神经网络模块使用的分辨率级数为16， 每个分辨率提供两个特征， 所以 输入特征维度为32； 所使用的球谐函数编码为4阶， 所以输入编码后的方向维度为16； 除输 出层外， 每一层都会使用ReLU函数提供非线性； 采样点的不透明度在输出前使用ReLU函数使其范围在[0， +∞)， 所述的采样点的颜色 范围在输出 前使用分段折线函数保证范围在[0， 1]； 所述的分段折线函数如下： 式中， x为分段折线函数的自变量， f(x)为分段折线函数的函数值； 所述的分段折线函 数将‑8～8之间的值先 行压缩至 0～1， 将小于 ‑8的值压缩到 0， 将大于8的值压缩到1。 8.根据权利要求1所述的一种基于FPGA和多分辨率哈希编码算法的NeRF渲染器， 其特 征在于， 所述的光线渲染器包括距离缓存 模块、 权重计算器、 权 重缓存模块、 乘累加器； 所述的距离缓存接受所述的特 征读取器发送的采样点之间的距离；权　利　要　求　书 2/3 页 3 CN 115546373 A 3