(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210961938.4 (22)申请日 2022.08.11 (71)申请人 哈尔滨工业大 学 （深圳） 地址 518000 广东省深圳市南 山区桃源街 道深圳大 学城哈尔滨工业大 学校区 (72)发明人 肖君军　王立诚　卢海鹏　张达森　 刘真真　 (74)专利代理 机构 广东普润知识产权代理有限 公司 44804 专利代理师 寇闯 (51)Int.Cl. H04N 5/225(2006.01) H04N 5/33(2006.01) H04N 5/232(2006.01) (54)发明名称 一种双光融合 成像芯片、 双光图片融合处理 方法 (57)摘要 本发明提供了一种双光融合成像 芯片、 双光 图片融合处理方法， 本方案涉及光学传感芯片与 图像处理领域。 该芯片包括： 纳米光路由以及面 阵光电探测器； 通过纳米光路表 面空间优化方法 设置纳米光路由表面的几何结构与形貌； 其中， 所述纳米光路由通过光学胶层或液态光学胶层 与面阵光电探测器集成粘合， 且 所述纳米光路由 与面阵光电探测器位置完全重叠； 所述纳米光路 由的单个像素大小与宽光谱CCD或CMOS面阵型探 测器阵列的像素大小对应一致。 该基于纳米光路 由的双光融合成像 芯片光能利用效率显著提高， 同时该双光融合成像芯片对红、 绿、 蓝以及近红 外共四个通道的光场信息实现综合利用， 在后端 双光融合图像处理算法与输出上更加紧凑、 简便 和方便。 权利要求书2页 说明书8页 附图5页 CN 115174794 A 2022.10.11 CN 115174794 A 1.一种双光融合成像芯片， 其特 征在于， 包括： 纳米光路由以及面阵光电探测器； 通过纳米光路表面空间优化方法设置纳米光路由表面的几何结构与形貌； 其中， 所述纳米光路由通过光学胶层或液态光学胶层与面阵光电探测器集成粘合， 且 所述纳米光路由与面阵光电探测器位置完全重叠； 所述纳米光路由的单个像素大小与宽光 谱CCD或CMOS面阵型探测器阵列的像素 大小对应一 致。 2.根据权利要求1所述的双光融合成像芯片， 其特征在于， 所述纳米光路由表面空间优 化方法包括以下步骤： 将面阵型探测器设定为单个传感像素元， 接收可见光以及近红外光(IR)， 可见光包括： 红光(R)、 绿光(G)、 蓝光(B)； 依据设定的传感像素元区域以及超表面半导体材料确定纳米光路由的表面空间设计 参数， 所述表面空间设计参数包括： 纳米光路由 的厚度以及基底材 料与厚度； 根据纳米光路由表面空间设计参数建立超表面设计参数优化模型， 输出优化方案 。 3.根据权利要求2所述的双光融合成像芯片， 其特 征在于， 所述传感像素 元包括： 四个方形矩阵排列的子像素单元， 对应接收红光(R)、 绿光(G)、 蓝光(B)以及近红外光 (IR)。 4.根据权利要求3所述的双光融合成像芯片， 其特征在于， 所述近红外光(IR)的设定波 长范围为80 0nm‑1000nm。 5.根据权利要求3所述的双光融合成像芯片， 其特征在于， 所述依据设定的传感像素元 区域以及超表面半导体材 料确定纳米光路由 的表面空间设计参数， 具体为： 依据传感像素 元区域的四个子像素 单元， 超表面对应相同平面区域作为设计区域； 依据超表面的介电常数分布∈(x,y)设定超表面对应厚度t以及基底材 料与厚度d； 计算红光(R)、 绿光(G)、 蓝光(B)以及近红外光(IR)中心波长的目标光场能流沿矢量垂 直方向的分布， 所述目标光场为即基底材 料的后出射 面。 6.根据权利要求5所述的双光融合成像芯片， 其特征在于， 所述根据纳米光路由表面空 间设计参数建立超表面设计参数优化模型， 输出优化方案， 具体包括： 建立光能分配目标模型， 如公式(1)： 其中αB， αG， αR， αIR为权重因子， 可以根据具体设计调整； λ1， λ2—λ8分别为四个对应波段 的最小波长和最大波长， 对应的中心波长分别处于蓝光、 绿光、 红光以及近红外光； Pz( λ )为 传感器单个像素面 上的纵向光场波印廷矢 量， PzB( λ )是蓝色光波段通过B对 应子像素的波印 廷矢量， PzG( λ )是绿色光波段通过G对应子像素的波印廷矢量， PzR( λ )是红色光波段通过R对 应子像素的波印廷矢量， PzIR( λ )是红外光波段通过IR对应子像素的波印廷矢量； TB( λ )是蓝 色光入射面到像素面的透射系数， TG( λ )是绿色光入射面到像素面的透射系数， TR( λ )是红色 光入射面到像素面的透射系数， TIR( λ )是从红外光入射 面到像素面的透射系数； 基于光能分配目标模型， 对超表面设计参数空间∈(x,y)进行优化， 直到光能分配目标 函数达到收敛和极值。 7.根据权利要求6所述的双光融合成像芯片， 其特征在于， 所述基于光能分配目标模权　利　要　求　书 1/2 页 2 CN 115174794 A 2型， 对超表面设计参数空间∈(x,y)进行优化， 直到光能分配目标函数达到收敛和极值， 具 体包括： 当对自由形式超表面实现优化， 首先设置∈(x,y)的初始值， ∈(x,y)取值为区间 [∈min,∈max]； 采用优化迭代算法与二 值化处理算法进行优化； 或 当对数字形式超表面实现优化， 将设计区域的像素化为n个单元， 每个单元均取值∈min 或∈max； 采用遗传算法GA或粒子群优化 算法PSO进行优化。 8.一种适用于根据权利要求1 ‑7任一所述的一种双光融合成像芯片的双光图像融合处 理方法， 其特 征在于， 具体包括： 利用相邻四个像素单元中IR子像素单元的示值， 进行空间二维空间插值， 获得每个像 素单元中4个子像素位置处对应的IR响应， 记作图像PIR； 将每个像素单元中4个子像素中的IR子像素用相邻像素单元中的G子像素替代， 记作 G1， 再与原像素单元中的R， G， B共同组成RGGB型Bayer像素排列， 用于后续生成RGB彩色图 像， 记作Pc； 将PIR与Pc视作双光融合算法中所需的红外光图像与可见光图像， 利用图像融合算法处 理， 开展特 征提取、 融合策略和图像重建， 生成双光融合图像。 9.一种计算机可读存 储介质， 其特 征在于， 所述计算机可读存储介质上存储有计算机程序， 所述计算机程序被处理器执行时实现 如权利要求1至 6中任一项所述的纳米光路设计方法。权　利　要　求　书 2/2 页 3 CN 115174794 A 3