(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210779462.2 (22)申请日 2022.07.04 (71)申请人 合肥工业大 学 地址 230009 安徽省合肥市包河区屯溪路 193号 申请人 安徽医科 大学第二附属医院 (72)发明人 李霄剑　郑杰禹　毕良宽　唐华　 张林　杨善林　李玲　屈炎伟　 (74)专利代理 机构 北京久诚知识产权代理事务 所(特殊普通 合伙) 11542 专利代理师 王云海 (51)Int.Cl. G06T 7/50(2017.01) G06V 10/52(2022.01) G06V 10/80(2022.01)G06V 10/82(2022.01) (54)发明名称 基于双目内窥镜的在线自监督学习深度估 计方法 (57)摘要 本发明提供一种基于双目内窥镜的在线自 监督学习深度估计方法和系统， 涉及深度估计技 术领域。 本发明包括获取双目内窥镜影像， 采用 当前双目深度估计网络的编码器网络提取当前 帧图像的多尺度特征； 采用当前双目深度估计网 络的解码器网络， 对多尺度特征进行融合， 获取 当前帧图像中每个像素点的视差； 据相机内外参 数， 将视差转化为深度并作为当前帧图像的结果 输出； 在不引入外部真值的条件下， 利用自监督 损失更新当前双目深度估计网络的参数， 用于下 一帧图像的深度估计。 利用连续帧的相似性， 将 一对双目图像上的过拟合思想扩展到时间序列 上的过拟合， 通过在线学习不断更新模型参数， 能在各种双目内窥镜手术环境下得到高精度的 组织深度。 权利要求书3页 说明书8页 附图2页 CN 115359104 A 2022.11.18 CN 115359104 A 1.一种基于双 目内窥镜的在线自监督学习深度估计方法， 其特征在于， 所使用的双目 深度估计网络具有快速过 学习的能力， 能够利用自监 督信息不断适应新场景， 该 方法包括： S1、 获取双目内窥镜影像， 采用当前双目深度估计网络的编码器网络提取当前帧图像 的多尺度特 征； S2、 采用当前双目深度估计网络的解码器网络， 对多尺度特征进行融合， 获取当前帧图 像中每个像素点的视 差； S3、 根据相机内外参数， 将视 差转化为深度并作为当前帧图像的结果输出； S4、 在不引入外部真值的条件下， 利用自监督损失更新当前双目深度估计网络的参数， 用于下一帧图像的深度估计。 2.如权利要求1所述的在线自监督学习深度估计方法， 其特征在于， 通过元学习方式训 练获取所述双目深度估计网络对应的初始模型参数， 具体包括： S100、 随机选取偶数对双目图像{e1,e2,…， e2K}， 并平均切分为支持集 和查询集 和 中的图像随机配对形成K个任务 S200、 内循环训练： 根据 中的支持集图像 计算损失进行一次参数 更新； 其中， 表示内循环更新后的网络参数； 表示求导， α 为内循环的学习率， 为第k 个任务的支持集图像， 是根据模型初始参数φm计算出的损失； S300、 外循环训练： 根据 中的查询 集图像， 利用更新后的模型计算元学习损失， 直接 更新模型初始参数φm为φm+1； 其中， β为外循环的学习率； 是第k个任务的查询集图像， 为元学习损 失。 3.如权利要求1或者2所述的在线自监督学习深度估计方法， 其特征在于， 所述S2具体 包括： 采用所述解码器将粗尺度特征图经过卷积块和上采样， 与细尺度特征图拼接， 再次经 过卷积块进行特征融合， 其中结合reflection  padding、 卷积层、 非线性激活单元ELU构建 所述卷积块； 根据网络分辨 率最高的输出直接计算视 差： d＝k·(sigmoid(conv(Y))‑0·5) 其中， d表示像素点的视差估计值； k为预先设定的最大视差范围， Y是分辨率最高的输 出， conv是卷积层， sigmo id进行范围归一 化。 4.如权利要求3所述的在线自监督学习深度估计方法， 其特征在于， 所述S3 中将视差转 化为深度是指：权　利　要　求　书 1/3 页 2 CN 115359104 A 2其中， D为像素点的深度估计值； fx,cx2,cx1为双目相机内参； b为基线长度， 即双目相机 外参。 5.如权利要求1或者2所述的在线自监督学习深度估计方法， 其特征在于， 所述S4中的 自监督损失包括： (1)几何一 致性损失Ddiff(p)： 其中， 表示由左目深度图变换后获得的右目深度， D ′r表示在右目深度图上采样获得 的右目深度； (2)光度损失 其中， p表示有效像素点， P表示有效像素点集合； It和I′t分别表示原图和重构图像， λi 和 λs为平衡参数， S SIMtt′表示图像结构相似度； (3)平滑损失 其中， Dn表示归一 化深度图， 和 表示沿着图像水平与垂直方向的一阶导数。 6.一种基于双 目内窥镜的在线自监督学习深度估计系统， 其特征在于， 所使用的双目 深度估计网络具有快速过 学习的能力， 能够利用自监 督信息不断适应新场景， 该系统包括： 提取模块， 用于获取双目内窥镜影像， 采用当前双目深度估计网络的编码器网络提取 当前帧图像的多尺度特 征； 融合模块， 用于采用当前双目深度估计网络的解码器网络， 对多尺度 特征进行融合， 获 取当前帧图像中每 个像素点的视 差； 转化模块， 用于根据相机内外参数， 将视 差转化为深度并作为当前帧图像的结果输出； 估计模块， 用于在不引入外部真值的条件下， 利用自监督损 失更新当前双目深度估计 网络的参数， 用于下一帧图像的深度估计。 7.一种存储介质， 其特征在于， 其存储有用于基于双目内窥镜的在线自监督学习深度 估计的计算机程序， 其中， 所述计算机程序使得计算机执行如权利要求1～5任一项所述的 在线自监 督学习深度估计方法。 8.一种电子设备， 其特 征在于， 包括： 一个或多个处 理器； 存储器； 以及权　利　要　求　书 2/3 页 3 CN 115359104 A 3