(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211070319.2 (22)申请日 2022.09.02 (71)申请人 济宁安泰矿山设备制造有限公司 地址 272399 山东省济宁市鱼台县经济开 发区(古亭路西、 北一环路南) (72)发明人 程一飞　范舒铭　董国庆　李玉道　 郭素英　李志远　 (74)专利代理 机构 南京正联知识产权代理有限 公司 32243 专利代理师 俞晓梅 (51)Int.Cl. G06T 7/50(2017.01) G06T 7/73(2017.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 用于智能泵腔体内窥镜图像的单目深度估 计系统及方法 (57)摘要 本发明涉及内窥镜探测技术领域， 具体地 说， 是一种用于智能泵腔体内窥镜图像的单目深 度估计系统及方法， 本发明使用了tran sformers 系列作为自监督单目深度估计系统的骨干网络； 对于深度编码器， 使用了swin_tran sformer作为 骨干网络； 对于位姿提取器， 使用了vision_ transformer作为骨干网络， 本发明使用 transformers系列里不同的以transformer为框 架的网络作为自监督单目深度估计系统的骨干 网络可以有效提高单目图片的深度估计的准确 性。 权利要求书2页 说明书5页 附图3页 CN 115423856 A 2022.12.02 CN 115423856 A 1.一种用于智能泵腔体内窥镜图像的单目深度估计系统， 其特征在于， 该系统由深度 编码器、 深度解码器和位姿提取器组成； 所述深度编码器包括一个patch  partition层和4 个stage， 其中， stage1由一个linear  embedding和两个swin_transformer  block组成， stage2和stage3内部 结构相同都由一个patch  merging和两个swin_tran sformer block组 成， stage4由一个pat ch merging和六个swin_tran sformer block组成； 所述位姿 提取器以 vision_transformer作为骨干网络， Vision_transformer的结构包括一个Linear   Projection  of Fattened  Patches和一个Transformer  Encoder， 其中， Transformer   Encoder的默认深度为6 。 2.一种用于智能泵腔体内窥镜图像的单目深度估计的方法， 其特征在于， 使用 如权利 要求1所述的用于智能泵腔体内窥镜图像的单目深度估计系统， 具体包括以下步骤： 步骤1： 构建适 合训练的数据集， 即对图像进行 预处理； 步骤2： 预处 理后的图像送入自监 督的单目深度估计框架进行运 算； 步骤3： 得到预测的相应深度图。 3.根据权利要求2所述的用于智能泵腔体内窥镜图像的单目深度估计的方法， 其特征 在于， 所述 步骤2中对预处 理后的图像进行自监 督的单目深度估计运 算的过程包括： 步骤2.1： 将预处 理的图像的当前帧送入深度编码器模块； 步骤2.2： 将 深度编码器得到的特 征送入深度编码器， 得到预测的深度图； 步骤2.3： 将预处理的图像的当前帧与后一帧作为图像对， 送入位姿提取器， 得到一组 向量： 旋转向量和平 移向量； 步骤2.4： 根据步骤2.2所得的深度图和步骤2.3所得的位姿向量和原前后帧图像得到 重建的前后帧图像， 并由此算出损失L oss值， 进行后向传播更新网络参数。 4.根据权利要求3所述的用于智能泵腔体内窥镜图像的单目深度估计的方法， 其特征 在于， 所述 步骤2.4中用来约束的损失函数由重投影损失和光滑损失两 部分构成。 5.根据权利要求4所述的用于智能泵腔体内窥镜图像的单目深度估计的方法， 其特征 在于， 重投影损失Lp的取值为光度误差函数Pe在t ‑1时刻投影到t时刻的最小值， 如公 式(1) 所示， 其中光度误差函数Pe如公式(2)所示， SSIM用来衡量两张图片的相似性， 包括结构相 似性和灰度值相似性， 计算方式如公式(3)所示： Lp＝mint‑1Pe(It,It‑1)  (1) SSIM(Ia,Ib)＝[l(Ia,Ib)]α[c(Ia,Ib)]β[s(Ia,Ib)]γ  (3) 光滑损失Ls如公式(4)所示， 其中的d如公式(5)所示， 光滑损失Ls为系统网络的正则项， 防止系统参数 过拟合， 实际总损失L如公式(6)所示， 其中r为0.001， u的计算公式如公式(7)所示， u的效果是 充当掩模， 来判断重投影是否小于原光度误差， 若 小于， 则u为1， 反 之， 为0： L＝ μLp+γLs  (6)权　利　要　求　书 1/2 页 2 CN 115423856 A 2μ＝[mint‑1Pe(It,It‑1→t)＜mint‑1Pe(It,It‑1)]  (7)。权　利　要　求　书 2/2 页 3 CN 115423856 A 3