(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210208932.X (22)申请日 2022.03.04 (65)同一申请的已公布的文献号 申请公布号 CN 114332080 A (43)申请公布日 2022.04.12 (73)专利权人 北京字节跳动网络技 术有限公司 地址 100041 北京市石景山区实兴大街3 0 号院3号楼 2层B-0035房间 (72)发明人 边成　李永会　杨延展　 (74)专利代理 机构 北京英创嘉友知识产权代理 事务所(普通 合伙) 11447 专利代理师 魏云鹿 (51)Int.Cl. G06T 7/00(2017.01) G06T 7/73(2017.01)G06V 10/22(2022.01) G06V 10/74(2022.01) G06V 10/774(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) 审查员 刘杉 (54)发明名称 组织腔体的定位方法、 装置、 可读介质和电 子设备 (57)摘要 本公开涉及一种组织腔体的定位方法、 装 置、 可读介质和电子设备， 涉及图像处理技术领 域， 该方法包括： 获取当前时刻内窥镜采集的组 织图像， 以及当前时刻之前内窥镜采集的至少一 个历史组织图像。 通过特征提取模 型确定组织图 像对应的特征图， 以及每个历史组织图像对应的 历史特征图， 并确定每个历史组织图像与组织图 像的相似度。 通过定位模型根据特征图对组织图 像中组织腔体进行定位， 得到定位结果， 并根据 每个历史组织图像对应的历史特征图对该历史 组织图像中组织腔体进行定位， 得到该历史组织 图像对应的历史定位结果。 根据每个历史组织图 像与组织图像的相似度、 定位结果和至少一个历 史定位结果， 确定组织图像中组织腔体的位置 。 权利要求书3页 说明书18页 附图7页 CN 114332080 B 2022.05.27 CN 114332080 B 1.一种组织腔体的定位方法， 其特 征在于， 所述方法包括： 获取当前时刻内窥镜采集的组织图像， 以及 当前时刻 之前所述内窥镜采集的至少一个 历史组织图像； 通过特征提取模型确定所述组织图像对应的特征图， 以及每个所述历史组织图像对应 的历史特 征图， 并确定每 个所述历史 组织图像与所述组织图像的相似度； 通过定位模型根据所述特征图对所述组织图像中组织腔体进行定位， 得到定位结果， 并根据每个所述历史组织图像对应的历史特征图对该历史组织图像中组织腔 体进行定位， 得到该历史组织图像对应的历史定位结果， 所述特征提取模型和所述定位模型根据多个样 本图像联合训练得到； 根据每个所述历史组织图像与所述组织图像的相似度、 所述定位结果和至少一个所述 历史定位结果， 确定所述组织图像中组织腔体的位置； 所述根据每个所述历史组织图像与 所述组织图像的相似度、 所述定位结果和至少一个 所述历史定位结果， 确定所述组织图像中组织腔体的位置， 包括： 将每个所述历史组织图像与所述组织图像的相似度， 作为该历史组织图像对应的权 重， 对至少一个所述历史定位结果与所述定位结果进行融合， 得到综合定位结果； 根据所述综合定位结果确定所述组织图像中组织腔体的位置 。 2.根据权利要求1所述的方法， 其特征在于， 所述通过特征提取模型确定所述组织图像 对应的特征图， 以及每个所述历史组织图像对应的历史特征图， 并确定每个所述历史组织 图像与所述组织图像的相似度， 包括： 将所述组织图像、 每个所述历史组织图像输入所述特征提取模型， 以得到所述特征提 取模型输出的所述特 征图， 以及每 个所述历史 组织图像对应的历史特 征图； 根据每个所述历史组织图像对应的历史特征图与 所述特征图， 确定该历史组织图像与 所述组织图像的相似度。 3.根据权利要求1所述的方法， 其特征在于， 所述通过定位模型根据所述特征图对所述 组织图像中组织腔体进行定位， 得到定位结果， 并根据每个所述历史组织图像对应的历史 特征图对该历史组织图像中组织腔体进行定位， 得到该历史组织图像对应的历史定位结 果， 包括： 将所述特征图输入所述定位模型， 以得到所述定位模型输出的位置预测图， 并将所述 位置预测图作为所述定位结果， 所述位置预测图用于表征所述组织图像中组织腔体的位 置； 将每个所述历史特征图输入所述定位模型， 以得到所述定位模型输出的该历史特征图 对应的历史位置预测图， 并将所述历史位置预测图作为该历史特征图对应的所述历史组织 图像对应的历史定位结果， 所述历史位置预测图用于表征对应的所述历史组织图像中组织 腔体的位置 。 4.根据权利要求1 ‑3中任一项所述的方法， 其特征在于， 所述特征提取模型和所述定位 模型是通过以下 方式联合训练得到的： 获取样本输入集和样本输出集， 所述样本输入集包括多个样本输入， 每个所述样本输 入包括样本组织图像和至少一个样本历史组织图像， 所述样本输出集中包括与每个所述样 本输入对应的样本输出， 每个所述样本输出包括对应的所述样本组织图像中组织腔 体的真权　利　要　求　书 1/3 页 2 CN 114332080 B 2实位置， 以及对应的每个所述样本历史组织图像中组织腔体的真实位置， 所述样本历史组 织图像为所述内窥镜在采集所述样本组织图像之前采集的图像； 将每个所述样本输入作为所述特征提取模型的输入， 以得到所述特征提取模型输出的 该样本输入中所述样本组织图像对应的样本特征图， 以及该样本输入中每个所述样本历史 组织图像对应的样本历史特 征图； 根据每个所述样本历史组织图像对应的样本历史特征图， 与 所述样本组织图像对应的 样本特征图， 确定该样本历史 组织图像与所述样本组织图像的相似度； 将所述样本组织图像对应的样本特征图， 以及每个所述样本历史组织图像对应的样本 历史特征图， 输入所述定位模型， 以根据所述定位模型的输出、 每个所述样 本历史组织图像 与所述样本组织图像的相似度， 与该样本输入对应的所述样本输出， 联合训练所述特征提 取模型和所述定位模型。 5.根据权利要求4所述的方法， 其特征在于， 所述将所述样本组织图像对应的样本特征 图， 以及每个所述样本历史组织图像对应的样 本历史特征图， 输入所述定位模型， 以根据所 述定位模型 的输出、 每个所述样本历史组织图像与所述样本组织图像的相似度， 与该样本 输入对应的所述样本 输出， 联合训练所述特 征提取模型和所述定位模型， 包括： 根据所述定位模型输出的所述样本组织图像对应的样本位置预测图、 每个所述样本历 史组织图像对应的样本历史位置预测图， 以及每个所述样本历史组织图像与所述样本组织 图像的相似度， 确定样本综合预测图； 根据所述样本综合预测图和所述样本组织图像中组织腔体的真实位置， 确定整体损 失； 根据每个所述样本历史组织图像对应的样本历史位置预测图， 和每个样本历史组织图 像中组织腔体的真实位置， 确定 部分损失； 根据所述整体损 失和所述部分损 失确定总损 失， 并以降低所述总损 失为目标， 利用反 向传播算法训练所述特 征提取模型和所述定位模型。 6.根据权利要求5所述的方法， 其特征在于， 所述根据所述样本综合预测图和所述样本 组织图像中组织腔体的真实位置， 确定整体损失， 包括： 根据所述样本组织图像中组织腔体的真实位置， 确定标签图， 所述标签图中每个像素 点的值， 与所述样本组织图像对应的像素点与所述样本组织图像中组织腔体的真实位置的 距离负相关； 根据所述样本综合预测图和所述标签图， 确定所述整体损失； 所述根据每个所述样本历史组织图像对应的样本历史位置预测图， 和每个样本历史组 织图像中组织腔体的真实位置， 确定 部分损失， 包括： 根据该样本历史组织图像中组织腔体的真实位置， 确定历史标签图， 所述历史标签图 中每个像素点的值， 与该样本历史组织图像对应的像素点与该样本历史组织图像中组织腔 体的真实位置的距离负相关； 根据该样本历史组织图像对应的样本历史位置预测图， 和所述历史标签图， 确定该样 本历史组织图像对应的损失； 将每个所述样本历史 组织图像对应的损失的和， 作为所述部分损失。 7.一种组织腔体的定位装置， 其特 征在于， 所述装置包括：权　利　要　求　书 2/3 页 3 CN 114332080 B 3