(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210654072.2 (22)申请日 2022.06.09 (30)优先权数据 17/378,495 2021.07.16 US (71)申请人 上海联影智能医疗科技有限公司 地址 200232 上海市徐汇区龙腾大道 2879 号3楼3674室 (72)发明人 阿比舍克·沙玛　阿伦·因南耶　 吴子彦　 (74)专利代理 机构 上海弼兴律师事务所 31283 专利代理师 罗朗　王卫彬 (51)Int.Cl. G06V 40/10(2022.01) G06V 10/82(2022.01) G06V 10/44(2022.01)G06N 3/08(2006.01) G06N 3/04(2006.01) (54)发明名称 关键点检测方法及设备 (57)摘要 使用卷积神经网络(CNN)的基于图像的关键 点检测方法。 当关键点在图像中被遮盖时， 从诸 如深度和/或热图像的附加成像模式获得的图像 可以与RGB图像结合使用， 以减小或最小化遮盖 的影响。 其他模态的图像可以用于确定调节参 数， 这些调节参数然后被应用于CNN的权重， 使得 可以以模式感知方式执行卷积运算， 以提高关键 点检测的鲁棒 性、 准确度和效率。 权利要求书2页 说明书7页 附图5页 CN 114973328 A 2022.08.30 CN 114973328 A 1.一种用于检测对象的关键点的方法， 所述方法包括： 获得所述对象的第一图像， 其中， 所述第一图像包括所述对象的第一成像特性； 获得所述对象的第二图像， 其中， 所述第二图像包括所述对象的第二成像特性； 以及 基于至少所述第 一成像特性和所述第二成像特性通过卷积神经网络(CNN)处理所述第 一图像， 以确定所述对象的一个或多个关键点， 其中， 所述CNN包括第一卷积层， 其被配置为基于所述对象的所述第一成像特性对所述第一 图像执行第一组卷积运 算； 所述第一卷积层包括多个核， 各个核与相应的一组权 重相关联； 以及 对所述第一图像执行所述第 一组卷积运算包括： 基于所述对象的所述第 二成像特性来 调节与所述第一卷积层的所述多个核中的每 个核相关联的所述 一组权重。 2.根据权利要求1所述的方法， 其中， 所述第一 图像包括所述对象的红/绿/蓝(RGB)图 像， 并且所述第二图像包括所述对象的深度或热图像。 3.根据权利要求1所述的方法， 其中， 所述一个或多个关键点在所述第一图像中被遮 盖， 或， 所述 一个或多个关键点包括关节位置 。 4.根据权利要求1所述的方法， 其中， 所述CNN还包括第二卷积层， 其包括多个核， 各个 核与相应的第二组权重相关联， 所述方法还包括： 对所述第一卷积层的输出执行第二组卷 积运算， 并且其中， 在所述第二组卷积运算的所述执行期间基于所述对 象的所述第二成像 特性来调节与所述第二卷积层的所述多个核中的每 个核相关联的所述第二组权 重。 5.根据权利要求1所述的方法， 其中， 所述CNN还包括第二卷积层， 其包括多个核， 各个 核与相应的第二组权重相关联， 所述方法还包括： 对所述第一卷积层的输出执行第二组卷 积运算， 并且其中， 在所述第二组卷积运算的所述执行期间不基于所述对 象的所述第二成 像特性调节与所述第二卷积层的所述多个核中的每 个核相关联的所述第二组权 重。 6.根据权利要求1所述的方法， 其中， 所述CNN包括各自与相应的一组权重相关联的多 个附加卷积层， 所述方法还包括： 经由所述多个附加卷积层对 所述第一图像执行卷积运算， 并且其中， 在所述卷积运算的所述执行期间基于所述对象的所述第二成像特性来调节与所 述多个附加卷积层中的每一个相关联的所述相应的一组权 重。 7.根据权利要求1所述的方法， 其中， 基于所述对象的所述第 二成像特性来调节与 所述 第一卷积层的所述多个核中的每 个核相关联的所述 一组权重包括： 对于所述第一图像的各个 像素p： 识别所述第二图像中的对应 像素； 基于与所述第二图像中的所述对应像素相关联的所述第 二成像特性来确定调节量； 以 及 根据所述调节量调节应用于所述像素p的所述第一卷积层的权 重。 8.根据权利要求7所述的方法， 其中， 所述第 一图像的各个像素属于要使用所述第 一卷 积层的核来采样的像素块， 并且其中， 基于与所述第二图像中的所述对应像素相关联的所 述第二成像特性 来确定所述调节量包括： 确定所述第二图像中的与所述第一图像中要采样的所述像素块相对应的像素块； 以及 基于与所述第二图像中的所述对应像素块的两个或更多个像素相关联的所述第二成 像特性来确定所述调节量。权　利　要　求　书 1/2 页 2 CN 114973328 A 29.根据权利要求1所述的方法， 其中， 使用所述CNN的被配置为结合所述第二图像处理 所述第一图像的单个分支来确定所述对象的所述 一个或多个关键点。 10.一种被 配置为检测对象的关键点的设备， 包括： 一个或多个处 理器， 其被 配置为： 获得所述对象的第一图像， 其中， 所述第一图像包括所述对象的第一成像特性； 获得所述对象的第二图像， 其中， 所述第二图像包括所述对象的第二成像特性； 以及 基于至少所述第 一成像特性和所述第二成像特性通过卷积神经网络(CNN)处理所述第 一图像， 以确定所述对象的一个或多个关键点， 其中， 所述CNN包括第一卷积层， 其被配置为基于所述第一成像特性对所述第一图像执行第 一组卷积运 算； 所述第一卷积层包括多个核， 各个核与相应的一组权 重相关联； 以及 所述一个或多个处理器被配置为对所述第 一图像执行所述第 一组卷积运算包括： 所述 一个或多个处理器被配置为基于所述对 象的所述第二成像特性来调节与所述第一卷积层 的所述多个核中的每 个核相关联的所述 一组权重。权　利　要　求　书 2/2 页 3 CN 114973328 A 3