(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210716065.0 (22)申请日 2022.06.22 (71)申请人 阿里巴巴 （中国） 有限公司 地址 310023 浙江省杭州市余杭区五常街 道文一西路969号3幢5层5 54室 (72)发明人 刘伟　王宇　吕乐　华先胜　 (74)专利代理 机构 北京太合九思知识产权代理 有限公司 1 1610 专利代理师 柴艳波　刘戈 (51)Int.Cl. G06V 40/20(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06V 10/44(2022.01) G06V 10/82(2022.01) (54)发明名称 关键点、 关节关键点检测、 模 型训练、 设备及 存储介质 (57)摘要 本申请实施例提供一种关键点、 关节关键点 检测、 模型训练、 设备及存储介质。 其中， 方法包 括如下的步骤： 获取待识别图像； 将所述待识别 图像输入至训练过的关键点检测模 型， 得到所述 关键点检测模型输出的所述待识别图像中关键 点对应的目标热力图； 其中， 所述关键点检测模 型用于： 确定所述待识别图像中关键点对应的第 一尺寸的第一热力图和第二尺 寸的第二热力图； 根据所述第一热力图对所述第二热力图进行修 正， 得到所述目标热力图； 所述第一尺寸小于所 述第二尺 寸。 本申请实施例提供的图像检测方案 能够提高关键点定位 准确率。 权利要求书3页 说明书16页 附图4页 CN 115240267 A 2022.10.25 CN 115240267 A 1.一种关键点检测方法， 其中， 包括： 获取待识别图像； 将所述待识别图像输入至训练过的关键点检测模型， 得到所述关键点检测模型输出的 所述待识别图像中关键点对应的目标 热力图； 其中， 所述关键点检测模型用于： 确定所述待识别图像中关键点对应的第一尺寸的第 一热力图和第二尺寸的第二热力图； 根据所述第一热力图对所述第二热力图进行修正， 得 到所述目标 热力图； 所述第一尺寸小于所述第二尺寸。 2.根据权利要求1所述的方法， 其中， 确定所述待识别图像中关键点对应的第 一尺寸的 第一热力图和第二尺寸的第二热力图， 包括： 对所述待识别图像进行 特征提取， 得到所述第一尺寸的第一特 征图； 根据所述第 一特征图， 确定所述待识别图像中关键点对应的所述第 一尺寸的第 一热力 图； 对所述第一特 征图进行转置卷积， 得到所述第二尺寸的第二特 征图； 根据所述第二特 征图， 确定所述第二尺寸的第二热力图。 3.根据权利要求1所述的方法， 其中， 根据所述第一热力图对所述第二热力图进行修 正， 得到所述目标 热力图， 包括： 对所述第一热力图进行线性插值， 得到所述第二尺寸的插值后热力图； 根据所述插值后热力图， 对所述第二热力图进行修 正， 得到所述目标 热力图。 4.根据权利要求3所述的方法， 其中， 根据所述插值后热力图， 对所述第二热力图进行 修正， 得到所述目标 热力图， 包括： 将所述插值后热力图与所述第二热力图进行 逐元素相乘， 得到相乘后热力图； 根据所述相乘后热力图， 确定所述目标 热力图。 5.根据权利要求1至4中任一项所述的方法， 其中， 还 包括： 获取样本 图像及其关键点对应的所述第一尺寸的第一期望热力图和所述第二尺寸的 第二期望热力图； 将所述样本图像输入至所述关键点检测模型， 得到所述关键点检测模型输出的所述样 本图像中关键点对应的目标预测热力图； 其中， 所述关键点检测模型用于： 确定所述样 本图 像中关键点对应的所述第一尺寸的第一预测热力图和所述第二尺寸的第二预测热力图； 根 据所述第一预测热力图对所述第二预测热力图进 行修正， 得到所述目标预测热力图； 其中， 所述关键点检测模型为机器学习模型； 根据所述第一预测热力图与所述第一期望热力图之间的差异以及所述目标预测热力 图与所述第二期望热力图之间的差异， 对所述关键点检测模型进行优化。 6.根据权利要求5所述的方法， 其中， 还 包括： 将第一尺寸除以所述样本图像的尺寸的商与关键点在所述样本图像中的坐标的乘积 确定为关键点在所述第一期望热力图中的坐标； 根据确定出的关键点在所述第一期望热力图中的坐标， 生成所述第一期望热力图。 7.根据权利要求6所述的方法， 其中， 还 包括： 将第二尺寸除以所述样本图像的尺寸的商与关键点在所述样本图像中的坐标的乘积 确定为关键点在所述第二期望热力图中的坐标；权　利　要　求　书 1/3 页 2 CN 115240267 A 2根据确定出的关键点在所述第二期望热力图中的坐标， 生成所述第二期望热力图。 8.根据权利要求6所述的方法， 其中， 还 包括： 获取初始图像； 所述初始图像中关键点被标注； 获取所述关键点检测模型 所要求的输入尺寸； 对所述初始图像进行缩放处 理， 得到尺寸 为所述输入尺寸的所述样本图像； 将所述输入尺寸与所述初始图像的尺寸的商与关键点在所述初始图像中的坐标的乘 积确定为关键点在所述样本图像中的坐标。 9.根据权利要求1至4中任一项所述的方法， 其中， 还 包括： 确定出所述目标 热力图中热力值 最大的目标像素点； 根据所述目标像素点在所述目标热力图中的坐标以及所述目标热力图在所述目标像 素点处的分布统计特性， 确定所述目标 热力图中的潜在峰值 坐标； 根据所述待识别图像的尺寸除以所述目标热力图的尺寸的商与所述潜在峰值坐标的 乘积， 确定关键点在所述待识别图像中的坐标。 10.一种模型训练方法， 其中， 包括： 获取样本 图像及其关键点对应的第一尺寸的第一期望热力图和第二尺寸的第二期望 热力图； 所述第一尺寸小于所述第二尺寸； 将所述样本图像输入至所述关键点检测模型， 得到所述关键点检测模型输出的所述样 本图像中关键点对应的目标预测热力图； 其中， 所述关键点检测模型用于： 确定所述样 本图 像中关键点对应的所述第一尺寸的第一预测热力图和所述第二尺寸的第二预测热力图； 根 据所述第一预测热力图对所述第二预测热力图进行修 正， 得到所述目标 预测热力图； 根据所述第一预测热力图与所述第一期望热力图之间的差异以及所述目标预测热力 图与所述第二期望热力图之间的差异， 对所述关键点检测模型进行优化。 11.根据权利要求10所述的方法， 其中， 还 包括： 将第一尺寸除以所述样本图像的尺寸的商与关键点在所述样本图像中的坐标的乘积 确定为关键点在所述第一期望热力图中的坐标； 根据确定出的关键点在所述第一期望热力图中的坐标， 生成所述第一期望热力图； 将第二尺寸除以所述样本图像的尺寸的商与关键点在所述样本图像中的坐标的乘积 确定为关键点在所述第二期望热力图中的坐标； 根据确定出的关键点在所述第二期望热力图中的坐标， 生成所述第二期望热力图。 12.一种关节关键点检测方法， 其中， 包括： 获取有关人体骨关节的待识别医学图像； 将所述待识别医学图像输入至训练过的关键点检测模型， 得到所述关键点检测模型输 出的所述待识别医学图像中骨关节关键点对应的目标 热力图； 其中， 所述关键点检测模型用于： 确定所述待识别 医学图像中骨关节关键点对应的第 一尺寸的第一热力图和第二尺寸的第二热力图； 根据所述第一热力图对所述第二热力图进 行修正， 得到所述目标 热力图； 所述第一尺寸小于所述第二尺寸。 13.一种电子设备， 其中， 包括： 存 储器和处 理器， 其中， 所述存储器， 用于存 储程序； 所述处理器， 与所述存储器耦合， 用于执行所述存储器 中存储的所述程序， 以实现权利权　利　要　求　书 2/3 页 3 CN 115240267 A 3