(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210764517.2 (22)申请日 2022.06.29 (71)申请人 上海商汤科技 开发有限公司 地址 201306 上海市浦东 新区自由贸易试 验区临港新片区环湖西二路8 88号C楼 (72)发明人 陈李洋　尤志远　杨凯　崔磊　 (74)专利代理 机构 北京派特恩知识产权代理有 限公司 1 1270 专利代理师 马丽　徐川 (51)Int.Cl. G06V 20/52(2022.01) G06V 10/40(2022.01) G06V 10/774(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 对象统计方法、 模 型训练方法、 装置、 设备及 存储介质 (57)摘要 本公开实施例公开了一种对象统计方法、 模 型训练方法、 装置、 设备、 存储介质及程序产品， 其中， 所述对象统计方法包括： 获取待处理图像 对应的图像特征图和待统计对象对应的至少一 个示例特征向量； 所述待处理图像包括多个所述 待统计对象； 对 所述至少一个示例特征向量进行 编码处理， 得到第一特征序列； 对所述第一特征 序列和所述图像特征图进行解码处理， 得到密度 矩阵； 基于所述密度矩阵， 生成所述待处理图像 中针对所述待统计对象的统计结果。 权利要求书3页 说明书23页 附图7页 CN 115035477 A 2022.09.09 CN 115035477 A 1.一种对象统计方法， 其特 征在于， 所述方法包括： 获取待处理图像对应的图像特征图和待统计对象对应的至少一个示例特征向量； 所述 待处理图像包括多个所述待统计对象； 对所述至少一个示例特 征向量进行编码处 理， 得到第一特 征序列； 对所述第一特 征序列和所述图像特 征图进行解码处 理， 得到密度矩阵； 基于所述密度矩阵， 生成所述待处 理图像中针对所述待统计对象的统计结果。 2.根据权利要求1所述的方法， 其特征在于， 所述对所述第 一特征序列和所述图像特征 图进行解码处 理， 得到密度矩阵， 包括： 对所述图像特 征图进行第一 解码处理， 得到第二特 征序列； 对所述第一特 征序列和所述第二特 征序列进行第二 解码处理， 得到所述密度矩阵。 3.根据权利要求2所述的方法， 其特征在于， 所述第 二解码处理包括迭代的多次子解码 处理； 所述对所述第一特征序列和所述第二特征序列进行第二解码处理， 得到所述密度矩 阵， 包括： 将所述第二特征序列作为所述多次子解码处理中的第一次子解码处理对应的输入特 征； 针对每一所述子解码处理， 将所述第 一特征序列和所述子解码处理对应的输入特征作 为所述子解码处理的输入， 得到所述子解码处理输出 的第三特征序列， 将所述子解码处理 输出的第三特 征序列作为下一次子解码处 理对应的输入特 征； 其中， 所述密度矩阵基于所述多次子解码处理中的最后一 次子解码处理输出的第 三特 征序列确定 。 4.根据权利要求1至3任一项所述的方法， 其特征在于， 所述获取待处理图像对应的图 像特征图和待统计对象对应的至少一个示例特 征向量， 包括： 获取所述待处理图像和所述待处理图像对应的至少一个检测框； 所述检测框用于在所 述待处理图像中确定所述待统计对象的区域； 提取所述待处 理图像对应的图像特 征图； 基于至少一个所述检测框和所述图像特征图， 确定每一所述检测框对应的示例特征向 量。 5.根据权利要求4所述的方法， 其特征在于， 所述提取所述待处理图像对应的图像特征 图， 包括： 对所述待处理图像进行多个尺度的特征提取处理， 得到每一所述尺度对应的中间特征 图； 不同尺度的中间特 征图的尺寸 不同； 融合每一所述尺度对应的中间特 征图， 得到所述图像特 征图。 6.根据权利要求4所述的方法， 其特征在于， 所述基于至少一个所述检测框和所述图像 特征图， 确定每一所述检测框对应的示例特 征向量， 包括： 获取所述图像特 征图和所述待处 理图像之间的尺寸比例； 基于所述尺寸比例对每一所述检测框进行尺度变换， 得到 至少一个特 征截取框； 基于所述至少一个特征截取框和所述图像特征图， 确定每一所述检测框对应的示例特 征图； 基于每一所述检测框对应的示例特 征图确定每一所述检测框对应的示例特 征向量。权　利　要　求　书 1/3 页 2 CN 115035477 A 27.根据权利要求1至3任一项所述的方法， 其特征在于， 所述获取待处理图像对应的图 像特征图和待统计对象对应的至少一个示例特 征向量， 包括： 获取所述待处理图像和至少一个示例图像； 所述示例图像包括所述待统计对象， 且所 述示例图像与所述待处 理图像不同； 提取所述待处 理图像对应的图像特 征图； 提取每一所述 示例图像对应的示例特 征向量。 8.根据权利要求1至7任一项所述的方法， 其特征在于， 所述基于所述密度矩阵， 生成所 述待处理图像中针对所述待统计对象的统计结果， 包括： 基于所述密度矩阵， 生成密度估计图； 基于所述密度估计图生成所述待处 理图像中针对所述待统计对象的统计结果。 9.根据权利要求8所述的方法， 其特征在于， 所述基于所述密度矩阵， 生成密度估计图， 包括： 对所述密度 矩阵进行迭代卷积处理； 对迭代卷积处理后的密度 矩阵进行重采样， 得到 与所述待处 理图像尺寸相同的密度估计图； 所述基于所述密度估计图生成所述待处理图像中针对所述待统计对象的统计结果， 包 括： 对所述密度估计图进行求和， 得到所述待处理图像中所述待统计对象的统计数量； 和/ 或， 获取所述密度估计图中的局部峰值点， 并通过非极大值抑制算法对所述局部峰值点进 行筛选， 得到所述待统计对象的位置； 所述局部峰值 点的像素值大于相邻像素点的像素值。 10.一种对象统计模型的训练方法， 其特征在于， 所述统计模型包括特征获取网络、 编 码解码网络和密度回归网络， 所述方法包括： 基于所述特征获取网络获取样本图像对应的图像特征图和待统计对象对应的至少一 个示例特 征向量； 所述样本图像包括多个所述待统计对象； 通过所述编码解码网络对所述至少一个示例特征图进行编码处理， 得到第一特征序 列； 对所述第一特 征序列和所述图像特 征图进行解码处 理， 得到所述密度矩阵； 通过所述密度回归网络将所述密度矩阵转换为预测密度图； 基于所述预测密度图和所述样本图像对应的真实密度图， 对所述待训练 的对象统计模 型的参数进行调整， 以得到训练后的对象统计模型。 11.根据权利要求10所述的方法， 其特 征在于， 所述方法还 包括： 构建初始 矩阵； 所述初始 矩阵的尺寸与所述样本图像的尺寸相同； 获取针对所述样本图像的标注信 息； 所述标注信 息用于表征每一所述待统计对象在所 述样本图像中的相对坐标； 基于每一所述待统计对象在所述样本图像中的相对坐标， 更新所述初始矩阵对应的矩 阵位置的元 素值， 得到所述真实密度图。 12.一种对象统计装置， 其特 征在于， 包括： 第一获取模块， 用于获取待处理图像对应的图像特征图和待统计对象对应的至少一个 示例特征向量； 所述待处 理图像包括多个所述待统计对象； 编码模块， 用于对所述至少一个示例特 征向量进行编码处 理， 得到第一特 征序列； 解码模块， 用于对所述第一特 征序列和所述图像特 征图进行解码处 理， 得到密度矩阵； 生成模块， 用于基于所述密度矩阵， 生成所述待处理图像中针对所述待统计对象的统 计结果。权　利　要　求　书 2/3 页 3 CN 115035477 A 3