(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210441002.9 (22)申请日 2022.04.26 (65)同一申请的已公布的文献号 申请公布号 CN 114581838 A (43)申请公布日 2022.06.03 (73)专利权人 阿里巴巴达摩院 （杭州） 科技有限 公司 地址 310023 浙江省杭州市余杭区五常街 道文一西路969号3幢5层516室 (72)发明人 豆朝鹏　王帆　李昊　陈威华　 (74)专利代理 机构 北京同钧律师事务所 16 037 专利代理师 柴海平　许怀远 (51)Int.Cl. G06V 20/40(2022.01) G06V 40/10(2022.01)G06V 40/20(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) (56)对比文件 CN 114358205 A,2022.04.15 CN 113642639 A,2021.1 1.12 审查员 周亚芳 (54)发明名称 图像处理方法、 装置和云 设备 (57)摘要 本申请提供一种图像处理方法、 装置和云设 备， 该图像处理方法包括： 接收终端设备发送的 至少两种模态下的多个目标图像； 在至少两种模 态中的每种模态下， 将对应模态的目标图像输入 图像识别模 型的进行特征提取， 得到对应的目标 特征向量， 根据至少两种模态下的目标特征向 量， 确定不同模态下的目标图像的预测匹配结 果， 预测匹配结果用于表示不同模态的目标图像 是否包含相同的目标对象； 向终端设备发送预测 匹配结果， 以使终端设备向运维人员显示预测匹 配结果。 本申请中通过图像识别模 型能够实现对 不同模态的图像的识别， 以及提高对图像中的目 标对象的识别精度。 权利要求书4页 说明书17页 附图6页 CN 114581838 B 2022.08.26 CN 114581838 B 1.一种图像处 理方法， 其特 征在于， 应用于服 务器， 所述图像处 理方法， 包括： 接收终端设备发送的至少两种模态下的多个目标图像； 在所述至少两种 模态中的每种 模态下， 将对应模态的多个目标图像输入图像识别模型 进行特征提取， 得到对应的目标 特征向量； 根据至少两种模态下的目标特征向量， 确定不同模态下的多个目标图像的预测匹配结 果， 所述预测匹配结果用于表示 不同模态的多个目标图像是否包 含相同的目标对象； 向所述终端设备发送所述预测匹配结果， 以使所述终端设备向运维人员显示所述预测 匹配结果; 其中， 所述图像识别模型采用以下 方式训练得到： 获取训练样本， 所述训练样本包括至少两种模态的样本 图像， 包含相同的样本对象的 样本图像的标识信息相同； 在所述至少两种 模态中的每种 模态下， 将具有相同标识信 息的多个样本图像分别输入 图像识别模型进行 特征提取， 得到所述多个样本图像的融合特 征； 根据所述至少两种模态下的融合特 征， 调整所述图像识别模型的模型参数。 2.根据权利要求1所述的图像处理方法， 其特征在于， 所述将对应模态的多个目标图像 输入图像识别模型进行 特征提取， 得到对应的目标 特征向量， 包括： 将对应模态的多个目标图像输入图像识别模型的第 一卷积网络层进行特征提取， 得到 第一目标 特征图像， 其中， 模态与第一卷积网络层一 一对应； 将所述第一目标特征图像输入所述图像识别模型的第 二卷积网络层进行特征提取， 得 到第二目标 特征图像， 所述第二卷积网络层对应所述至少两种模态的所有模态； 将所述第二目标特征图像输入对应的所述图像识别模型的池化层进行池化处理， 得到 对应的目标 特征向量， 其中， 模态和池化层一 一对应。 3.根据权利要求1所述的图像处理方法， 其特征在于， 所述将具有相同标识信 息的多个 样本图像分别输入图像识别模型进行 特征提取， 得到所述多个样本图像的融合特 征， 包括： 将具有相同标识信 息的样本图像分别输入所述图像识别模型进行特征提取， 得到特征 向量， 特征向量和样本图像一 一对应； 根据所述特 征向量， 确定所述融合特 征。 4.根据权利要求3所述的图像处理方法， 其特征在于， 所述根据 所述至少两种 模态下的 融合特征， 调整所述图像识别模型的模型参数， 包括： 在所述至少两种模态中的每种模态下， 根据所述特征向量的数量和所述融合特征， 迭 代更新存 储特征， 所述存 储特征用于降低噪声样本的影响； 采用第一损失函数， 确定所述融合特 征相对所述存 储特征的第一损失值； 若所述第一损失值大于第 一损失值阈值， 根据所述第 一损失值调整所述图像识别模型 的模型参数。 5.根据权利要求4所述的图像处理方法， 其特征在于， 所述根据 所述至少两种 模态下的 融合特征， 调整所述图像识别模型的模型参数， 包括： 采用第二损失函数， 确定第 一模态下样本图像的特征向量相对第 二模态下样本图像的 存储特征 的第二损失值， 所述第一模态为所述至少 两种模态中的一种模态， 所述第二模态 为所述至少两种模态中的另一种模态；权　利　要　求　书 1/4 页 2 CN 114581838 B 2若所述第一模态下样本图像的标识信 息和所述第 二模态下样本图像的标识信 息相同， 且所述第二损失值大于第二损失值阈值， 根据所述第二损失值调整所述图像识别模型的模 型参数； 若所述第一模态下样本图像的标识信 息和所述第 二模态下样本图像的标识信 息不同， 且所述第二损失值小于第三损失值阈值， 根据所述第二损失值调整所述图像识别模型的模 型参数。 6.根据权利要求1至5任一项所述的图像处理方法， 其特征在于， 所述根据所述至少两 种模态下的融合特 征， 调整所述图像识别模型的模型参数， 包括： 若所述至少两种 模态下样本图像的标识信 息相同， 确定第 一模态下样本图像的融合特 征仿射变换至至少一个第一图像的融合特征的第一仿射矩阵， 所述第一图像为第二模态的 图像， 所述第一模态为所述至少 两种模态中的一种模态， 所述第二模态为所述至少 两种模 态中的另一种模态； 确定至少一个第二图像的融合特征仿射变换至所述第二模态下样本图像的融合特征 的第二仿射矩阵， 所述第二图像为所述第一模态的图像， 所述第二图像的标识信息与所述 第一图像的标识信息相同； 采用第三损失函数， 确定所述第一仿射矩阵和所述第二仿射矩阵的第三损失值； 若所述第三损失值大于第四损失值阈值， 根据所述第 三损失值调整所述图像识别模型 的模型参数。 7.根据权利要求1至5任一项所述的图像处理方法， 其特征在于， 所述根据所述至少两 种模态下的融合特 征， 调整所述图像识别模型的模型参数， 包括： 采用第四损失函数， 确定第 一模态下样本图像的融合特征和第 二模态下样本图像的融 合特征的第四损失值， 所述第一模态为所述至少两种模态中的一种模态， 所述第二模态为 所述至少两种模态中的另一种模态； 若所述至少两种 模态下样本图像的标识信 息相同， 且所述第四损失值大于第五损失值 阈值， 根据所述第四损失值调整所述图像识别模型的模型参数； 若所述至少两种 模态下样本图像的标识信 息不同， 且所述第四损失值小于第六损失值 阈值， 根据所述第四损失值调整所述图像识别模型的模型参数。 8.根据权利要求3至5任一项所述的图像处理方法， 其特征在于， 所述将具有相同标识 信息的样本图像分别输入所述图像识别模型进行 特征提取， 得到特 征向量， 包括： 将样本图像输入对应的所述图像识别模型的第 一卷积网络层进行特征提取， 得到第 一 特征图像； 将所述第一特征图像输入所述图像识别模型的第 二卷积网络层进行特征提取， 得到第 二特征图像； 将所述第二特征图像输入对应的所述图像识别模型的池化层， 得到对应的所述特征向 量。 9.根据权利要求1至 5任一项所述的图像处 理方法， 其特 征在于， 还 包括： 接收终端设备发送的目标匹配结果， 所述目标匹配结果是所述运维人员根据 所述预测 匹配结果输入所述终端设备的； 根据所述目标匹配结果和所述预测匹配结果， 调整所述图像识别模型。权　利　要　求　书 2/4 页 3 CN 114581838 B 3