(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210457083.1 (22)申请日 2022.04.27 (71)申请人 腾讯医疗健康 （深圳） 有限公司 地址 518000 广东省深圳市前海深港合作 区前湾一路1号A栋201室 (72)发明人 黄雅雯　郑冶枫　袁一啸　周毅　 (74)专利代理 机构 北京三高永信知识产权代理 有限责任公司 1 1138 专利代理师 祝亚男 (51)Int.Cl. G06T 5/00(2006.01) G06N 3/04(2006.01) G06K 9/62(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) (54)发明名称 图像补全方法、 装置、 设备及存 储介质 (57)摘要 本申请实施例公开了一种图像补全方法、 装 置、 设备及存储介质， 涉及人工智能领域。 方法包 括： 获取目标对象的目标图像集合， 目标图像集 合中包含目标对象在不同模态下的图像， 且图像 中包含n张缺失模态对应的缺失图像以及m张完 整模态对应的完整图像， n和m为正整数； 从完整 图像中提取目标共享特征， 目标共享特征为缺失 图像与完整图像所共有的特征； 对目标共享特征 进行特征还原， 得到缺失图像对应的补全图像。 采用本申请实施例提供的方案， 在实现对缺失模 态的图像进行模态补全的同时， 保证补全结果的 准确性， 进 而保证图像补全质量。 权利要求书3页 说明书16页 附图6页 CN 115170401 A 2022.10.11 CN 115170401 A 1.一种图像补全方法， 其特 征在于， 所述方法包括： 获取目标对象的目标图像集合， 所述目标图像集合中包含所述目标对象在不同模态下 的图像， 且所述图像中包含n张缺失模态对应的缺失图像 以及m张完整模态对应的完整图 像， n和m为 正整数； 从所述完整图像中提取目标模态共享特征， 所述目标模态共享特征为所述缺失图像与 所述完整图像所共有的特 征； 对所述目标模态共享特 征进行特征还原， 得到所述 缺失图像对应的补全图像。 2.根据权利要求1所述的方法， 其特征在于， 所述从所述完整图像中提取目标模态共享 特征， 包括： 将所述缺失图像和所述完整图像输入所述缺失模态对应的目标特征编码器， 其中， 不 同的模态对应不同的特 征编码器； 通过所述目标特征编码器对所述缺失图像和所述完整图像进行特征提取， 得到所述目 标模态共享特 征； 所述对所述目标模态共享特征进行特征还原， 得到所述缺失图像对应的补全图像， 包 括： 将所述目标模态共享特征输入所述缺失模态对应的目标特征解码器， 其中， 不同的模 态对应不同的特 征解码器； 通过所述目标特征解码器对所述目标模态共享特征进行特征还原， 得到所述补全图 像。 3.根据权利要求2所述的方法， 其特征在于， 所述通过所述目标特征编码器对所述缺失 图像和所述完整图像进行 特征提取， 得到所述目标模态共享特 征， 包括： 通过所述目标特征编码器对所述缺失图像和第 i完整图像进行特征提取， 得到第 i目标 模态共享特 征， 所述第i完整图像属于m张所述完整图像， 且i小于或等于m； 所述将所述模态共享特 征输入所述 缺失模态对应的目标 特征解码器， 包括： 对m种所述目标模态共享特 征进行特征融合， 得到融合共享特 征； 将所述融合共享特 征输入所述 缺失模态对应的所述目标 特征解码器； 所述通过所述目标特征解码器对所述目标模态共享特征进行特征还原， 得到所述补全 图像， 包括： 通过所述目标 特征解码器对所述融合共享特 征进行特征还原， 得到所述补全图像。 4.根据权利要求3所述的方法， 其特征在于， 所述对m种所述目标模态共享特征进行特 征融合， 得到融合共享特 征， 包括： 通过至少两种池化方式对所述第 i目标模态共享特征进行池化处理， 得到所述第 i目标 模态共享特 征对应的至少两种池化特 征； 对m种所述目标模态共享特征各自对应的所述池化特征进行特征拼接， 得到所述融合 共享特征。 5.根据权利要求3所述的方法， 其特征在于， 所述将所述融合共享特征输入所述缺失模 态对应的所述目标 特征解码器， 包括： 对所述融合共享特征进行通道降维或者通道升维处理， 其中， 通道降维或通道升维后 所述融合共享特 征的通道数与所述目标 特征编码器的输出的通道数一 致；权　利　要　求　书 1/3 页 2 CN 115170401 A 2将通道降维或通道升维后所述融合共享特征输入所述缺失模态对应的所述目标特征 解码器。 6.根据权利要求2所述的方法， 其特征在于， 所述特征编码器是由条件卷积构 成的混合 专家网络， 且所述条件卷积的参数基于所述特 征编码器对应的模态确定得到 。 7.根据权利要求2所述的方法， 其特 征在于， 所述方法还 包括： 获取样本对象的样本图像集合， 所述样本图像集合中包含所述样本对象在不同模态下 的样本图像， 且所述样本图像中包含至少一张缺 失模态对应的样本缺失图像以及至少一张 完整模态对应的样本 完整图像； 基于所述样本图像集 合训练各种模态对应的特 征编码器和特 征解码器。 8.根据权利要求7所述的方法， 其特征在于， 所述基于所述样本图像集合训练各种模态 对应的特 征编码器和特 征解码器， 包括： 通过目标模态对应的特征编码器对所述样本图像进行特征提取， 得到第 一样本模态共 享特征， 其中， 在所述目标模态为所述缺 失模态的情况下， 所述第一样本模态共享特征为所 述样本缺 失图像与所述样本完整图像所共有的特征； 在所述目标模态为所述完整模态的情 况下， 所述第一样本模态共享特 征为不同样本 完整图像所共有的特 征； 通过所述目标模态对应的特征解码器对所述第 一样本模态共享特征进行特征还原， 得 到样本生成图像； 基于所述样本生成图像和所述样本图像训练各种模态各自对应的特征编码器和特征 解码器。 9.根据权利要求8所述的方法， 其特征在于， 所述基于所述样本生成图像和所述样本图 像训练各种模态各自对应的特 征编码器和特 征解码器， 包括： 基于所述样本生成图像和所述样本图像确定图像一 致性损失； 基于所述图像一 致性损失训练各种模态各自对应的特 征编码器和特 征解码器。 10.根据权利要求8所述的方法， 其特征在于， 所述基于所述样本图像集合训练各种模 态对应的特 征编码器和特 征解码器， 还 包括： 通过所述目标模态对应的特征编码器对所述样本生成图像进行特征提取， 得到第 二样 本模态共享特 征； 所述基于所述样本生成图像和所述样本图像训练各种模态各自对应的特征编码器和 特征解码器， 包括： 基于所述样本生成图像、 所述样本 图像、 所述第一样本模态共享特征和所述第二样本 模态共享特 征， 训练各种模态各自对应的特 征编码器和特 征解码器。 11.根据权利要求10所述的方法， 其特征在于， 所述基于所述样本生成图像、 所述样本 图像、 所述第一样本模态共享特征和所述第二样本模态共享特征， 训练各种模态各自对应 的特征编码器和特 征解码器， 包括： 基于所述样本生成图像和所述样本图像确定图像一 致性损失； 基于所述第一样本模态共享特 征和所述第二样本模态共享特 征确定特 征一致性损失； 将所述样本生成图像和所述样本 图像输入判别器， 得到样本判别结果， 所述判别器用 于判别生成图像和真实图像； 基于所述样本判别结果确定对抗 性损失； 基于所述第 一样本模态共享特征确定对称性损失， 所述对称性损失用于表征成对模态权　利　要　求　书 2/3 页 3 CN 115170401 A 3