(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211075696.5 (22)申请日 2022.09.05 (71)申请人 天津大学 地址 300072 天津市南 开区卫津路9 2号 (72)发明人 林迪　申佳　万亮　冯伟　 (74)专利代理 机构 天津市北洋 有限责任专利代 理事务所 12 201 专利代理师 程毓英 (51)Int.Cl. G06T 5/00(2006.01) G06T 7/10(2017.01) G06V 10/764(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种生成式图像修复方法 (57)摘要 本发明涉及一种生 成式图像修复方法， 使用 两个基于条件变分自编码器CVAE， 即CVAE  Vh和 CVAE Vk， 分别学习物体分割假设和不确定特征 图用于修复图像， 其中， 使用物体分割假设CVAE   Vh学习关于物体类别的概率分布； 基于物体分割 假设CVAE  Vh， 使用CVAE  Vk学习卷积核的概率分 布， 得到卷积核和不确定特征图， 利用不确定特 征图修复图像 。 权利要求书2页 说明书7页 附图1页 CN 115311171 A 2022.11.08 CN 115311171 A 1.一种生成式图像修复方法， 使用两个基于条件变分自编码器CVAE， 即CVAE  Vh和CVAE  Vk， 分别学习物体分割假设和不确定特征图用于修复图像， 其中， 使用物体分割假设CVAE  Vh 学习关于物体类别的概率分布； 基于物体分割假设CVAE  Vh， 使用CVAE  Vk学习卷积核的概率 分布， 得到卷积核和不确定特 征图， 利用不确定特 征图修复图像， 包括下列步骤： S1， 使用CVAE  Vh学习关于物体类别的条件 概率分布， 即基于 特征图学习物 体分割假 设， 并得到类别不确定图， CVAE  Vh由编码器分支、 条件分支和解码器分支构成； 将 特征图F和参 考分割图S ′∈RH×W×N图输入到CVAE  Vh， 输出物体分割假设集合{Sl∈RH×W×N|l＝1,…,L}和不 确定特征图U∈RH×W×N， 步骤如下： S11， 对输入的待修复图像I∈RH×W×3进行特征图的提取， 得到特 征图F∈RH×W×C； S12， 将特征图F和参考分割图S ′输入到CVAE  Vh的编码器分支中， 得到均值 μs∈RH×W×C和 标准差σs∈RH×W×C： [ μs, σs]＝encoder([ S′,F]) 其中， C代 表通道数， [ ·]代表沿通道维度累加； μs, σs构成高斯分布一； S13， 将特 征图F输入到 CVAE Vh的条件分支中， 得到均值 μf∈RH×W×C和标准差σf∈RH×W×C： [ μf, σf]＝condition(F) 其中， μf, σf构成高斯分布二； S14， 从高斯分布中采样， 生成大小为(H,W,C)的潜变量图Z∈RH×W×C， 其中Z服从高斯分 布； S15， 对S12 所得到的关于分割图的均值 μs和标准差σs进行归一化 处理， 将归一化处理的 结果与特征图F叠加， 输入 到CVAE Vh的解码器分支中， 输出物体分割假设集合{Sl∈RH×W×N|l ＝1,…,L}： Sl＝decoder([F,归一 化处理的结果]) 其中， L代表生成Z的次数即采样次数， Z∈RH×W×C是由高斯分布产 生的潜变量图， 对每个 Z执行步骤S15， 得到L个物体分割假设， 从而得到物体分割假设集合{Sl∈RH×W×N|l＝1,…, L}， N代表类别数； S16， 对物体分割假设集合{Sl∈RH×W×N|l＝1,…,L}中的物体分割假设Sl求L2范数， 得到 类别不确定图U ∈RH×W×N： 其中， 是归一化参数， ‖·‖2代表L2范数； S2， 使用交叉熵损失函数计算物体分割假设与参考分割图之间的损失值， 使用K ‑L散度 计算两个高斯分布之间的差异， 训练CV AE Vh； S3， 对特征图F进行信息分解， 方法如下： S31， 将物体分割假设Sl与特征图F进行点乘， 得到每个类别n对应的特征图F ′n∈RH×W×C， 然后进行 卷积操作， 得到每 个类别n相应的卷积核K ′n∈RH×W×(S×S×C)， n＝1,…,N： F′n,x,y＝Sx,y,n·Fx,y权　利　要　求　书 1/2 页 2 CN 115311171 A 2K′n＝conv(F′n) 其中， F′n,x,y∈RC代表第n个类别 在像素点(x,y)的特征向量， Sx,y,n∈R代表像素点(x,y) 为第n个类别的概 率， Fx,y∈RC代表像素点(x,y)的特 征向量； S32， 将类别 不确定图U与每个类别相应的卷积核K ′n进行点乘， 得到每个类别相应的卷 积核， 再对这些类别对应的卷积核 进行相加， 得到不确定卷积核Ku： 其中， 代表像素点(x,y)的分辨率为S ×S， 通道数为C的卷积核， Ux,y,n代表 像素点为第n个类别的不确定性， 数值在0 ‑1之间； S4， 使用CVAE  Vk学习卷积核的概率分布， 得到卷积核和不确定特征图， CVAE  Vk由编码 器分支、 条件分支和解码器分支构成， 将物体分割假设S， 类别不确定图U， 特征图和不确定 卷积核图Ku输入到CVAE Vk中， 生成卷积核K∈RH×W×(S×S×C)， 步骤如下： S41， 将不确定卷积核图Ku， 物体分割假设Sl， 类别不确定图U和特征图F输入到生成式网 络CVAE Vk的编码器分支中， 得到均值 μk∈RH×W×C和标准差σk∈RH×W×C： [ μk, σk]＝encoder([Ku,Sl,U,F]) 其中， μk, σk构成高斯分布三； S42， 将物体分割假设Sl， 类别不确定图U和特征图F输入到CVAE  Vk的条件分支中， 得到 均值 μc∈RH×W×C和标准差σc∈RH×W×C： [ μc, σc]＝condition([Sl,U,F]) 其中， μc, σc构成高斯分布四； S43， 从高斯分布中采样： 生成大小为(H,W,C)的潜变量图Z∈RH×W×C， 其中Z服从高斯分 布； S44， 使用高斯分布对S41得到的均值和标准差进行归一化处理， 将归一化处理的结果 与特征图F、 物体分割假设Sl、 类别不确定图U叠加， 一同输入到CVAE  Vk的解码器分支中， 输 出卷积核K∈RH×W×(S×S×C)： K＝decoder([ Sl,U,F,归一 化处理的结果]) S45， 将卷积核K和特 征图F进行 卷积操作， 得到不确定特 征图Q∈RH×W×3： Q＝conv(K,F) S46， 对不确定特 征图进行 卷积操作得到修复之后的结果O∈RH×W×3； S5， 使用L2损失函数计算卷积 核K与不确定 卷积核图Ku之间的损失值， 使用K ‑L散度计算 高斯分布三和四两个分布之间的差异， 训练CV AE Vk。权　利　要　求　书 2/2 页 3 CN 115311171 A 3