(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210014796.0 (22)申请日 2022.01.07 (71)申请人 宁波方太厨具有限公司 地址 315336 浙江省宁波市杭州湾新区滨 海二路218号 (72)发明人 曹泽卫　 (74)专利代理 机构 上海弼兴律师事务所 31283 专利代理师 金学来　罗朗 (51)Int.Cl. G06T 5/00(2006.01) G06T 7/73(2017.01) G06V 10/44(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 图像重构 模型的训练方法、 图像重构方法及 系统 (57)摘要 本发明提供一种图像重构模 型的训练方法、 图像重构方法及系统， 训练方法包括： 获取第一 训练集； 对于第一训练集中每组训练样本对， 将 有油烟样本图像输入特征提取子模型进行特征 提取， 得到初始特征图； 将初始特征图输入空间 注意力子模型得到包含油烟区域信息的注意力 图； 将初始特征图和注意力图相乘得到包含油烟 区域信息的空间特征图； 将空间特征图输入生成 器得到重构图像； 将重构图像输入判别器以判断 重构图像是否为无油烟图像； 根据无油烟样本图 像、 判别器的输出结果以及重构图像计算损失误 差， 并根据损失误差调整模型参数， 直至图像重 构模型符合迭代停止条件。 本发 明实现了油烟区 域的特征相互联系， 重构图像能够符合真实烹饪 场景。 权利要求书3页 说明书11页 附图6页 CN 115375559 A 2022.11.22 CN 115375559 A 1.一种图像重构模型的训练方法， 其特征在于， 所述图像重构模型包括特征提取子模 型、 空间注意力子模型、 生成器和判别器， 所述训练方法包括： 获取第一训练集， 所述第一训练集包括多组训练样本对， 每组训练样本对包括被摄对 象的无油烟样本图像和有油烟样本图像； 对于每组训练样本对， 将所述有油烟样本图像输入所述特征提取子模型进行特征提 取， 得到初始特 征图； 将所述初始特 征图输入空间注意力子模型 得到包含油烟区域信息的注意力图； 将所述初始特 征图和所述注意力图相乘得到所述包 含油烟区域信息的空间特 征图； 将所述空间特 征图输入所述 生成器得到 重构图像； 将所述重构图像输入所述判别器以判断所述重构图像是否为无油烟图像； 其中， 所述 判别器由无油烟样本图像和有油烟样本图像训练得到； 根据所述无油烟样本 图像、 所述判别器的输出结果以及所述重构图像计算损 失误差， 并根据所述损失误差分别调整所述特征提取子模型、 所述空间注意力子模型、 所述生成器 和所述判别器的模型参数， 直至所述图像重构模型符合迭代 停止条件。 2.如权利要求1所述的图像重构模型的训练方法， 其特征在于， 在所述将所述重构图像 输入所述判别器以判断所述重构 图像是否为无油烟图像的步骤之前， 所述训练方法还包 括： 获取第二训练集， 其中所述第 二训练集包括标注为有油烟的有油烟样本图像和标注为 无油烟的无油烟样本图像； 基于所述第二训练集训练得到所述判别器。 3.如权利要求1所述的图像重构模型的训练方法， 其特征在于， 所述将所述空间特征图 输入所述 生成器得到 重构图像的步骤具体包括： 将所述空间特 征图与随机噪声图相乘并输入所述 生成器得到 重构图像。 4.如权利要求1所述的图像重构模型的训练方法， 其特征在于， 所述损失误差由将所述 无油烟样本图像、 所述判别器的输出结果以及所述重构图像输入损失函数计算得到， 所述 损失函数包括GANs损失函数和回归损失函数。 5.如权利要求4所述的图像重构模型的训练方法， 其特征在于， 所述损失函数表示如 下： loss＝lossGAN+α lossLog‑Cosh； 其中， loss表示损失函数， lossGAN表示GANs损失函数， lossGAN表示回归损失函数， 表示log D(x)的期望值， α 表示权 重系数， x～pdata(x)表示x属于集 合 pdata(x)， z～pz(z)表示z属于集合pz(z)， D(x)表示输入为x时判别器的输出结果， G(z)表示 输入为z时生成器的输出 结果， y表示无油烟样本图像； 所述迭代 停止条件 包括满足以下目标函数： G*＝argminGmaxDlossGAN+min( α lossLog‑Cosh)；权　利　要　求　书 1/3 页 2 CN 115375559 A 2其中， G*表示目标函数， G表示 生成器的输出 结果， D表示判别器的输出 结果。 6.一种图像重构方法， 其特 征在于， 所述图像重构方法包括： 获取摄像头针对烹饪灶具区域拍摄到的图像； 将所述拍摄到的图像输入图像重构模型中的特征提取子模型， 得到初始特征图； 所述 图像重构模型由权利要求1 ‑5中任一项所述的图像重构模型的训练方法训练得到； 将所述初始特征图输入所述图像重构模型中的空间注意力子模型得到包含油烟区域 信息的注意力图； 将所述初始特 征图和所述注意力图相乘得到所述包 含油烟区域信息的空间特 征图； 将所述空间特 征图输入所述图像重构模型中的生成器得到 重构图像； 将所述重构图像输入所述图像重构模型中的判别器， 所述判别器的输出结果用于优化 所述图像重构模型的模型参数。 7.一种图像重构模型的训练系统， 其特征在于， 所述图像重构模型包括： 特征提取子模 型、 空间注 意力子模型、 生 成器和判别器， 所述训练系统包括： 第一 获取模块、 第一初始特征 模块、 第一注意力模块、 第一空间特 征模块、 第一重构模块、 第一判别模块和第一损失模块； 所述第一获取模块用于获取第一训练集， 所述第一训练集包括多组训练样本对， 每组 训练样本对 包括被摄对象的无油烟样本图像和有油烟样本图像； 所述第一初始特征模块用于对于每组训练样本对， 将所述有油烟样本图像输入所述特 征提取子模型进行 特征提取， 得到初始特 征图； 所述第一注意力模块用于将所述初始特征图输入空间注意力子模型得到包含油烟区 域信息的注意力图； 所述第一空间特征模块用于将所述初始特征图和所述注意力图相乘得到所述包含油 烟区域信息的空间特 征图； 所述第一重构模块用于将所述空间特 征图输入所述 生成器得到 重构图像； 所述第一判别模块用于将所述重构图像输入所述判别器以判断所述重构图像是否为 无油烟图像； 其中， 所述判别器由无油烟样本图像和有油烟样本图像训练得到； 所述第一损失模块用于根据 所述无油烟样本图像、 所述判别器的输出结果以及所述重 构图像计算损失误差， 并根据所述损失误差分别调整所述特征提取子模型、 所述空间注意 力子模型、 所述生成器和所述判别器的模型参数， 直至所述图像重构模型符合迭代停止条 件。 8.一种图像重构系统， 其特征在于， 利用如权利要求7所述的图像重构模型的训练系统 训练得到的图像重构模型， 在油烟机的下方设置有摄像头， 所述摄像头的监控覆盖烹饪灶 具区域， 所述图像重构系统包括： 第二 获取图像模块、 第二初始特征模块、 第二注意力模块、 第二空间特 征模块、 第二重构模块和第二判别模块； 所述第二获取图像模块用于获取摄 像头拍摄到的图像； 所述第二初始特征模块用于将所述拍摄到的图像输入所述图像重构模型中的特征提 取子模型， 得到初始特 征图； 所述第二注意力模块用于将所述初始特征图输入所述图像重构模型中的空间注意力 子模型得到包含油烟区域信息的注意力图； 所述第二空间特征模块用于将所述初始特征图和所述注意力图相乘得到所述包含油权　利　要　求　书 2/3 页 3 CN 115375559 A 3