(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111650266.7 (22)申请日 2021.12.3 0 (30)优先权数据 63/239,423 2021.09.01 US (71)申请人 鸿海精密工业股份有限公司 地址 中国台湾新北市土城区中山路6 6号 申请人 鸿富锦精密工业(深圳)有限公司 (72)发明人 栗永徽　黄启恩　 (74)专利代理 机构 北京派特恩知识产权代理有 限公司 1 1270 代理人 康艳青　王琳 (51)Int.Cl. G06T 3/40(2006.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 影像处理设备以及方法 (57)摘要 一种影像处理设备， 包括影像撷取电路以及 处理器。 影像撷取电路用以撷取低解析影像； 以 及处理器连接影像撷取电路， 并运行超解析模 型， 其中超解析模型包括多个神经网络区块， 其 中处理器用以进行下列 操作： 利用多个神经网络 区块从低解析影像产生超解析影像， 其中多个神 经网络区块其中一区块包括空间注意力模型以 及通道注 意力模型， 通道注意力模 型串接在空间 注意力模型之后， 空间注意力模 型与通道注意力 模型用以增强低解析影像当中兴趣区在该超解 析影像中的权重。 此外， 一种影像处理方法也在 此揭示。 借此， 可提升超像素处理的效果， 并提升 影像中的兴趣区的超像素处 理的效果。 权利要求书4页 说明书9页 附图10页 CN 114331845 A 2022.04.12 CN 114331845 A 1.一种影 像处理设备， 其特 征在于， 包括： 影像撷取电路， 用以撷取影 像； 以及 处理器， 连接该影像撷取电路， 并运行超解析模型， 其中该超解析模型包括多个神经网 络区块， 其中该处 理器用以进行 下列操作： 利用该些神经网络区块从该影像产生超解析影像， 其中该些神经网络区块其中一区块 包括空间注意力模型以及通道注意力模型， 该通道注意力模型串接在该空间注意力模型之 后， 该空间注意力模型与该通道注意力模型用以增强该影像当中兴趣区在该超解析影像中 的权重。 2.根据权利要求1所述的影像处理设备， 其特征在于， 其中该空间注意力模型包括第 一 压缩卷积网络以及空洞卷积网络， 其中该 空间注意力模型增强该影像当中该兴趣区在该超 解析影像中的该权 重的操作包括： 从在该空间注意力模型之前的神经网络区块接收多个特 征图； 利用该第一压缩卷积网络对该些特征图进行压缩处理以产生多个压缩特征图， 其中该 些压缩特 征图的数量小于该 些特征图的数量； 以及 利用该空洞卷积网络对该些压缩特征图进行跳格特征提取以产生多个全局特征图， 进 而依据该 些全局特 征图增强该影 像当中该兴趣区在该超解析影 像中的该权 重。 3.根据权利要求2所述的影像处理设备， 其特征在于， 其中利用该第 一压缩卷积网络对 该些特征图进行压缩处 理以产生该 些压缩特 征图的操作包括： 利用与该第一压缩卷积网络对应的多个卷积核对该些特征图进行卷积处理以产生多 个卷积图， 其中该 些卷积核的数量小于该 些特征图的数量； 以及 依据该些卷积核与该些卷积图之间的对应关系对该些卷积图进行对应元素非线性转 换处理以产生该 些压缩特 征图， 其中该 些压缩特 征图分别对应于该 些卷积核。 4.根据权利要求2所述的影像处理设备， 其特征在于， 其中该空间注意力模型还包括第 一激励卷积网络， 其中该权重包括与该些特征图的影像空间域对应的空间域权重， 其中该 空间注意力模型增强该影 像当中该兴趣区在该超解析影 像中的该权 重的操作包括： 利用该第一激励卷积网络对该些全局特征图进行解压缩处理以产生多个激励权重图， 其中该些激励权 重图的数量 等于该些特征图的数量； 以及 将该些激励权重图分别与该些特征图进行元素层级相乘处理以产生多个空间权重特 征图， 进而依据该些 空间权重特征图增强该影像当中该兴趣区在该超解析影像中的该 空间 域权重。 5.根据权利要求4所述的影像处理设备， 其特征在于， 其中利用该第 一激励卷积网络对 该些全局特 征图进行解压缩处 理以产生多个激励权 重图的操作包括： 利用与该第一激励卷积网络对应的多个卷积核对该些全局特征图进行卷积处理以产 生多个卷积图， 其中该 些卷积核的数量大于该 些全局特 征图的数量； 以及 依据该些卷积核与该些卷积图之间的对应关系对该些卷积图进行对应元素正规化处 理以产生该 些激励权 重图， 其中该 些激励权 重图分别对应于该 些卷积核。 6.根据权利要求4所述的影像处理设备， 其特征在于， 其中该通道注意力模型包括全局 平均池化层， 其中该通道注意力模型增强该影像当中该兴趣区在该超解析影像中的该权重 的操作包括：权　利　要　求　书 1/4 页 2 CN 114331845 A 2从该空间注意力模型接收该 些空间权 重特征图； 以及 利用该全局 平均池化层对该些空间权重特征图进行通道平均化处理以产生特征阵列， 进而依据该 特征阵列增强该影 像当中该兴趣区在该超解析影 像中的该权 重。 7.根据权利要求6所述的影像处理设备， 其特征在于， 其中该通道注意力模型还包括第 二压缩卷积网络， 其中该权重包括与该些特征图的影像通道域对应的通道域权重， 其中该 通道注意力模型增强该影 像当中该兴趣区在该超解析影 像中的该权 重的操作包括： 利用该第二压缩卷积网络对该特征阵列进行压缩处理以产生压缩特征阵列， 进而依据 该压缩特征阵列增强该影像当中该兴趣区在该超解析影像中的该通道域权重， 其中该压缩 特征阵列的尺寸小于该 特征阵列的尺寸。 8.根据权利要求7所述的影像处理设备， 其特征在于， 其中利用该第 二压缩卷积网络对 该特征阵列进行压缩处 理以产生该压缩特 征阵列的操作包括： 利用与该第二压缩卷积网络对应的多个卷积核对该特征阵列进行卷积处理以产生多 个卷积阵列， 其中该 些卷积核的数量小于该 特征阵列中的元 素的数量； 以及 依据该些卷积核与该些卷积阵列之间的对应关系对该些卷积阵列进行对应元素非线 性转换处理以产生该压缩特征阵列， 其中该压缩特征阵列中的元素分别对应于该些卷积 核。 9.根据权利要求7所述的影像处理设备， 其特征在于， 其中该通道注意力模型还包括第 二激励卷积网络， 其中该通道注意力模型增强该影像当中该兴趣区在该超解析影像中的该 权重的操作包括： 利用该第二激励卷积网络对该压缩特征阵列进行解压缩处理以产生激励特征阵列； 以 及 将该激励特征阵列中的元素分别与该些空间权重特征图进行纯量积处理以产生多个 加强权重特征图， 进而依据该些加强权重特征图增强该影像当中该兴趣区在该超解析影像 中的该空间域权重以及该通道域权重， 其中该激励特征阵列中的元素的数量等于该些加强 权重特征图的数量。 10.根据权利要求9所述的影像处理设备， 其特征在于， 其中利用该第二激励卷积网络 对该压缩特 征阵列进行解压缩处 理以产生该激励特 征阵列的操作包括： 利用与该第二激励卷积网络对应的多个卷积核对该压缩特征阵列进行卷积处理以产 生多个卷积阵列， 其中该 些卷积核的数量大于该压缩特 征阵列的元 素的数量； 以及 依据该些卷积核与该些卷积阵列之间的对应关系对该些卷积阵列进行对应元素正规 化处理以产生该激励特 征阵列， 其中该激励特 征阵列中的元 素分别对应于该 些卷积核。 11.一种影 像处理方法， 其特 征在于， 包括： 撷取影像， 并将该影像输入至超解析模型， 其中该超解析模型包括多个神经网络区块； 以及 利用该些神经网络区块从该影像产生超解析影像， 其中该些神经网络区块其中一区块 包括空间注意力模型以及通道注意力模型， 该通道注意力模型串接在该空间注意力模型之 后， 该空间注意力模型与该通道注意力模型用以增强该影像当中兴趣区在该超解析影像中 的权重。 12.根据权利要求11所述的影像处理方法， 其特征在于， 其中该空间注意力模型包括第权　利　要　求　书 2/4 页 3 CN 114331845 A 3