(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211307124.5 (22)申请日 2022.10.25 (71)申请人 城云科技 （中国） 有限公司 地址 310052 浙江省杭州市滨江区长河街 道江南大道588号恒 鑫大厦主楼17层、 18层 (72)发明人 李圣权　厉志杭　董墨江　张香伟　 (74)专利代理 机构 杭州汇和信专利代理有限公 司 33475 专利代理师 吴琰 (51)Int.Cl. G06T 5/00(2006.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种去除图像阴影模 型及其构建方法、 装置 及应用 (57)摘要 本方案提出了一种去除图像阴影模型的构 建方法、 装置及应用， 包括以下步骤： 获取训练样 本， 对训练样本进行预处理得到预筛阴影图像和 阴影掩码； 使用第一编码器和第二编码器进行编 码得到第一编码结果和第二编码结果； 使用跨区 域Transformer层对第一编码结果和第二编码结 果添加位置信息后送入区域感知交叉注意力层 得到阴影特征图； 使用RefineNet网络将所述原 始图像、 预筛阴影图像和阴影特征图作为输入进 行编解码， 得到与所述原始图像相对应的去阴影 结果图。 本方案通过对跨区域Transformer层和 其中的区域感知交叉注意力层 进行改进， 可以将 足够的上下文信息从非阴影区域转移到阴影区 域来恢复阴影像素， 从而可以提高模 型去阴影的 效果。 权利要求书3页 说明书10页 附图5页 CN 115375589 A 2022.11.22 CN 115375589 A 1.一种去除图像阴影模型的构建方法， 其特 征在于， 包括： 获取至少一原始图像作为训练样本， 对每一所述训练样本进行预处理得到对应的预筛 阴影图像， 其中所述预筛阴影图像上 标记阴影掩码； 构建去阴影模型， 所述去阴影模型由两个并行的编码器、 跨区域Transformer层、 解码 器和Refi neNet网络串联组成； 两个并行的编码器分别为第 一编码器和第 二编码器， 所述第 一编码器对包含非阴影区 域的上下文信息的原始图像进 行编码得到第一编码结果， 所述第二编 码器对包含阴影掩码 的预筛阴影图像进行编码得到第二编码结果； 所述跨区域Transformer层包含串联的特征转换层、 区域感知交叉注意力层和多层感 知机制层组成， 所述特征转换层对所述第一编 码结果进行特征转换后并添加位置编 码信息 得到第一信息， 所述特征转换层对所述第二编 码结果进行特征转换后并添加位置编 码信息 得到第二信息， 所述第一信息、 所述第二信息以及所述阴影掩码输入到所述区域感知交叉 注意力层， 所述区域感知交叉注意力 层根据所述第一信息和阴影掩码对所述第二信息优化 得到优化数据， 将所述优化数据输入所述多层感知机制层中进行解码得到阴影特 征图； 将所述原始图像、 预筛阴影图像和阴影特征图输入所述RefineNet网络进行编解码， 得 到与所述原 始图像相对应的去阴影结果图。 2.根据权利要求1所述的一种去 除图像阴影模型的构建方法， 其特征在于， 在 “对每一 所述训练样本进行预 处理”步骤中， 对 所述训练样本进 行二值化处理得到预筛阴影图像， 根 据分辨所述预筛阴影图像中每一像素点是否属于阴影区域而得到阴影掩码， 若像素点为阴 影区域则设定该像素点 为阴影掩码的组成部分。 3.根据权利要求1所述的一种 去除图像阴影模型的构建方法， 其特征在于， 所述跨区域 Transformer层对所述第一编码结果和第二编码结果进行特征转换， 并以逐点相加池化的 方法为所述第一编 码结果和第二编 码结果添加位置编 码信息得到第一信息和 第二信息， 再 结合所述阴影掩码送入所述区域感知交叉注意力 层得到优化数据， 所述区域感知交叉注意 力层后紧跟一个残差归一层对所述优化数据进行残差归一化， 再将其送入多层感知机制 层， 所述多层感知机制层后也紧跟一个残差归一化层再次进 行残差归一化后进行特征转换 得到阴影特 征图。 4.根据权利要求1所述的一种 去除图像阴影模型的构建方法， 其特征在于， 所述第 一编 码结果在所述区域感知交叉注意力 层中进行矩阵转换得到 关键像素矩阵和值向量矩阵， 所 述第二编 码结果在所述区域感知交叉注意力层中进行矩阵转换得到查询像素矩阵， 对所述 查询像素矩阵和所述关键像素矩阵做点积运算得到注意力像素矩阵， 使用所述阴影掩码与 所述注意力像素矩阵进行逐点相加池化得到第一注意结果， 所述第一注意结果经过 softmax函数后再与所述值 向量矩阵进行点积运算得到第二注意结果， 所述第二注意结果 与所述查询像素矩阵进行逐点相加池化后得到第三注意结果， 将所述第三注意结果进 行线 性投影得到所述优化数据。 5.根据权利要求4所述的一种去 除图像阴影模型的构建方法， 其特征在于， 在 “使用所 述阴影掩码与所述注意力像素矩阵进行逐点相加池化得到第一注意结果 ”步骤中， 对所述 阴影掩码提取有效位置信息并构建一个阴影掩码的映射， 使用逐点相加池化的方式根据所 述注意力像素矩阵在阴影掩码的映射中表示 非阴影像素和阴影像素之 间的位置对应关系，权　利　要　求　书 1/3 页 2 CN 115375589 A 2所述第一注意结果 为所述阴影掩码的有效位置信息内的所有阴影 像素。 6.根据权利要求1所述的一种去 除图像阴影模型的构建方法， 其特征在于， 在 “将所述 原始图像、 预筛阴影图像和阴影特征图输入所述RefineNet网络进行编解码 ”步骤中， 先对 所述原始图像、 阴影特征图、 预筛阴影图像进行计算， 得到复合特征图， 将所述复合特征图 和原始图像输入到Refi neNet网络得到去阴影结果图。 7.一种去除图像阴影模型， 其特征在于， 使用权利要求1 ‑6所述的任意一种方法进行构 建得到。 8.一种去除图像阴影方法， 其特征在于， 获取一待去除阴影图像， 对所述待去除阴影图 像进行预处理得到预筛阴影图像和阴影掩码， 第一编 码器所述待去阴影图像及其上下文 特 征进行编码得到第一编 码结果， 第二编 码器对所述预筛阴影图像及其上下文 特征以及阴影 掩码进行编码得到第二编码结果； 使用跨区域Transformer层对第一编码结果和第二编码结果添加位置编码信息后得到 第一信息和第二信息， 将所述第一信息、 第二信息、 阴影掩码送入所述区域 感知交叉注意力 层， 所述区域感知交叉注意力 层根据所述第一信息和阴影掩码对所述第二信息优化得到优 化数据， 将所述优化数据通过多层感知机制层进行输出后解码得到阴影特 征图； 使将所述原始图像、 预筛阴影图像和阴影特征图输入所述Re fineNet网络进行编解码， 得到与所述原 始图像相对应的去阴影结果图。 9.一种去阴影图像模型的构建装置， 其特 征在于， 包括： 获取模块： 获取至少一原始图像作为训练样本， 对每一所述训练样本进行预处理得到 对应的预筛阴影图像， 其中所述预筛阴影图像上 标记阴影掩码； 构建模块： 构建去阴影模型， 所述去阴影模型由两个并行的编码器、 跨区域 Transformer层、 解码器和Refi neNet网络串联组成； 编码模块： 两个并行的编码器分别为第一编码器和第二编码器， 所述第一编码器对包 含非阴影区域的上下文信息的原始图像进 行编码得到第一编码结果， 所述第二编 码器对包 含阴影掩码的预筛阴影图像进行编码得到第二编码结果； 处理模块： 所述跨区域Transformer层包含串联的特征转换层、 区域感知交叉注意力层 和多层感知机制层组成， 所述特征转换层 对所述第一编 码结果进 行特征转换后并添加位置 编码信息得到第一信息， 所述特征转换层 对所述第二编 码结果进 行特征转换后并添加位置 编码信息得到第二信息， 所述第一信息、 所述第二信息以及所述阴影掩码输入到所述区域 感知交叉注意力层， 所述区域感知交叉注意力 层根据所述第一信息和阴影掩码对所述第二 信息优化得到优化数据， 将所述优化数据输入所述多层感知机制层中进 行解码得到阴影特 征图； 去阴影模块： 将所述原始图像、 预筛阴影图像和阴影特征图输入所述Re fineNet网络进 行编解码， 得到与所述原 始图像相对应的去阴影结果图。 10.一种电子装置， 包括存储器和 处理器， 其特征在于， 所述存储器中存储有计算机程 序， 所述处理器被设置为运行所述计算机程序以执行权利要求1到6任一所述的一种去除图 像阴影模型的构建方法或权利要求8所述的一种去除图像阴影方法。 11.一种可读存储介质， 其特征在于， 所述可读存储介质中存储有计算机程序， 所述计 算机程序包括用于控制过程以执行过程的程序代码， 所述过程包括根据权利要求1到6任一权　利　要　求　书 2/3 页 3 CN 115375589 A 3