(19)中华 人民共和国 国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202111382303.0 (22)申请日 2021.11.22 (65)同一申请的已公布的文献号 申请公布号 CN 113824945 A (43)申请公布日 2021.12.21 (73)专利权人 深圳深知未来智能有限公司 地址 518100 广东省深圳市宝安区新 安街 道灵芝园社区22区勤诚达乐园13号楼 2310 (72)发明人 许心文　黄政林　郭奇锋　 (74)专利代理 机构 中山市科企联知识产权代理 事务所(普通 合伙) 44337 代理人 杨立铭 (51)Int.Cl. H04N 9/73(2006.01)H04N 9/68(2006.01) G06N 20/00(2019.01) 审查员 胡帆 (54)发明名称 一种基于深度学习的快速自动白平衡和颜 色矫正方法 (57)摘要 本发明提供的一种基于深度学习的快速自 动白平衡和颜色矫正方法， 速度方面： awb和 color correction能在普通嵌入式设备上做到 实时性， 计算量比传统算法减小； 效果方面： 解决 了传统方法对大面积纯色图片白平衡估计不准 确的问题， 且在低色温和低照度环 境下表现了较 好的白平衡和颜色矫正的效果， 经过imatest测 试， 在低照度和低色温下， 白平衡的灰阶还原度 在90％以上， 颜色矫正后的ΔC<8％， ΔE<15％， 而在高色温下的白平 衡还原度均超过95％， 颜色 饱和度基本大于100。 而传统的白平衡算法在低 色温低照度下灰阶还原度只能达到60％ ‑80％； 适用性方面： 本方法适用于多sensor， 且可拓展 于其他的任务领域。 权利要求书1页 说明书5页 附图1页 CN 113824945 B 2022.02.11 CN 113824945 B 1.一种基于深度学习的快速自动白平衡和颜色矫 正方法， 其特 征在于， 包括以下步骤： 数据预处 理步骤， 其包括： 将标准无色差图像RGB1转成RAW图， 然后将RAW图经过去马赛克变换(Demosiac)变成图 像RGB2； 将图像RGB1经过反gamma变换转成线性图像RGB3， 然后将线性图像RGB3经过颜色空间 转换变成图像HSV1； 将图像RGB2经 过颜色空间转换变成图像HSV 2； 选取图像HSV1的颜色通道和图像HSV 2的亮度通道， 合成新的图像HSV3； 新的图像HSV3经 过颜色空间转换变成新的图像RGB4； 根据新的图像RGB4的白点对应图像RGB2的pixel， 算出监督标注(label)r_gain， b_ gain， g_gain； 网络训练步骤， 其包括： 把上述数据预处理后的图像RGB2经过颜色扰动， 水平垂直方向翻转和随机裁剪数据增 强处理后送入网络； 网络输出3个AWB  Gain： r_pred， g_pred， b_pred， 以及6个颜色矫正矩阵参数c01， c02， c11， c12， c21， c2 2； 其中根据label  r_gain， g_gain， b_gain和网络输出r_pred， g_pred， b_pred计算出一组l oss， 记作awb_l oss； 对颜色矫正矩阵参数进行无监督训练， 给c01， c02， c11， c12， c21， c22赋予初 值， 然后根 据网络输出值r_pred， g_pred， b_pred对图像RGB2进行白平衡矫正(AWB)； 根据c01， c02， c11， c12， c21， c22对白平衡矫正后的图像进行颜色矫正得到cc_out， 用cc_out和预处理出 来的图像RGB4计算 一组loss， 记作co lor_loss； 给每个loss赋予不同的权值， 相加得到总l oss； 根据总loss更新网络模型参数， 并得到初始模型； 得到初始模型后， 在采集和标注好的数据集里进行微调(fine ‑tune)得到更适配图像 传感器(Ima ge sensor)的模型。权　利　要　求　书 1/1 页 2 CN 113824945 B 2一种基于深度学习的快速自动白平衡和颜色矫正方 法 技术领域 [0001]本发明属于图像处理技术领域， 尤其涉及 一种基于深度学习的快速自动白平衡和 颜色矫正方法。 背景技术 [0002]传统的AWB算法包 含以下一些算法： [0003]高级白平衡算法， 其 算法流程是： [0004]1.在灯箱里面拍摄不同色温下(D75、 D65、 D50、 CWF、 H、 A)的灰卡图片， 灰卡充满整 副实况图； [0005]2.标定出每一个色温下的白平衡 基准点， 然后确定出基准白点绘制参 考白区； [0006]3.计算待校正图像当前落入参考白区的参考白点， 根据这些灰点结合权重计算得 到待校正图像的白平衡色彩补偿； [0007]灰度世界算法,  其算法流程是： [0008]确定灰度值avg_gray [0009]有两种方法确定avg_gray:a.取最大亮度值的一半b.计算图片R,G,B三个通道的 均值为avg_r， avg_g， avg_b。 avg_gray  = (avg_r+avg_g+avg_b)/ 3 [0010]计算R,G,B三个通道的增益系数： [0011]kr = avg_gray/avg_r [0012]kg =avg_gray/avg_g [0013]kb= avg_gray/avg_b [0014]根据Von Kries对角模型， 对于图像中的每 个像素C,调整其分量R,G,B分量： [0015]C(R’) = C(R) * kr [0016]C(G’) = C(G) * kg [0017]C(B’) = C(B) * kr [0018]完美反射法， 其 算法流程是： [0019]计算每个像素R , G , B之和并保存。 [0020]按照R + G + B的值的大小计算出其前10%或其 他Ratio的白色参 考点的阈值T。 [0021]遍历图像中的每个点， 计算其中R  + G + B 值大于T的所有点的R  , G ,B 分量的 累积和的平均值。 [0022]将每个像素量化到[ 0 , 255 ] [0023]传统的Co lor Correction算法： [0024]Color Correction， 是在做完白平衡矫正以后做的一个颜色纠正算法， 算法的背 景主要是Image  Sensor对三原色RGB的响应跟人眼有较大的差别， 以及pixel之间 Crosstalk现象的存在， ImageSensor输出的 图像必须经过Color  Correction才能还原出比 较真实的色彩。 传统的color  correction算法是步骤 是将经过白平衡矫正后的24色卡图片 计算得到一个3 *3的计算矩阵， 然后用3 *3矩阵矫正得到新的图片。说　明　书 1/5 页 3 CN 113824945 B 3