(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210052795.5 (22)申请日 2022.01.18 (71)申请人 西安电子科技大 学 地址 710071 陕西省西安市太白南路2号 (72)发明人 路文　郑永　韩士帅　李秉恒　 梁泽红　何立火　 (74)专利代理 机构 陕西电子 工业专利中心 61205 专利代理师 田文英　王品华 (51)Int.Cl. G06V 10/44(2022.01) G06V 10/764(2022.01) G06V 10/82(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01)G06N 3/08(2006.01) G06T 7/00(2017.01) (54)发明名称 基于多局部图自适应加权的无参考图像质 量评价方法 (57)摘要 本发明公开了一种基于多局部图自适应加 权的无参考图像质量评价方法， 主要解决现有无 参考图像质量评价方法在学习失真图像的全局 内容语义时对样本量极少的公知数据库训练不 充分、 评价准确度不高和采用图像切块策略进行 数据增强导致图像内容语义的全局性被破坏、 算 法泛化性能下降的问题。 本发明的实现步骤为： 构建质量评价网络和样本重要性加权网络； 利用 生成的训练集和元参考集交替训练质量评价网 络和样本重要性加权网络； 对失真图像进行质量 评价。 本发明在样本量不足时， 充分扩增数据量 的同时考虑图像全局内容语义， 自适应地为训练 集中局部图分配重要性权重， 提高算法的泛化性 能。 权利要求书3页 说明书7页 附图2页 CN 114494723 A 2022.05.13 CN 114494723 A 1.一种基于多局部图自适应加权的无参考图像质量评价方法， 其特征在于， 构建一个 质量评价网络和一个样本重要性加权网络； 利用生成的训练集和元参考集交替训练质量评 价网络和样本重要性加权网络， 得到训练好的质量评价网络； 该质量评价方法的步骤包括 如下： 步骤1， 构建质量评价网络： (1a)搭建一个质量回归模块， 其结构依次为： 第1全连接层， ReLU激活层， 第2全连接层， ReLU激活层， 第3全 连接层， ReLU激活层， 第4全连接层， ReLU激活层， 第5全 连接层， ReLU激活 层， 第6全连接层， ReLU激活层； 其中， 第1至第6全连接层的输入层节点数分别设置为2048、 224、 112、 56、 28和14， 第1至 第6全连接层的输出层节点数分别设置为2 24、 112、 56、 28、 14和1； (1b)将特 征提取模块与质量回归 模块级联组成质量评价网络； 步骤2， 构建样本 重要性加权网络： 搭建一个由第1全连接层， ReLU激活层， 第2全连接层， ReLU激活层， 第3全连接层， sigmoid激活层组成的样本重要性加 权网络； 将第1至第3全连接层的输入层节点数分别设 置为1、 10 0和100， 第1至第3全连接层的输出层节点数分别设置为10 0、 100和1； 步骤3， 生成训练集和元参 考集： (3a)选取I张标注分数标签的失真图像组成样本集， 样本集中包含R种失真类型及其混 合， 每张失真图像均为RGB彩色图像且分辨 率不小于384×384个像素， I≥45 0， R≥2； (3b)将样本集中每张图像随机裁剪为J个大小为224 ×224个像素的局部图， 将每个局 部图的像素值归一 化到[0,1]之间， 其中， J≥20； (3c)将归一 化处理后的所有局部图与每张局部图对应的标注分数 标签组成训练集； (3d)从归一化处理后的局部图中随机选取K ×J个裁自相同K张失真图像的局部图， 将 裁自同一图像的J个局部图构建为一个图像包， 将所有图像包与每个图像包对应样本的分 数标签组成元参 考集， 其中， I ×0.2≤K≤I ×0.3； 步骤4， 交替训练质量评价网络和样本 重要性加权网络： (4a)将训练集中每张图像的局部图依次输入到质量评价网络后输出该局部图的预测 分数， 计算每个局部图的预测误差值； 将每个局部图的预测误差值输入到样本重要性加权 网络后输出每个局部图的预测权重， 计算每个局部图的加权训练损失值； 将每个局部图的 加权训练损失值输入到Adam优化器， 更新质量评价网络的各层参数， 得到预训练好的质量 评价网络； (4b)将元参考集中每个 图像包依次输入到预训练好的质量评价网络后输出该图像包 中每个局部图的预测分数， 计算每个图像包的训练损失值； 将元参考集中每个图像包的训 练损失值输入到Adam优化器， 更新样本重要性加权网络的各层参数， 得到预训练好的样本 重要性加权网络； (4c)将训练集中每张图像的局部图依次输入到预训练好的质量评价网络后输出该局 部图的预测分数， 计算每个局部图的预测误差值； 将每个局部图的预测 误差值输入到预训 练好的样本重要性加权网络后输出每个局部图的预测 权重， 采用与步骤(4a)相同的公式， 计算每个局部图的加权训练损失值； 将每个局部图的加权训练损失值输入到Adam优化器， 更新预训练好的质量评价网络的各层参数， 得到训练好的质量评价网络；权　利　要　求　书 1/3 页 2 CN 114494723 A 2(4d)重复执行步骤(4a)、 (4b)和(4c)， 迭代更新质量评价网络和样本重要性加权网络 的各层参数， 直到步骤(4c)中每个局部图的加权训练损失值收敛为止， 得到训练好的质量 评价网络； 步骤5， 对失真图像进行质量评价： 将待评价的失真图像随机裁剪为J个大小为224 ×224个像素的局部图， 将所有局部图 依次输入到训练好的质量评价网络中， 将输出的所有局部图预测分数的平均值作为最终该 失真图像的质量评价结果。 2.根据权利要求1所述的基于多局部图自适应加权的无参考图像质量评价方法， 其特 征在于， 步骤(1b)中所述的特征提取模块的结构依次为： 卷积层， ReLU激活层， 第1池化层， 第1残差单元组， 第2残差单元组， 第3残差单元组， 第4残差单元组， 第2池化层； 将卷积层的 卷积核个数设置为64， 卷积核 大小设置为7 ×7， 卷积步长 设置为2， 第1池化层采用最大池化 方式， 池化核大小设置为3 ×3， 池化步长设置为2， 第2池化层采用全局平均池化方式， 输出 大小设置为1 ×1； 所述的第1至第4残差单元组分别由3、 4、 6和3个残差块串联组成， 每个残 差单元组的第1个残差块均由1个卷积组与 1个调整卷积层并联后和ReLU激活层串联组成， 每个残差单元组的第2至最后1个残差块均由1个卷积组与 ReLU激活层串联组成； 所有卷积 组的结构相同， 依次为： 第1卷积层， ReLU激活层， 第2卷积层， ReLU激活层， 第3卷积层； 第1至 第4残差单元组的每个残差块的卷积组的第1至第3卷积层 的卷积核个数分别设置为(64， 64， 256)、 (128， 128， 512)、 (2 56， 256， 1024)和(512， 512， 2048)， 第1至第4残差单元组的每个 残差块的卷积组的第1至第3卷积层的卷积核大小均设置为(1 ×1， 3×3， 1×1)， 除了将第2 至第4残差单元组的第1个残差块的卷积组的第2卷积层的卷积步长 设置为2外， 其余卷积层 的卷积步长均设置为 1， 第1至第4残差单元 组的第1个残差块的调整 卷积层的卷积核个数分 别设置为25 6、 512、 1024和2048。 3.根据权利要求1所述的基于多局部图自适应加权的无参考图像质量评价方法， 其特 征在于， 步骤(4a)中所述的每 个局部图的加权训练损失值是由下式得到： Li,j＝(Wi,j+b)×||qi,j‑yi||1 其中， Li,j表示训练集中第i张图像中第j个局部图的加权训练损失值， i表示训练集中 图像的序号， j表示训练集中第i张图像中局部图的序号， Wi,j表示将训练集中第i张图像的 第j个局部图输入到样本重要性加权网络后输出的预测权重， b表 示训练集中局部图的基本 权重， b∈(0,1]， || ·||1表示取1范数操作， qi,j表示将训练集中第i张图像的第j个局部图 输入到质量评价网络 输出的预测分数， yi表示训练集中第i张图像标注的分数 标签。 4.根据权利要求1所述的基于多局部图自适应加权的无参考图像质量评价方法， 其特 征在于， 步骤(4b)中所述的每 个图像包的训练损失值是由下式得到的： 其中， Lk表示元参考集中第k个图像包的训练损失值， k表示元参考集中图像包的序号， J 表示元参考集中每个图像包局部图的总数， l表 示同一图像包中局部图的序号， ∑表示求和 操作， αk,l表示元参考集中第k个图像包的第l个局部图的质量聚合权重， qk,l表示将元参考 集中第k个图像包的第l个局部图输入到质量评价 网络后输出的预测分数， yk表示元参考集 中第k个图像包的所有局部图所共享的分数 标签；权　利　要　求　书 2/3 页 3 CN 114494723 A 3