(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210772787.8 (22)申请日 2022.06.30 (71)申请人 天津大学 地址 300072 天津市南 开区卫津路9 2号 (72)发明人 杨嘉琛　周艳霜　 (51)Int.Cl. G06V 10/44(2022.01) G06V 10/764(2022.01) G06V 10/774(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) (54)发明名称 一种基于多任务的图像 美学评价方法 (57)摘要 心理学研究表明， 图像的视觉特征和语义内 容可以传达 各种情绪。 此外， 研究证明， 形象情感 和美学是密不可分的。 在图像审美评价过程中， 图像向人传达视觉情感， 引起情感共鸣， 影响对 图像的评价。 尽管之前的研究对图像美学评价做 出了诸多贡献， 但还用户的主观特性还没被完全 挖掘。 本发 明提出了一种基于多任务图像美学评 价方法， 本发 明基于多任务学习方法来探究了图 像美学与 情感的内在联系。 通过衡量图像视觉传 达的情感对图像美学评价过程的影响从而提高 图像美学评价的准确性。 多任务网络由骨干网 络、 美学网络和情感网络三部分构成。 首先骨干 网络共同分享图像美学和情感的网络参数， 然后 将骨干网络提取的特征分别送入美学网络和情 感网络完成美学预测任务和情感分类任务。 最后 用地球移动距离(EMD)计算美学损失loss1和情 感损失loss2， 最终损失loss＝loss+loss2来进 行反向传播更新网络权重信息， 直到得到较小的loss值停止网络训练。 权利要求书1页 说明书2页 附图1页 CN 115147614 A 2022.10.04 CN 115147614 A 1.一种基于多任务的图像美学评价方法， 设计步骤如下： ： 1.骨干网络 (1)预处理： 将图像调整为25 6*256大小并裁 剪为224*224大小输入网络 。 (2)特征提取： 图像经过预训练的ResNet50的layer_1,layer2,layer_3和layer_4后， 分别得到25 6*56*56， 512*28*28， 1024*14*14和2048*7*7 大小的特 征图。 (3)全局卷积网络： 四个特征图分别经过全局卷积网络得到大的感受野的特征图。 其中 全局卷积网络包含两个并行的分支， 左边分支由卷积核(7， 1)， padding为(3， 0)和卷积核为 (1， 7)， padding为(0， 3)的两层卷积组成， 右边分支由卷积核(1， 7)， pa dding为(0， 3)和卷积 核为(7， 1)， padding为(3， 0)的两层卷积组成。 特征进入全局卷积网络的两个 分支后最后进 行加和操作得到大的感受野特征。 四个特征图经过全局卷积网络后得到256*56*56， 256* 28*28， 25 6*14*14和25 6*7*7大小的大感受野特 征图。 (3)特征连接： 以上四个特征经过平均池化后得到四个256*1*1的特征， 将四个特征进 行连接得到1024*1*1的特 征。 2.美学网络： (1)任务独特性注意力模块： 由两个全连接和Relu激活函数组成。 1024*1*1的特征经过 任务独特性注意力模块后得到1024*1*1的美学 特征。 (2)全连接层： 特 征经过(1024， 9)的全连接层得到特 征大小为9的美学分布预测。 (3)美学损失l oss1： 利用网络预测值和图像标签 计算美学损失。 计算公式如下： 其中， N为测试样本数， CDFsi(k)为累积分布函数。 3.情感网络： (1)任务独特性注意力模块： 由两个全连接和ReLU激活函数组成。 1024*1*1的特征经过 任务独特性注意力模块后得到1024*1*1的情感特 征。 (2)全连接层： 特 征经过(1024， 8)的全连接层得到特 征大小为8的情感分布预测。 (3)情感损失l oss2： 利用网络预测值和图像标签 计算情感损失。 计算公式如下： 其中， N为测试样本数， CDFsi(k)为累积分布函数。 4.网络训练： 根据总的loss＝loss1+loss2进行反向传播网络参数进行优化， 直到得到预期的loss 值停止训练。权　利　要　求　书 1/1 页 2 CN 115147614 A 2一种基于多任务的图像美学评价 方法 技术领域 [0001]本发明提出了一种基于多任务图像美学评价方法， 本发明基于多任务学习方法来 探究了图像美学与情感的内在联系。 通过衡量图像视觉传达的情感对图像美学评价过程的 影响从而提高图像美学评价的准确性。 背景技术 [0002]随着科学技术时代的到来， 智能电子设备的快速发展导致了视觉数据的激增。 越 来越多的人喜欢通过电子设备来分享图片和视频， 来表达他们的内心感受。 面对大量质量 不均匀的图像数据， 自动图像美学评价已成为一种不可避免的选择。 自动IAA是一种通过计 算图像质量、 模拟人类对美的认知和感知来自动评估图像的美的计算机， 已广泛应用于图 像排名、 图像 检索、 图像 推荐和图像增强等领域。 [0003]除此之外， 心理学研究表明， 图像的视觉特征和语义内容可以传达各种情绪。 此 外， 研究证明， 形象情感和美学是密不可分的。 在图像审美评价过程中， 图像 向人传达视觉 情感， 引起情感共鸣， 影响对图像的评价。 尽管之前的研究对图像美学评价做出了诸多贡 献， 但还用户的主观特性还没被完全挖掘。 发明内容 [0004]针对现有技术存在的不足， 本发明将图像美学和情感联系起来， 探究了图像情感 和美学的内在联系并充分挖掘 了用户的主观特性。 为解决上述技术问题， 本发明的技术方 案如下： [0005]骨干网络： 该网络由预训练的ResNet50构成。 首先将图像进行resize处理后输入 网络， 经过ResNet50的四个layer层来提取图像的高级语义信息， 然后分别将ResNet50的 layer_1,l  ayer_2,layer_3,layer_4提取的特征送入全局卷积网络来提取图像的全局信 息GCN_1,GCN_2,G  CN_3和GCN_4。 然后将四个全局信息进行连接分别送入美学网络和情感 网络。 [0006]美学网络和情感网络： 两个网络都是由任务独特性注意力模块和全连接层构成。 其中任务独特性注意力模块用来分别注意美学和情感任务， 全连接层用于最后的美学预测 和情感分类。 [0007]多任务学习网络： 该网络由骨干网络、 美学 网络和情感网络三部分构成。 首先骨干 网络共同分享图像美学和情感的网络参数， 然后将骨干网络提取的特征分别送入美学网络 和情感网络完成美学预测任务和情感分类任务。 最后用地球移动距离(EMD)计算美学损失 loss1 和情感损失loss2， 最终损失lo ss＝loss+loss2来进行反向传播更新网络权重信息， 直到得到较小的l oss值停止网络训练。 [0008]本发明提出一种基于多任务的图像美学评价方法。 与以往图像美学评价不同的是 它利用大核思想扩大了感受野并且还充分挖掘了图像美学和情感的内在联系， 提升了图像 美学评价的准确性。说　明　书 1/2 页 3 CN 115147614 A 3