(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211301160.0 (22)申请日 2022.10.24 (71)申请人 云南大学 地址 650091 云南省昆明市翠湖北路2号 (72)发明人 张韵祺　马志羽　姚绍文　武丽雯　 高嵩　 (74)专利代理 机构 成都行之智 信知识产权代理 有限公司 5125 6 专利代理师 温利平 (51)Int.Cl. G06V 30/19(2022.01) G06V 30/18(2022.01) G06V 10/82(2022.01) G06T 3/40(2006.01) G06N 3/08(2006.01)G06N 3/04(2006.01) (54)发明名称 基于多任务学习网络的多模态仇恨模因检 测方法 (57)摘要 本发明公开了一种基于多任务学习网络的 多模态仇恨模因检测方法， 收集若干仇恨模因样 本， 构建包括多模态主任务和两个单模态辅助任 务的多任务学习网络， 其中多模态主任务的标签 由人工标定， 单模态辅助任务的标签基于自监督 策略生成。 采用仇恨模因样本训练完成多任务学 习网络后， 将图像处理模块、 文本特征提取模块、 图像特征提取模块、 特征拼接模块、 第一特征映 射模块和第二特征映射模块组成的子网络作为 仇恨模因检测网络。 将检测模因图像输入仇恨模 因检测网络， 得到检测结果。 本发明构建并训练 基于自监督生成辅助标签的多任务学习网络， 从 中提取出仇恨模因检测网络， 在缩短训练时间和 降低算力要求的同时， 提高仇恨模因检测的准确 率。 权利要求书3页 说明书9页 附图3页 CN 115497105 A 2022.12.20 CN 115497105 A 1.一种基于多任务学习网络的多模态仇恨 模因检测方法， 其特 征在于， 包括以下步骤： S1： 收集若干仇恨模因样本， 每个仇恨模因样本中的模因图像为带有文本的图像， 为每 幅图像标注仇恨模因标签， 当标签为1则表示该模因图像中存在仇恨， 当标签为0则表示该 模因图像中不存在仇恨； S2： 构建多任务学习网络， 包括模因图像预处理模块、 文本特征提取模块、 图像特征提 取模块、 特征拼接模块、 第一特征映射模块、 第二特征映射模块、 第三特征映射模块、 第四特 征映射模块、 文本单模态标签生成模块、 第五特征映射模块、 第六特征映射模块和图像单模 态标签生成模块， 其中： 模因图像预处理模块用于从输入模因图像中提取出文本T并发送给文本特征提取模 块， 然后将提取 得到的文本从模因图像中去除得到图像V并发送给图像特 征提取模块； 文本特征提取模块用于提取文本T的文本 特征Ft， 然后发送给特征拼接模块和第三特征 映射模块； 图像特征提取模块用于提取图像V的文本 特征Fv， 然后发送给特征拼接模块和第五特征 映射模块； 特征拼接模块用于将文本特征Ft和图像特征Fv进行拼接， 将拼接得到的特征Fm发送至 第一特征映射模块； 第一特征映射模块用于将 特征Fm映射为M维特征向量 M的值根据实际需要确定， 将M 维特征向量 发送给第二特征映射模块和文本单模态标签 生成模块、 图像单模态标签生成 模块； 第二特征映射模块用于将特 征向量 映射为输入模因图像的预测标签 第三特征映射模块用于将文本特征Ft映射为M维文本特征向量Ft*， 并发送给第四特征 映射模块和文本单模态标签生成模块； 第四特征映射模块用于将文本特 征向量Ft*映射为根据文本得到的预测标签 文本单模态 标签生成模块用于根据输入模因图像的真实标签ym、 特征向量 和文本特 征向量Ft*生成文本 辅助标签yt； 第五特征 映射模块用于将图像特征Fv映射为M维图像特征向量 并发送给第六特征 映射模块和图像单模态标签生成模块； 第六特征映射模块用于将图像特 征向量 映射为根据图像得到的预测标签 图像单模态 标签生成模块用于根据输入模因图像的真实标签ym、 特征向量 和图像特 征向量 生成图像辅助标签yv； S3： 将步骤S1收集的每个仇恨模因样本中的模因图像作为多任务学习网络的输入， 对 应的仇恨 模因标签作为真实标签， 对多任务学习网络进行训练； S4： 对于步骤S3训练完成的多任务学习网络， 将其中图像处理模块、 文本特征提取模 块、 图像特征提取模块、 特征拼接模块、 第一特征映射模块和 第二特征映射模块组成的子网 络作为仇恨模因检测网络； S5： 对于待检测的模因图像， 将其输入仇恨 模因检测网络， 得到检测结果。权　利　要　求　书 1/3 页 2 CN 115497105 A 22.根据权利要求1所述的多模态仇恨模因检测方法， 其特征在于， 所述多任务学习网络 中的特征映射模块包括线性层和ReLU激活层， 其中： 线性层用于对输入的特 征f进行线性映射， 得到特 征向量f′并发送给ReLU激活层； ReLU激活层用于采用ReLU激活函数对接收到的特征向量f ′进行处理， 得到处理后的特 征向量f″。 3.根据权利要求1所述的多模态仇恨模因检测方法， 其特征在于， 所述图像单模态标签 生成模块和图像单模态标签生成模块分别采用以下 方法生成辅助标签ys： 记当前模因图像特征的仇恨类中心为 非仇恨类中心为 单模态特征s的仇恨类 中心为 非仇恨类中心为 分别计算输入模因图像的特征向量 和单模态特征s的特征向量Fs*与对应两个类中心 的距离： 其中， dj是预设的比例系数， j∈{m,s}； 分别计算输入模因图像的特征向量 和单模态s的特征向量 Fs*与仇恨中心和非仇恨中 心之间的相对距离αj： 其中， ε是 预设的极小值； 采用如下公式计算辅助标签ys： 4.根据权利要求1所述的多模态仇恨模因检测方法， 其特征在于， 所述多任务学习网络 的训练方法如下： S3.1： 随机初始化各个模态特 征的仇恨类中心 和非仇恨类中心为 k∈{m,t,v}； S3.2： 令训练轮次epoc h＝1； S3.3： 将所有仇恨模因样本中的模因图像输入多任务学习网络， 得到本训练轮次中第i 个模因图像在不同模态 下的预测标签 和文本辅助标签 图像 辅助标签 S3.4： 分别计算各个模因图像在每 个模态的损失 权　利　要　求　书 2/3 页 3 CN 115497105 A 3