(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210299096.0 (22)申请日 2022.03.25 (71)申请人 平安科技 （深圳） 有限公司 地址 518000 广东省深圳市福田区福田街 道福安社区益田路5033号平 安金融中 心23楼 (72)发明人 唐小初　张祎頔　舒畅　陈又新　 (74)专利代理 机构 深圳市沃德知识产权代理事 务所(普通 合伙) 44347 专利代理师 高杰　于志光 (51)Int.Cl. G06V 10/50(2022.01) G06V 10/764(2022.01) G06V 10/774(2022.01) G06V 10/80(2022.01)G06V 10/82(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06F 40/289(2020.01) (54)发明名称 图像分类方法、 装置、 设备及 介质 (57)摘要 本发明涉及智能决策技术， 揭露一种图像 分 类方法， 包括： 提取待分类图像的图像特征及文 本特征， 对 所述图像特征及所述文本特征进行融 合， 得到融合特征， 利用预先训练的激活函数计 算所述融合特征与预设的多个分类标签之间的 概率值， 利用预先训练的集成分类模型， 根据所 述融合特征及所述概率值对所述待分类图像进 行图像分类分析， 得到所述待分类图像的分类结 果。 本发明还提出一种图像分类装置、 设备以及 介质。 本发 明可以提升图像分类的精确性和分类 效率。 权利要求书2页 说明书10页 附图3页 CN 114677526 A 2022.06.28 CN 114677526 A 1.一种图像分类方法， 其特 征在于， 所述方法包括： 获取待分类图像， 提取 所述待分类图像的图像特 征； 识别所述待分类图像中的文本内容， 提取 所述文本内容的文本特 征； 对所述图像特 征及所述文本特 征进行融合， 得到融合特 征； 利用预先训练的激活函数计算所述融合特 征与预设的多个分类标签之间的概 率值； 利用预先训练 的集成分类模型， 根据 所述融合特征及所述概率值对所述待分类图像进 行图像分类分析， 得到所述待分类图像的分类结果。 2.如权利要求1所述的图像分类方法， 其特征在于， 所述提取所述待分类图像的图像特 征， 包括： 对所述待分类图像进行色彩空间归一 化处理， 得到标准图像； 将每张所述标准图像按照预设比例划分为多个图像块， 计算每个所述图像块中每个像 素的像素梯度， 根据所述像素梯度统计得到每 个所述图像块的梯度直方图； 将所述梯度直方图转换为向量， 并将所有梯度直方图的向量进行拼接， 得到所述待分 类图像的图像特 征。 3.如权利要求1所述的图像分类方法， 其特征在于， 所述提取所述文本内容的文本特 征， 包括： 对所述文本内容进行分词， 得到多个文本分词； 生成每个所述文本分词对应的词向量， 利用所有所述词向量生成所述文本 内容对应的 文本向量矩阵； 从所述多个文本分词中逐个选取其中一个文本分词作为目标分词， 根据 所述目标分词 的词向量及所述文本向量矩阵， 计算所述目标分词的关键值； 按照所述关键值从大到小的顺序从所述多个文本分词中选取预设数量的文本分词为 特征分词； 将所述特 征分词的词向量进行拼接， 得到所述文本内容的文本特 征。 4.如权利要求3所述的图像分类方法， 其特征在于， 所述利用所有所述词向量生成所述 文本内容对应的文本向量矩阵， 包括： 从所述多个文本分词中逐个选取其中一个文本分词作为目标分词， 并统计所述目标分 词和所述目标分词的相邻文本分词在所述目标分词的预设邻域范围内共同出现的共现次 数； 利用每一个文本分词对应的共现次数构建共现矩阵； 将所有所述词向量 拼接为向量矩阵； 利用所述共现矩阵和所述向量矩阵进行乘积运算， 得到所述文本内容对应的文本向量 矩阵。 5.如权利要求1所述的图像分类方法， 其特征在于， 所述对所述图像特征及所述文本特 征进行融合， 得到融合特 征， 包括： 对所述图像特 征进行矩阵转换处 理， 得到与所述文本特 征相同维度的图像特 征； 利用预设的全连接层网络将所述文本特征及转换后的图像特征进行关联， 得到 融合特 征。 6.如权利要求5所述的图像分类方法， 其特征在于， 所述利用预设的全连接层网络将所权　利　要　求　书 1/2 页 2 CN 114677526 A 2述文本特 征及转换后的图像特 征进行关联， 得到融合特 征， 包括： 利用如下 预设的融合 函数， 生成融合特 征： F＝dense(softmax(dot(Q,t ranspose(K) ))*K F为所述融合特征， Q为所述转换后的图像特征， K为所述文本特征， transpose为转置函 数， dot为矩阵乘法， softmax为激活函数， dense为所述预设的全连接层网络的卷积计算算 法。 7.如权利要求3所述的图像分类方法， 其特征在于， 所述根据所述目标分词的词向量及 所述文本向量矩阵， 计算所述目标分词的关键值， 包括： 利用如下关键值 算法计算所述目标分词的关键值： 其中， K为所述关键值， |W|为所述文本向量矩阵， T为矩阵转置符号， ||为求模符号， 为 所述目标分词的词向量。 8.一种图像分类装置， 其特 征在于， 所述装置包括： 特征提取模块， 用于获取待分类图像， 提取所述待分类图像的图像特征， 识别所述待分 类图像中的文本内容， 提取 所述文本内容的文本特 征； 特征融合模块， 用于对所述图像特 征及所述文本特 征进行融合， 得到融合特 征； 分类分析模块， 用于利用预先训练 的激活函数计算所述融合特征与 预设的多个分类标 签之间的概率值， 利用预先训练的集成分类模型， 根据所述融合特征及所述概率值对所述 待分类图像进行图像分类分析， 得到所述待分类图像的分类结果。 9.一种电子设备， 其特 征在于， 所述电子设备包括： 至少一个处 理器； 以及， 与所述至少一个处 理器通信连接的存 储器； 其中， 所述存储器存储有可被所述至少一个处理器执行的计算机程序， 所述指令被所述至少 一个处理器执行， 以使 所述至少一个处理器能够执行如权利要求 1至7中任意一项 所述的图 像分类方法。 10.一种计算机可读存储介质， 存储有计算机程序， 其特征在于， 所述计算机程序被处 理器执行时实现如权利要求1至7中任意 一项所述的图像分类方法。权　利　要　求　书 2/2 页 3 CN 114677526 A 3