(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210148811.0 (22)申请日 2022.02.18 (71)申请人 南通大学 地址 226000 江苏省南 通市啬园路9号 (72)发明人 杨赛　杨慧　周伯俊　胡彬　 (74)专利代理 机构 南京瑞弘专利商标事务所 (普通合伙) 32249 专利代理师 徐激波 (51)Int.Cl. G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06Q 30/06(2012.01) G06V 10/764(2022.01) G06V 10/774(2022.01)G06V 10/80(2022.01) G06V 10/82(2022.01) (54)发明名称 一种基于多模态融合的小样本商品分类方 法 (57)摘要 本发明公开一种基于多模态融合的小样本 商品分类方法， 首先将多模态商品数据集随机分 为元训练集和元测试集， 在元训练集和元测试集 上构建小样本分类任务； 然后使用Resnet18和 Text CNN分别提取商品的 图像特征和文本 特征， 并使用双 线性运算将两种模态的特征融合起来； 接下来将支持样本的多模态特征和查询样本的 多模态特征拼接起来输入到全连接层和Softmax 层得到商品的类别概率值， 计算交叉熵损失函数 对网络中的参数进行训练； 最后固定分量模型中 的参数， 将元测试数据集中的支持样本和查询样 本输入到分类模 型中就得到了查询样本的类别。 本发明能够降低卷积神经网络在商品分类过程 中对人工标注的依赖性， 同时又能利用多模态信 息提高小样本图像分类的精度。 权利要求书3页 说明书7页 附图2页 CN 114757255 A 2022.07.15 CN 114757255 A 1.一种基于多模态融合的小样本商品分类方法， 其特 征在于， 包括以下步骤； 步骤S1： 多模态商品数据集元训练集的处理， 对于多模态商品数据集M， 将其随机分为 元训练数据集和元测试数据集两个子集， 利用元训练数据集构建小样本分类任务， 每个任 务包含支持样本集和测试样本集， 前者通过在元训练数据集中随机抽取N类商品， 再在N类 商品中随机抽取 K个样本组成， 后者 通过在N类剩余样本中随机抽取Q个样本组成； 步骤S2： 图像特征和文本特征提取模型的构建， 商品图像特征提取模型为Resnet18， 商 品文本特 征提取模型为Text  CNN； 步骤S3： 多模态特征的融合， 将使用Resnet18提取的图像特征和Text  CNN提取的文本 特征使用双线性 运算进行融合； 步骤S4： 小样本商品分类模型的训练， 将支持样本的融合特征和查询样本的融合特征 拼接起来， 输入到分类模 型中的全 连接层和Softmax层得到商品的类别概率输出值， 对类别 概率输出值与真实标签值计算交叉熵损失函数并利用梯度下降法对网络中的参数进行优 化； 步骤S5： 多模态商品数据集元测试集的处理， 利用元测试数据集构建小样本分类任务， 每个任务包含支持样本集和测试样本集， 前者通过在元测试数据集中随机抽取N类商品， 再 在N类商品中随机抽取 K个样本组成， 后者 通过在N类剩余样本中随机抽取Q个样本组成； 步骤S6： 小样本商品分类测试， 固定分类模型中的图像特征和文本特征提取网络和全 连接层中的参数， 将元测试数据集中的支持样本和查询样本输入到 分类模型中就得到了查 询样本的类别。 2.根据权利要求1所述的一种基于多模态融合的小样本商品分类方法， 其特征在于， 所 述步骤S1多模态商品数据集元训练集的处 理的具体方式如下； S11： 对于多模态商品数据集M， 将其随机分为元训练数据集和元测试数据集两个子集， 元训练数据集表示 为Mtrain， 元测试数据集表示 为Mtest； S12： 在数据集Mtrain中随机抽取N类商品， 在N类商品中随机抽取K个样本构建支持样本 集， 支持样本集表示 为Strain， 其中第k个支持样本及其对应的标签表示 为 和 S13： 在N类剩余样本中随机抽取Q个样本构建查询样本数据集， 查询样本集表示为 Qtrain， 其中第q个支持样本及其对应的标签表示 为 和 3.根据权利要求1所述的一种基于多模态融合的小样本商品分类方法， 其特征在于， 所 述步骤S2中图像特 征和文本特 征提取模型的构建的具体方式如下； S21： 商品图像 特征提取模型为Resnet18， 该网络被表示为Iθ(·)， θ 为网络中的参数， 该 网络是由初始层为一层卷积层和最大池化层， 卷积层中具有64个7 ×7卷积核， 步长为2， 最 大池化层中滤波器的大小3 ×3， 步长为2； 网络的第1层、 2层、 3层和4层分别含有2、 2、 2、 2个 残差块， 四个残差块中分别具有64， 128， 25 6以及512个通道； S22： 商品文本特征提取模型为Text  CNN， 该网络被表示为 为网络中的参数， 该 网络是由特 征嵌入层， 卷积层和全连接层组成。 4.根据权利要求1所述的一种基于多模态融合的小样本商品分类方法， 其特征在于， 所 述步骤S3多模态特 征的融合的具体方式如下；权　利　要　求　书 1/3 页 2 CN 114757255 A 231： 元训练集中的第k个支持样本和第q个查询样本输入到商品图像特征提取模型中， 得到的特 征表示为 和 S32： 元训练集中的第k个支持样本和第q个查询样本输入到商品文本特征提取模型中， 得到的特 征表示为 和 S33： 将图像特征和文本特征的C ×W维矩阵上的每一个点作为位置点， 则每个位置点为 H维的向量特 征， 共有CW个位置； S34： 使用双线性 运算对支持样本的图像特 征和文本特 征进行融合的计算公式为： 其中 表示支持样本图像特征的第l个位置上的H维向量， 表示查询样本图 像特征的第l个位置上的H维向量， S35： 使用双线性 运算对查询样本的图像特 征和文本特 征进行融合的计算公式为： 其中 表示支持样本图像特征的第l个位置 上的H维向量， 表示查询样本图 像特征的第l个位置上的H维向量。 5.根据权利要求1所述的一种基于多模态融合的小样本商品分类方法， 其特征在于， 所 述步骤S4小样本商品分类模型的训练的具体方式如下； S41： 分类模型中的全连接层表示 为Fw(·)， 其中w为参数； S42： 将支持样本的融合特 征和查询样本的融合特 征拼接起 来得到训练特 征ztr； S43： 全连接层和Softmax将训练特 征转化为分类输出概 率值的计算公式为： ztr(n)表示训练特 征的第n个分量， 表示查询样本属于第n个 类别的概 率值； S44： 对分类模型进行训练的交叉熵损失函数的计算公式为： 其中 表示查询样本真实标签值的第n个分量； S45： 基于交叉熵损失函数利用梯度下降法对网络中的参数θ， 和w进行优化。 6.根据权利要求1所述的一种基于多模态融合的小样本商品分类方法， 其特征在于， 所 述步骤S5中多模态商品数据集元测试集的处 理的具体方式如下； S51： 在数据集Mtest中随机抽取N类商品， 在N类商品中随机抽取K个样本构建支持样本 集， 支持样本集表示 为Stest， 其中第k个支持样本及其对应的标签表示 为 和 S52： 在N类剩余样本中随机抽取Q个样本构建查询样本数据集， 查询样本集表示为权　利　要　求　书 2/3 页 3 CN 114757255 A 3