(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210127711.X (22)申请日 2022.02.11 (71)申请人 浙江师范大学 地址 321004 浙江省金华市浙江师 范大学 老家属区41幢 (72)发明人 熊继平　李金红　陈泽辉　陈经纬　 陈汉权　 (74)专利代理 机构 北京保识知识产权代理事务 所(普通合伙) 11874 专利代理师 程一航 (51)Int.Cl. G06V 20/00(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06V 10/764(2022.01)G06V 10/774(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) (54)发明名称 一种少样本菜品分类方法 (57)摘要 本发明公开了一种少样 本菜品分类方法， 该 方法基于改进的Vis  ion Transformer模型， 即 Food‑VIT模型对少样本菜品分类。 该方法包括： 将待分类的菜品图像输入网络， 然后由分类网络 Food‑VIT给出分类结果， 该方法使用了基于 Transformer来进行菜品图像分类， 只需要少量 的数据集进行训练即可， 降低了菜品的采集和标 记成本， 减少人力成本， 缩短训练周期。 权利要求书1页 说明书4页 附图5页 CN 115311537 A 2022.11.08 CN 115311537 A 1.一种少样本菜品分类方法， 利用Food ‑VIT模型来实现食物的识别， 其特征在于， 包括 以下步骤： S1、 获取菜品图片， 进行标记用于建立菜品样本库Sp， 将样本库Sp按类别重建为分类样 本库Sc； S2、 将重建好的分类样本库Sc用于训练得到Fo od‑VIT模型， 得到训练好的分类网络； S3、 将待分类菜品图像通过分类网络Fo od‑VIT， 得到识别结果。 2.根据权利要求1所述的一种少样本菜品分类方法， 其特征在于： 所述训练好的Food ‑ VIT模型对输入的样本图像进 行3中图像转换， 并将4种图像得到的类别特征进 行融合， 获得 类别特征。 3.根据权利要求2所述的一种少样本菜品分类方法， 其特征在于： 所述样本 图像的3中 图像转换， 包括 “全局+局部 ”图像，“局部”图像，“缺失的全局 ”图像。 4.根据权利要求1所述的一种少样本菜品分类方法， 其特征在于： 所述训练好的Food ‑ VIT模型识别菜品图像包括以下步骤： P1、 输入菜品图像， 并对 菜品图像进行3中图像转换； P2、 进入Patc h Embendding层， 将4中菜品图片由二维图像转换成一维； P3、 经过Transformer  Encoder层， 对图像信息进行编码， 进行特征融合， 识别图像特 征； P4、 经过MLP Head层,根据类别特 征得到最终的类别。权　利　要　求　书 1/1 页 2 CN 115311537 A 2一种少样本菜品分类方 法 技术领域 [0001]本发明涉及计算机 视觉领域， 尤其涉及一种少样本的菜品分类方法。 背景技术 [0002]目前在餐饮食堂自动计费系统中， 主要有传统的基于 RFID标签的识别计费方案以 及基于卷积神经网络的深度学习自动识别菜品的方案。 前者方案的优点是识别准确 率高， 同一套RFID标签可以适用于所有每个餐厅， 实际推广方便； 缺点是成本高、 RFID芯片在高温 环境下易损耗。 后者方案的优点是不需要改造现有餐盘餐具， 可以直接识别菜品名称， 有利 于后续销量、 健康数据等后台分析； 缺点是针对每个餐厅都需要大量采集该餐厅 的菜品图 片， 并在采集到的图片上使用人工标记的方式标记出图片中所有的菜品， 形成标记数据， 供 深度学习模型 学习， 这个过程费时费钱， 极大的影响了基于深度学习方案的大规模推广。 [0003]针对以上方案存在的问题 ， 本发明专利提出了一种基于改进Vision   Transformer， 即Foo d‑VIT模型的菜品分类方法。 核心是针对基于少样本的菜品分类。 不需 要采集大量的菜品数据集， 对于每一类别只需要少量的菜品图像 即可。 因此， 本发 明提出的 基于Food‑VIT模型的分类方法可以极大的减少人力成本， 进行 大规模的推广应用。 发明内容 [0004]本发明的目的是利用基于Food ‑VIT模型， 可以实现少样本的菜品分类， 能够适应 各种实际的餐厅环境而提出的一种少样本菜品分类方法。 [0005]为了实现上述目的， 本发明采用了如下技 术方案： [0006]一种少样本菜品分类方法， 利用Fo od‑VIT模型来实现食物的识别， 包括以下步骤： [0007]S1、 获取菜品图片， 进行标记用于建立菜品样本库Sp， 将样本库Sp按类别重建为分 类样本库Sc； [0008]S2、 将重建好的分类样本库Sc用于训练得到Food ‑VIT模型， 得到训练好的分类网 络； [0009]S3、 将待分类菜品图像通过分类网络Fo od‑VIT， 得到识别结果。 [0010]所述训练好的Food ‑VIT模型对输入的样本图像进行3中图像转换， 并将 4种图像得 到的类别特 征进行融合， 获得类别特 征。 [0011]所述样本图像的3中图像转换， 包括 “全局+局部 ”图像，“局部”图像，“缺失的全局 ” 图像。 [0012]所述训练好的Fo od‑VIT模型识别菜品图像包括以下步骤： [0013]P1、 输入菜品图像， 并对 菜品图像进行3中图像转换； [0014]P2、 进入Patc h Embendding层， 将4中菜品图片由二维图像转换成一维； [0015]P3、 经过Transformer  Encoder层， 对图像信息进 行编码， 进行特征融合， 识别图像 特征； [0016]P4、 经过MLP Head层,根据类别特 征得到最终的类别。说　明　书 1/4 页 3 CN 115311537 A 3