(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210180116.2 (22)申请日 2022.02.25 (71)申请人 重庆邮电大 学 地址 400065 重庆市南岸区南 山街道崇文 路2号 (72)发明人 余海燕　徐仁应　余江　朱珊　 唐成心　苏星宇　张胜翔　 (74)专利代理 机构 重庆辉腾律师事务所 5 0215 专利代理师 王海军 (51)Int.Cl. G06V 20/20(2022.01) G06V 10/26(2022.01) G06V 10/20(2022.01) G06V 10/80(2022.01) G06K 9/62(2022.01)G16H 20/60(2018.01) (54)发明名称 一种基于深度学习食物图像识别模型的营 养管理方法及系统 (57)摘要 本发明属于用餐食物图像数据处理领域， 具 体涉及一种基于深度学习食物 图像识别模型的 营养管理方法及系统， 该方法包括： 用户端获取 用户待摄入食物的图像， 将获取的食物图像输入 到训练好的基于深度学习食物图像识别模型， 得 到不同种类的食物子图像； 计算不同种类食物子 图像中所含 营养的量， 将所有食物中的营养素进 行累加， 得到该用户各种营养素总摄入量； 设置 各种营养的摄入阈值， 将计算出的各种营养素总 摄入量与对应营养素摄入阈值进行对比， 得到对 比结果； 根据对比结果调整摄入食物的种类和数 量， 完成营养管理； 本发明通过将用户上传的食 物摄入信息通过服务器和其他数据集关联起来， 得到能量、 产能营养素比率是否处于适宜推荐 量， 最后将分析得到的数据反馈给用户， 从而促 使用户对 膳食模式进行改进。 权利要求书2页 说明书6页 附图3页 CN 114550018 A 2022.05.27 CN 114550018 A 1.一种基于深度 学习食物图像识别模型的营养管理方法， 其特征在于， 包括： 用户端获 取用户待摄入食物的图像， 将获取的食物图像输入到训练好的基于深度学习食物图像识别 模型， 得到不同种类的食物子图像； 计算不同种类食物子图像中所含 营养的量， 将所有食物 中的营养素进 行累加， 得到该用户各种营养素总摄入量； 设置各种营养的摄入阈值， 将 计算 出的各种营养素总摄入量与对应营养素摄入阈值进行对比， 得到对比结果； 根据对比结果 调整摄入 食物的种类和数量， 完成营养管理。 2.根据权利要求1所述的一种基于深度学习食物图像识别模型的营养管理方法， 其特 征在于， 对基于深度学习食物图像识别模型进行训练的过程包括： 步骤1： 获取食物图像数据集， 食物图像数据集中的图像包 含不同食物的图像； 步骤2： 对食物图像数据集中的数据进行预处理， 并对预处理后的食物图像进行划分， 得到训练集和 测试集； 步骤3： 采用目标区域检测算法将训练集中的图像分割成各个掩码； 步骤4： 对各个掩码进行特征提取， 得到各个掩码的全局特征和局部特征， 并对每个特 征进行个 体特征通道分类； 步骤5： 采用新的张量特征融合决策算法对通道分类后的全局特征和局部特征进行融 合， 得到目标框； 步骤6： 根据目标框对图像进行分割， 得到分割后的食物图像； 将食物图像中不同分属 和不同食物的像素区域分开， 完成食物图像普通分割； 步骤7： 判断分割后的食物图像的种类是否相同， 若相同， 分类出每一块区域的语义， 实 现食物图像的语义分割， 并标记出每种食物图像的类别； 若不相同， 则将分割后的食物图像 作为输入， 并返回步骤4； 步骤8： 在语义分割的基础上， 给每个食物图像编号， 实现食物图像实例分割， 输出分割 后的图像集， 完成食物 识别。 3.根据权利要求2所述的一种基于深度学习食物图像识别模型的营养管理方法， 其特 征在于， 对食物图像数据集中的数据进行预处理包括对食物图像数据集中的图像进行消 重、 图像补全以及图像增强处 理。 4.根据权利要求2所述的一种基于深度学习食物图像识别模型的营养管理方法， 其特 征在于， 采用目标区域检测算法检测算法将训练集中的图像分割成各个掩码的过程包括： 步骤1： 对食物图像进行二值化处理， 得到二值化图像； 提取二值化图像 中每个像素的3 个通道值或1个通道值； 步骤2： 提取食物图像轮廓类型， 采用近似法存储提取的食物图像轮廓信息； 轮廓信息 中每个元素保存了一组由连续的食物图像点构成的点集向量， 每一组食物图像点集表征一 个轮廓， 用作食物图像分类的特 征； 步骤3： 根据食物图像 轮廓信息对 食物图像进行分割， 分割后的返回图像即为掩码。 5.根据权利要求2所述的一种基于深度学习食物图像识别模型的营养管理方法， 其特 征在于， 对各个掩码的全局特 征和局部特征进行个 体特征通道分类的过程包括： 步骤1： 对每一张食物图像的全局信息进行仿射变换、 特 征提取， 得到全局特 征； 步骤2： 对食物图像中的的各个区域进行特征提取， 并将各个区域的局部特征进行融 合， 得到融合后的局部特 征； 特征提取的方式方式包括切片、 食物分割信息以及网格。权　利　要　求　书 1/2 页 2 CN 114550018 A 2步骤3： 采用深度学习网络对融合全局特 征和局部特征的个体特征通道进行分类。 6.根据权利要求2所述的一种基于深度学习食物图像识别模型的营养管理方法， 其特 征在于， 采用新的张量特征融合决策算法对进行通道分类后的全局特征和局部特征进 行融 合包括： 步骤1： 对输入的食物图像数据进行预处理， 该预处理包括每个特征值减去特征均值， 使得每个特征具有相同的零均值和方差； 并用张量构建食物图像3个通道的数据结构； 步骤2： 计算张量数据协方差矩阵， 求出协方差矩阵的的特征值， 并按从大到小排列， 选 取前k个特征值作为降维后的特 征个数； 步骤3： 根据张量数据的特征值提取前k个特征值对应的特征向量， 从而把高维的特征 张量转化为一个k维的特 征矢量， 该k维的特 征矢量为降维融合后的特 征向量。 7.一种基于深度 学习食物图像识别模型的营养管理系统， 其特征在于， 该系统包括： 用 户端、 云端以及服 务器； 所述用户端用于获取用户的待摄入 食物图像， 并将获取的食物图片发送到云端； 所述云端用于对食物图片进行处理， 得到该用户的各种营养素总摄入量； 云端对食物 图片进行 处理包括将食物图片 输入到基于深度学习食物图像识别模型中， 得到不同种类的 食物子图像； 计算不同种类食物子图像中所含营养的量， 将所有食物中的营养素进 行累加， 得到该用户各种营养素总摄入量； 所述服务器用于获取用户各种营养素总摄入量， 并将用户各种营养素总摄入量与 各种 营养的摄入阈值分别进行对比， 根据对比结果生成食物调整方案， 并将该方案发送到用户 端。 8.一种计算机可读存储介质， 其上存储有计算机程序， 其特征在于， 所述计算机程序被 处理器执行， 以实现权利要求 1至6中任一项基于深度学习食物图像识别模型的营养管理方 法。 9.一种基于深度学习食物图像识别模型的营养管理装置， 其特征在于， 包括处理器和 存储器； 所述存储器用于存储计算机程序； 所述处理器与所述存储器相连， 用于执行所述存 储器存储的计算机程序， 以使 所述一种基于深度学习食物图像识别模型的营养管理装置执 行权利要求1至 6中任一项基于深度学习食物图像识别模型的营养管理方法。权　利　要　求　书 2/2 页 3 CN 114550018 A 3