(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210023062.9 (22)申请日 2022.01.10 (71)申请人 北京工商大 学 地址 100048 北京市海淀区阜成路3 3号 (72)发明人 李海生　王薇　董笑笑　李楠　 李勇　 (74)专利代理 机构 北京科迪生专利代理有限责 任公司 1 1251 专利代理师 金怡 (51)Int.Cl. G06V 20/68(2022.01) G06V 10/26(2022.01) G06V 10/44(2022.01) G06V 10/764(2022.01) G06V 10/82(2022.01)G06T 7/62(2017.01) G06T 17/20(2006.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G16H 20/60(2018.01) (54)发明名称 一种基于视觉分析的食物营养评估方法及 系统 (57)摘要 本发明涉及一种基于视觉分析的食物营养 评估方法及系统， 其方法包括： S1： 获取进食前后 的食物RGB图像和深度图像； S2： 使用Mask  R‑CNN 获取RGB食物图像的类别及其视觉区域， 并对深 度图像中食物区域进行标记； S3： 构建并训练3D 卷积神经网络， 将标记好的深度图像输入训练好 的3D卷积神经网络， 预测得到对视图深度图像； S4： 将深度图像和对视图的深度图像注册到同一 世界坐标中， 得到食物的三维点云； S5： 将点 云应 用于每个食物对象， 使用基于凸包的算法对食物 对象进行网格划分以计算食物体积； S6： 根据食 物体积和食物的类别， 计算食物质量和营养量， 将进食前后的食物营养量相减， 得到准确的食物 摄入量。 本发明提供的方法， 有效解决了日常生 活中的膳 食评估问题。 权利要求书3页 说明书6页 附图4页 CN 114463740 A 2022.05.10 CN 114463740 A 1.一种基于 视觉分析的食物营养 评估方法， 其特 征在于， 包括： 步骤S1： 获取进食前和进食后的食物的RGB图像和 深度图像， 其中， 所述RGB图像和所述 深度图像的拍摄角度保持一 致； 步骤S2： 使用MaskR ‑CNN神经网络获取所述RGB图像 的食物的类别及其视觉区域， 并对 所述深度图像中相应的食物区域进行 标记， 得到标记好的深度图像； 步骤S3： 构建并训练3D卷积神经网络， 将标记好的所述深度图像输入训练好的所述3D 卷积神经网络， 预测得到所述深度图像的对视图深度图像； 其中， 所述3D卷积神经网络包 括： 初始层、 编码器、 全连接层和解码器； 步骤S4： 将所述深度图像和所述对视 图的深度图像注册到同一世界坐标中， 得到目标 对象的完整三维点云； 步骤S5： 将所述点云应用于每个标记的食物对象， 使用基于凸包的算法对所述食物对 象进行网格划分以计算食物体积； 步骤S6： 根据所述食物体积和所述食物的类别， 计算食物质量， 与食物营养表进行对 比， 计算进食前和进食后的食物营养量， 二 者相减， 得到准确的食物摄入量。 2.根据权利要求1所述的基于视觉分析的食物营养评估方法， 其特征在于， 所述步骤 S3： 构建并训练3D卷积神经网络， 将标记好的所述深度图像输入训练好的所述3D卷积神经 网络， 预测得到所述深度图像的对视图深度图像； 其中， 所述3D卷积神经网络包括： 初始层、 编码器、 全连接层和解码器， 具体包括： 步骤S31： 构建3D卷积神经网络， 包括： 初始层： 由多层不同卷积核大小的卷积层连接在一 起构成； 一个编码器： 由若干个具有不同卷积核的卷积层构成； 若干个全连接层： 经 过所述全连接层共享特 征， 并对齐特 征维度； 一个解码器： 由所述编码器经 过逆置后与若干个卷积层共同构成； 步骤S32： 使用公开的二维视图和对应的三维模型数据集训练所述3D卷积神经网络， 得 到训练好的3D卷积神经网络； 其中， 所述3D卷积神经网络输出为输入图像对侧遮挡角度的 深度图像， 即对视图深度图像； 定义所述3D卷积神经网络的损失函数如公式(1)所示： 其中， 为所述对视图深度图像的像素值， d(u,v)为所述深度图像的像素值， w和h 分别表示图像的宽度和高度， λ是损失函数中的正则化项， b为偏置量； 步骤S33： 将所述标记好的深度图像输入训练好的所述3D卷积神经网络， 生成所述深度 图像的对视图深度图像。 3.根据权利要求1所述的基于视觉分析的食物营养评估方法， 其特征在于， 所述步骤 S4： 将所述深度图像和所述对视图的深度图像注册到同一世界坐标中， 得到目标对 象的完 整三维点云， 具体包括： 步骤S41： 将世界坐标的原点的位置移动到拍摄所述深度图像的相机中心， 将所述深度 图像重新投影到以下公式(2)的世界坐标中：权　利　要　求　书 1/3 页 2 CN 114463740 A 2其中， u,v表示所述深度图像中的坐标， X,Y,Z表示世 界坐标中的坐标； Z是一个标量， 表 示depthmap(u,v)； 是相机矩阵， 其中fx,fy表示焦距的参数； cx,cy为主点偏移， 即主 点位置相对于图像平面(投影面)的位置； 步骤S42： 通过旋转和平移矩阵分别进行180度相机旋转和平移， 可简化为以下公式 (3): 其中， θ 是相机沿y轴旋转的角度； 步骤S43： 通过以下公式(4)注 册到相同的世界坐标， 合成食物点云： 其中， 为旋转矩阵， 为平移矩阵。 4.根据权利要求1所述的基于视觉分析的食物营养评估方法， 其特征在于， 所述步骤 S5： 将所述点云应用于每个标记的食物对 象， 使用基于凸包的算法对所述食物对 象进行网 格划分以计算食物体积， 具体包括： 步骤S51： 将所述食物点云自下而上， 按照预设的等间距进行分层， 并将每一层点云存 储为一个独立单元； 步骤S52： 对分层后的所述食物点云进行z轴投影， 之后对每层所述食物点云使用凸包 算法对其进行外层凸包构建， 得到凸包轮廓； 步骤S53： 设置边长阈值Llimit， 对所述凸包轮廓以及每条大于变长阈值Llimit的边围直径 作圆形区域， 选取圆内的点为疑似边界点； 寻找所述疑似边界点中与直径端点组成最大角 的点作为 新边界点， 从而收缩 食物边界， 剔除空隙； 步骤S54： 重复步骤S52 ～S53， 直到所有边长小于阈值， 则停止迭代计算； 步骤S55： 计算每一层的体积， 将所有层体积相加即为食物体积。 5.一种基于 视觉分析的食物营养 评估系统， 其特 征在于， 包括下述模块： 获取RGB图像和深度图像模块， 用于获取进食前和进食后的食物的RGB图像和深度图 像， 其中， 所述RGB图像和所述深度图像的拍摄角度保持一 致； 获取食物的类别和视觉区域模块， 用于使用MaskR ‑CNN神经网络获取所述RGB图像的食 物的类别及其视觉区域， 并对所述深度图像中相应的食物 区域进行标记， 得到标记好的深 度图像； 预测对视图深度图像模块， 用于构建并训练3D卷积神经网络， 将标记好的所述深度图 像输入训练好的所述3D卷积神经网络， 预测得到所述深度图像的对视图深度图像； 其中， 所 述3D卷积神经网络包括： 初始层、 编码器、 全连接层和解码器；权　利　要　求　书 2/3 页 3 CN 114463740 A 3