(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210899528.1 (22)申请日 2022.07.28 (71)申请人 广州市派客朴食信息科技有限责任 公司 地址 510665 广东省广州市天河区广州大 道北52号 二层252铺 (72)发明人 邵阳　陈晓鹏　赵晓红　 (74)专利代理 机构 华进联合专利商标代理有限 公司 44224 专利代理师 胡雪 (51)Int.Cl. G06V 20/52(2022.01) G06V 10/75(2022.01) G06V 10/25(2022.01) G06V 10/22(2022.01)H04N 7/18(2006.01) (54)发明名称 饮食摄取监控方法、 装置、 计算机设备和存 储介质 (57)摘要 本申请涉及一种饮食摄取监控方法、 装置、 计算机设备、 存储介质和计算机程序产品。 所述 方法包括： 获取当前采集轮次的就餐场景图像集 合， 根据就餐场景图像集合， 确定当前采集轮次 对应的至少一个目标采集方位； 目标采集方位用 于定位主检测对象所处区域； 根据各目标采集方 位对应的目标定位点， 确定至少一个目标检测对 象； 目标定位点用于定位子检测对象； 根据各目 标检测对象对应的饮食识别信息， 得到当前采集 轮次对应的饮食采集数组； 饮食识别信息包括食 物类别和各食物 类别对应的余量信息； 基于预设 就餐时间范围内各采集轮次对应的饮食采集数 组， 得到饮食摄取监控信息。 采用本方法能够自 动定位各检测对象进行饮食摄取分析， 提升了饮 食摄取监控效率。 权利要求书2页 说明书14页 附图6页 CN 115497035 A 2022.12.20 CN 115497035 A 1.一种饮食摄取监控方法， 其特 征在于， 所述方法包括： 获取当前采集轮次的就餐场景图像集合， 根据所述就餐场景图像集合， 确定所述当前 采集轮次对应的至少一个目标采集方位； 所述就餐场景图像集合中的各就餐场景图像具有 对应的采集方位， 所述目标采集方位用于 定位主检测对象所处区域； 根据各所述目标采集方位对应的目标定位点， 确定至少一个目标检测对象； 所述目标 定位点用于定位子检测对 象， 所述子检测对 象存在于所述主检测对 象所处区域中， 所述 目 标检测对象为具有对象关联关系的子检测对象； 根据各所述目标检测对象对应的饮食识别信 息， 得到所述当前采集轮次对应的饮食采 集数组； 所述饮食识别 信息包括食物类别和各 所述食物类别对应的余 量信息； 基于预设就餐时间范围内各采集轮次对应的饮食 采集数组， 得到饮食摄取监控信息 。 2.根据权利要求1所述的方法， 其特征在于， 所述获取当前采集轮次的就餐场景图像集 合， 根据所述就餐场景图像集合， 确定所述当前采集轮次对应的至少一个目标采集方位， 包 括： 获取云台摄像设备对不同采集方位实时采集的就餐场景图像， 得到所述当前采集轮次 的就餐场景图像集 合； 根据从各所述就餐场景图像中识别出的候选检测区域， 得到所述至少一个目标采集方 位； 所述候选检测区域 为识别到所述主检测对象的图像中区域。 3.根据权利要求2所述的方法， 其特征在于， 所述根据从各所述就餐场景图像中识别出 的候选检测区域， 得到所述至少一个目标采集方位， 包括： 针对每个候选检测区域， 将所述候选检测区域对应的图像坐标点转换为基于所述云台 摄像设备的三维坐标点； 根据各所述候选检测区域对应的三维坐标点， 得到候选方位集合， 并去 除所述候选方 位集合中的重复方位， 得到所述至少一个目标采集方位； 所述重复方位为针对同一主检测 对象得到的候选方位； 在所述得到所述至少一个目标采集方位的步骤之后， 所述方法还 包括： 采用所述至少一个目标采集方位进行路径规划， 得到所述当前采集轮次对应的路径规 划结果。 4.根据权利要求3所述的方法， 其特征在于， 所述将所述候选检测区域对应的图像坐标 点转换为基于所述云台摄 像设备的三维坐标点， 包括： 将所述候选检测区域对应的图像坐标点 转换为基于所述云台摄 像设备的旋转物理量； 将所述候选检测区域所属的就餐场景图像对应的采集方位， 作为当前采集方位， 并将 所述当前采集方位 转换为基于所述云台摄 像设备的三维坐标点； 结合所述候选检测区域对应的旋转物理量， 以及所述当前采集方位对应的三维坐标 点， 得到所述 候选检测区域对应的三维坐标点。 5.根据权利要求1所述的方法， 其特征在于， 所述根据各所述目标采集方位对应的目标 定位点， 确定至少一个目标检测对象， 包括： 针对每个目标采集方位， 根据从所述主检测对象所处区域中识别出的子检测对象， 确 定所述目标定位 点； 根据所述目标定位 点， 建立基于所述子检测对象的三维坐标距离的有权二分图；权　利　要　求　书 1/2 页 2 CN 115497035 A 2采用所述有权二分图对所述子检测对象与子检测对象标号进行匹配， 并根据匹配结果 确定所述至少一个目标检测对象。 6.根据权利要求1至5任一项所述的方法， 其特征在于， 所述根据各所述目标检测对象 对应的饮食识别 信息， 得到所述当前采集轮次对应的饮食 采集数组， 包括： 针对每个目标检测对象， 获取所述目标检测对象对应的检测对象图像； 所述目标检测 对象为用于盛放食物的物品对象， 所述物品对象中具有 多个分隔区域； 将所述检测对象图像输入第一预设分割网络， 得到所述物品对象对应的第一像素区 域， 以及将所述检测对 象图像输入第二预设分割网络， 得到各所述分隔区域对应的第二像 素区域； 识别各所述第 二像素区域对应的食物类别， 并根据 所述第一像素区域和所述第 二像素 区域， 确定各 所述食物类别对应的余 量信息； 将所述食物类别和各所述食物类别对应的余量信 息， 作为所述目标检测对象对应的饮 食识别信息。 7.一种饮食摄取监控 装置， 其特 征在于， 所述装置包括： 采集方位确定模块， 用于获取当前采集轮次的就餐场景图像集合， 根据所述就餐场景 图像集合， 确定所述当前采集轮次对应的至少一个目标采集方位； 所述就餐场景图像集合 中的各就餐场景图像具有对应的采集方位， 所述目标采集方位用于定位主检测对象所 处区 域； 检测对象确定模块， 用于根据各所述目标采集方位对应的目标定位点， 确定至少一个 目标检测对 象； 所述目标定位点用于定位子检测对 象， 所述子检测对 象存在于所述主检测 对象所处区域中， 所述目标检测对象为具有对象关联关系的子检测对象； 饮食采集数组得到模块， 用于根据各所述目标检测对象对应的饮食识别信息， 得到所 述当前采集轮次对应的饮食采集数组； 所述饮食识别信息包括食物类别和各所述食物类别 对应的余 量信息； 饮食摄取监控信 息得到模块， 用于基于预设就餐时间范围内各采集轮次对应的饮食采 集数组， 得到饮食摄取监控信息 。 8.一种计算机设备， 包括存储器和处理器， 所述存储器存储有计算机程序， 其特征在 于， 所述处 理器执行所述计算机程序时实现权利要求1至 6中任一项所述的方法的步骤。 9.一种计算机可读存储介质， 其上存储有计算机程序， 其特征在于， 所述计算机程序被 处理器执行时实现权利要求1至 6中任一项所述的方法的步骤。 10.一种计算机程序产品， 包括计算机程序， 其特征在于， 所述计算机程序被处理器执 行时实现权利要求1至 6中任一项所述的方法的步骤。权　利　要　求　书 2/2 页 3 CN 115497035 A 3