(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 20221024075 3.4 (22)申请日 2022.03.10 (71)申请人 青岛海尔科技有限公司 地址 266101 山东省青岛市崂山区海尔路1 号海尔工业园 申请人 海尔智家 股份有限公司 (72)发明人 刘彦甲　 (74)专利代理 机构 北京康信知识产权代理有限 责任公司 1 1240 专利代理师 江舟 (51)Int.Cl. G06V 20/00(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01)G06V 10/764(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) (54)发明名称 成熟状态的确定方法和装置、 存储介质及电 子装置 (57)摘要 本申请公开了一种成熟状态的确定方法和 装置、 存储介质及电子装置， 涉及智慧家庭技术 领域， 该成熟状态的确定方法包括： 通过多个采 集装置获取位于烤箱设备中的食 材的实时数据， 其中， 所述实时数据包括： 图像数据、 温度数据和 重量数据； 通过多模态融合网络TFN对所述实时 数据进行数据融合， 得到融合数据； 使用目标分 类网络对所述融合数据进行分类， 以确定所述食 材的实时成熟状态； 采用上述技术方案， 解决了 相关技术中， 智能烤箱设备对烘焙食 材的成熟度 识别准确度较低等问题。 权利要求书2页 说明书10页 附图3页 CN 114743083 A 2022.07.12 CN 114743083 A 1.一种成熟状态的确定方法， 其特 征在于， 包括： 通过多个数据采集装置获取位于烤箱设备中的食材的实时数据， 其中， 所述实时数据 包括： 图像数据、 温度数据和重量数据； 通过多模态融合网络TFN对所述实时数据进行 数据融合， 得到融合数据； 使用目标分类网络对所述融合数据进行分类， 以确定所述食材的实时成熟状态。 2.根据权利要求1所述的成熟状态的确定方法， 其特征在于， 通过多个数据采集装置获 取位于烤箱设备中的食材的实时数据， 包括： 通过位于所述烤箱设备内侧 顶部的图像采集装置获取所述食材的图像数据， 通过位于 所述烤箱设备内的温度采集装置获取所述食材的温度数据， 以及通过位于所述烤箱设备内 侧底部的重量采集装置获取 所述食材的重量数据。 3.根据权利要求1所述的成熟状态 的确定方法， 其特征在于， 通过多模态融合网络TFN 对所述实时数据进行 数据融合， 得到融合数据， 包括： 获取所述图像数据的第一特征向量hx， 所述温度数据的第二特征向量hy， 以及所述重量 数据的第三特 征向量hz； 通过以下公式对所述第一特征向量hx， 所述第二特征向量hy， 以及所述第三特征向量hz 进行融合， 得到所述融合数据hm： 4.根据权利要求1所述的成熟状态的确定方法， 其特征在于， 使用目标分类网络对所述 融合数据进行分类， 以确定所述食材的实时成熟状态之前， 所述方法还 包括： 通过图像 检测算法对所述图像数据进行识别， 以确定所述食材的食材类别； 从多个分类网络中确定与所述食材类别对应的目标分类网络； 其中， 所述多个分类网 络与多个食材类别一 一对应。 5.根据权利要求1所述的成熟状态的确定方法， 其特征在于， 使用目标分类网络对所述 融合数据进行分类， 以确定所述食材的实时成熟状态之后， 所述方法还 包括： 在所述食材的实时成熟状态指示所述食材处于第 一成熟状态的情况下， 向第 一对象的 移动终端发送第一提示信息； 其中， 所述第一提示信息用于指示所述食材已处于可食用状 态； 和/或 在所述食材的实时成熟状态指示所述食材处于第 二成熟状态的情况下， 向第 一对象的 移动终端发送第二提示信息； 其中， 所述第二提示信息用于指示所述食材禁止再继续烹饪， 所述第一成熟状态的成熟度小于所述第二成熟状态的成熟度。 6.根据权利要求5所述的成熟状态的确定方法， 其特征在于， 向第 一对象的移动终端发 送第一提示信息之前， 或向第一对象的移动终端发送第二 提示信息之前， 所述方法还 包括： 获取将所述食材放入所述烤箱设备的目标对象的生物特 征； 根据所述目标对象的生物特 征确定所述目标对象是否为所述第一对象； 在所述目标对象为所述第一对象的情况下， 为所述第一对象设置以下提醒流程： 在所 述食材的实时成熟状态指示所述食材 处于第一成熟状态的情况下， 向第一对象的移动终端 发送第一提示信息， 以及在所述食材的实时成熟状态指示所述食材处于第二成熟状态的情 况下， 向第一对象的移动终端发送第二 提示信息。权　利　要　求　书 1/2 页 2 CN 114743083 A 27.根据权利要求5所述的成熟状态的确定方法， 其特征在于， 使用目标分类网络对所述 融合数据进行分类， 以确定所述食材的实时成熟状态之后， 所述方法还 包括： 接收所述第一对象的反馈信息； 其中， 所述反馈信息用于指示所述实时成熟状态是否 满足所述第一对象的预设条件； 根据所述反馈信息调整所述第一成熟状态， 和/或所述第二成熟状态。 8.一种成熟状态的确定装置， 其特 征在于， 包括： 获取模块， 用于通过多个数据采集装置获取位于烤箱设备中的食材的实时数据， 其中， 所述实时数据包括： 图像数据、 温度数据和重量数据； 融合模块， 用于通过多模态融合网络TFN对所述实时数据进行数据融合， 得到融合数 据； 分类模块， 用于使用目标分类网络对所述融合数据进行分类， 以确定所述食材的实时 成熟状态。 9.一种计算机可读的存储介质， 其特征在于， 所述计算机可读的存储介质包括存储的 程序， 其中， 所述 程序运行时执 行权利要求1至7中任一项所述的方法。 10.一种电子装置， 包括存储器和 处理器， 其特征在于， 所述存储器中存储有计算机程 序， 所述处 理器被设置为 通过所述计算机程序执 行权利要求1至7中任一项所述的方法。权　利　要　求　书 2/2 页 3 CN 114743083 A 3