(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 20221021813 0.7 (22)申请日 2022.03.08 (65)同一申请的已公布的文献号 申请公布号 CN 114283488 A (43)申请公布日 2022.04.05 (73)专利权人 北京万里红科技有限公司 地址 100081 北京市海淀区大柳树 富海中 心3号楼204室 (72)发明人 贾福昌　李茂林　 (74)专利代理 机构 北京思睿峰知识产权代理有 限公司 1 1396 专利代理师 高攀　赵爱军 (51)Int.Cl. G06V 40/18(2022.01) G06V 10/774(2022.01)G06V 10/80(2022.01) G06V 10/82(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (56)对比文件 WO 20210983 00 A1,2021.0 5.27 WO 202017313 5 A1,2020.09.0 3 审查员 黄睿 (54)发明名称 生成检测模型的方法及利用检测模型检测 眼睛状态的方法 (57)摘要 本公开公开了一种生成用 于检测眼睛状态 的检测模型的方法， 包括步骤： 对包含单个眼睛 的样本图像进行预处理， 生 成训练图像和标签数 据； 构建检测模型及初始的网络参数， 检测模型 由主干特征提取组件、 特征金字塔组件和 信息预 测组件耦接而成， 其中眼睛状态包含闭合状态和 非闭合状态； 将训练图像输入检测模型进行处 理， 以输出预测结果； 以及基于预测结果和标签 数据， 计算损失值， 并根据损失值调整网络参数， 直至满足预定条件， 所对应的检测模 型就是最终 生成的用于检测眼睛状态的检测模 型。 本公开还 一并公开了基于该检测模型的检测眼部图像中 眼睛状态的方法及系统。 基于该检测模型， 能够 快速准确地检测出眼部图像中的眼睛状态。 权利要求书2页 说明书13页 附图7页 CN 114283488 B 2022.06.14 CN 114283488 B 1.一种生成用于检测眼睛状态的检测模型的方法， 包括 步骤： 对包含单个眼睛的样本 图像进行预处理， 生成训练图像和标签数据， 所述标签数据包 括： 预设区域标签、 状态标签、 背景标签中的至少一个， 所述预设区域标签指示包含处于闭 合状态的眼睛的矩形区域， 所述状态标签指示样本图像的眼睛状态类别， 所述背景标签指 示样本图像的背景类别， 所述背景类别包括： 包 含眼睛的图像、 不包 含眼睛的图像； 构建检测模型及初始的网络参数， 所述检测模型由主干特征提取组件、 特征金字塔组 件和信息预测组件耦接而成， 其中所述眼睛状态包 含闭合状态和非闭合状态； 将所述训练图像输入所述检测模型进行处理， 以输出预测结果， 所述预测结果包括： 包 含处于闭合状态的眼睛的预测区域、 状态类别预测值、 背景类别预测值中的至少一个， 其 中， 背景类别预测值作为预测状态类别的辅助置信度， 背景类别预测值越大， 状态类别预测 值越可信； 以及 基于所述预测结果和所述标签数据， 计算损失值， 并根据所述损失值调整网络参数， 直 至满足预定条件， 所对应的检测模型就是最终生成的用于检测眼睛状态的检测模型， 在所述检测模型中， 所述主干特征提取组件由4个空洞卷积模块依次耦接而成， 所述空 洞卷积模块包括第一卷积块、 第二卷积块、 第三卷积块、 第四卷积块、 池化层、 激活层， 所述 第一卷积块和 第二卷积块分别与第四卷积块耦接， 所述第三卷积块和所述第四卷积块分别 与所述池化层 耦接， 所述池化层与所述激活层耦接， 并且， 所述第一卷积块和 第二卷积块中 分别包含空洞卷积块和一般的卷积块， 且在第一卷积块和第二卷积块中的空洞卷积块， 其 空洞率不同， 第三卷积块和第四卷积块中只包 含一般的卷积块。 2.如权利要求1所述的方法， 其中， 所述特征金字塔组件至少包括多个卷积处理模块和多个特征上采样模块， 其中， 所述 卷积处理模块包括依次耦接的卷积层、 归一化层、 激活层； 所述特征上采样模块包括依次耦 接的所述卷积处 理模块和上采样层， 所述信息预测 组件包含闭眼区域预测分支和类别预测分支， 其中， 所述闭眼区域预测 分支至少包 含多个卷积处 理模块， 适于 输出包含处于闭合状态的眼睛的预测区域； 所述类别预测分支至少包含多个卷积处理模块和分类层， 适于输出状态类别预测值和 背景类别预测值。 3.如权利要求1所述的方法， 其中， 将所述训练图像输入所述检测模型进行处理， 以输 出预测结果的步骤 包括： 将所述训练图像输入所述主干特征提取组件， 依次由多个空洞卷积模块处理， 并经由 第3个空洞卷积模块输出第三特 征子图、 经由第4个空洞卷积模块输出第四特 征子图； 将所述第三特征子图与所述第四特征子图输入所述特征金字塔组件， 进行特征提取和 采样， 并输出第一输出 特征图和第二输出 特征图； 以及 将所述第一输出特征图和所述第二输出特征图输入所述信息预测组件， 经卷积处理 后， 输出所述预测结果。 4.如权利要求3所述的方法， 其中， 所述将第 三特征子图与第四特征子图输入特征金字 塔组件， 进行 特征提取和采样， 并输出第一输出 特征图和第二输出 特征图的步骤 包括： 至少经卷积处理模块对第 三特征子图进行处理， 并将处理后的特征图与所述第四特征 子图融合， 得到第一融合特 征图；权　利　要　求　书 1/2 页 2 CN 114283488 B 2至少经1个卷积处理模块和1个特征上采样模块， 对所述第一融合特征图进行处理， 得 到第一中间特 征图； 至少经2个卷积处理模块及1个特征上采样模块， 对所述第一融合特征图进行处理， 得 到第二中间特 征图； 对所述第一中间特 征图和所述第二中间特 征图进行融合， 得到第二融合特 征图； 对所述第二融合特 征图进行 卷积处理， 以生成所述第一输出 特征图； 经所述卷积处 理模块对第一输出 特征图进行处 理， 以生成所述第二输出 特征图。 5.如权利要求1所述的方法， 其中， 基于所述预测结果和所述标签数据， 计算损 失值的 步骤包括： 利用所述预设区域标签和所述包 含处于闭合状态的眼睛的预测区域， 计算第一损失； 利用所述状态标签和所述状态类别预测值， 计算第二损失； 利用所述背景 标签和所述背景类别预测值， 计算第三损失； 基于所述第一损失、 所述第二损失和所述第三损失， 确定出 所述损失值。 6.一种检测眼睛状态的方法， 包括 步骤： 将指示待检测对象的图像输入用于检测眼睛状态的检测模型， 经处理后至少输出状态 类别预测 值、 预测区域和背景类别预测 值， 其中所述状态类别预测值为眼睛处于闭合状态 的概率值， 所述预测区域为包含处于闭合状态的眼睛的矩形区域， 所述背景类别预测值为 所述图像包 含眼睛的概 率值； 以及 当所述背景类别预测值指示所述图像包含人眼、 且所述状态类别预测值指示眼睛处于 闭合状态时， 确定所述待检测对象 的眼睛处于闭合状态， 其中， 所述检测模型通过执行如权 利要求1‑5中任一项所述的方法来训练生成。 7.一种检测眼睛状态的系统， 适于执行如权利要求1 ‑5中任一项所述的方法， 和/或， 如 权利要求6所述的方法， 包括： 图像采集单元， 适于采集包含待检测对象的眼部区域的图像， 并对所述图像进行预处 理， 以生成待检测图像； 图像处理单元， 适于将所述待检测图像输入检测模型中进行处 理， 以输出 预测结果； 预测结果单元， 适于基于所述预测结果， 确定出所述待检测对象的眼睛状态， 其中所述 眼睛状态包 含闭合状态和非闭合状态； 卷积网络生成单 元， 适于训练生成用于检测眼睛状态的所述检测模型。 8.一种计算设备， 包括： 至少一个处 理器和存 储有程序指令的存 储器； 当所述程序指令被所述处理器读取并执行时， 使得所述计算设备执行如权利要求1 ‑5 中任一项所述的方法， 和/或， 执 行如权利要求6所述的方法。 9.一种存储一个或多个程序的计算机可读存储介质， 所述一个或多个程序包括指令， 所述指令在被计算设备执行时， 使得所述计算设备执行如权利要求1 ‑5所述的任一方法， 和/或， 执 行如权利要求6所述的方法。权　利　要　求　书 2/2 页 3 CN 114283488 B 3