(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211279692.9 (22)申请日 2022.10.19 (71)申请人 中山大学 地址 510275 广东省广州市海珠区新港西 路135号 (72)发明人 孙慧杰　杜畅洋　刘万泉　吴雨瑶　 (74)专利代理 机构 深圳叁众知识产权代理事务 所(普通合伙) 44434 专利代理师 李家平 (51)Int.Cl. G06V 40/16(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06V 10/82(2022.01) (54)发明名称 基于计算机视觉的室内人员痛苦表情识别 方法及系统 (57)摘要 本发明涉及基于计算机视觉的室内人员痛 苦表情识别方法和系统。 其方法包括： 获取输入 视频中包含人脸的现场图像， 提取人脸图像， 将 人脸图像输入至基于深度可分离的神经网络模 型， 输出与人脸图像关联的表情识别结果， 神经 网络模型包括多个深度可分离的剩余卷积层， 在 神经网络模 型训练时， 对原始表情数据库进行数 据集合并分别重新生成三分类数据库和六分类 数据库， 分别采用三分类数据库和六分类数据库 进行模型训练。 本发明采用轻量化神经网络模 型， 通过数据集合并和扩充构均衡化的训练数据 库， 在保证整体识别准确率不变的前提下， 提高 识别准确率以及表情分类精度， 实现实时视频监 控及痛苦表情识别。 权利要求书2页 说明书8页 附图11页 CN 115512424 A 2022.12.23 CN 115512424 A 1.一种基于计算机视觉的室内人员痛苦表情识别方法， 其特征在于， 所述方法包括以 下步骤： S10、 获取 所述计算机 视觉输入视频中包 含人脸的现场图像， 提取 人脸图像； S20、 将所述人脸图像输入至基于深度可分离的神经网络模型； S30、 通过所述神经网络模型输出与所述人脸图像关联的表情识别结果； 其中， 所述神经网络模型包括多个深度可分离的剩余卷积层； 在所述神经网络模型训练时， 对原始表情数据库进行数据集合并分别 重新生成三分类 数据库和六分类数据库， 分别采用所述三分类数据库和所述六分类数据库对所述神经网络 模型进行训练； 其中， 所述三分类数据库包括消极数据集、 中性数据集和积极数据集； 所述 六分类数据库包括愤怒数据集、 厌恶和惊讶数据集、 悲伤数据集、 恐惧数据集、 快乐数据集 和中性数据集。 2.根据权利要求1所述的方法， 其特征在于， 对于所述步骤S20， 所述神经网络模型包 括： 用于处理输入的人脸图像的两个第一卷积层； 用于处理所述两个第一卷积层输出 特征的四个深度可分离的剩余卷积层； 用于处理所述四个剩余卷积层输出 特征的第二卷积层； 用于处理所述第二卷积层输出 特征的全局平均池化层； 用于处理所述全局平均池化层输出 特征并产生预测结果的softmax激活函数； 其中， 每个所述第一卷积层、 每个所述剩余卷积层和所述第二卷积层的卷积后面均设 置有一个归一 化处理和一个ReLU激活函数。 3.根据权利要求2所述的方法， 其特征在于， 对于所述步骤S20， 每个所述深度 可分离的 剩余卷积层包括： 用于处理所述两个第一卷积层输出 特征的第三卷积层； 用于处理所述两个第一卷积层输出 特征的两个深度可分离卷积层； 用于处理所述两个深度可分离卷积层输出 特征的最大值池化层； 其中， 所述最大池化层的输出特征与所述第 三卷积层的输出特征合并输入到第 二卷积 层； 所述第四卷积层和每个所述深度可分离卷积层的积后面均设置有一个归一化处理和 一个ReLU激活函数。 4.根据权利要求3所述的方法， 其特 征在于， 对于所述 步骤S20， 每个所述深度可分离卷积层包括深度卷积层和逐点卷积层； 其中， 每个深度卷积层的每个卷积核设置有一个通道； 逐点卷积层将每个深度卷积层 的输出特征图进行通道信息融合。 5.根据权利要求 4所述的方法， 其特 征在于， 所述 步骤S20中： 所述深度卷积层的卷积核的点积运 算如下： 其中， 连续卷积运 算如下： 其中， 分散卷积运 算如下：权　利　要　求　书 1/2 页 2 CN 115512424 A 2式中， (f*g)(n)表示f,g的卷积。 6.根据权利要求1所述的方法， 其特征在于， 对所述步骤S20， 所述神经网络模型的训练 过程包括： S211、 初始化网络中的权值， 获取 给定向量对应的实际输出向量； S212、 计算所述给定输入向量的目标输出向量， 计算所述目标输出向量与所述实际输 出向量的偏量 值， 判断所述偏量 值是否大于预设的偏量阈值； S213、 若是， 则逐层往前回调计算神经网络模型每一层的误差， 对神经元的连接权值进 行调整， 然后重复步骤S212； 若否， 则训练结束。 7.根据权利要求1所述的方法， 其特征在于， 对于所述步骤S20， 所述原始表情数据库包 括有Fer2013数据库； 所述Fer2013数据库包括有愤怒数据集、 厌恶数据集、 惊讶数据集、 悲 伤数据集、 恐惧数据集、 快乐数据集和中性数据集； 其中， 所述原 始表情数据库的数据合并步骤 包括： S221、 将所述愤怒数据集、 所述厌恶数据集、 所述恐惧数据集、 所述悲伤数据集和所述 惊讶数据集合并形成消极数据集， 并将所述消极数据集的表情样本数据随机删除一半； 将 所述快乐数据集设置为积极数据集； 由处理后的消极数据集和所述中性数据集、 所述积极 数据集构成三分类数据库； S222、 将所述原始表情数据库中的所述厌恶数据集和所述惊讶数据集合并形成厌恶和 惊讶数据集， 由所述愤怒数据集、 所述厌恶和惊讶数据集、 所述悲伤数据集、 所述恐惧数据 集、 所述快乐数据集和所述中性数据集构成六分类数据库。 8.根据权利要求1所述的方法， 其特征在于， 对于所述步骤S20， 在所述神经网络模型训 练时， 还引入额外表情数据库以扩充所述原始表情数据库形成额外表情数据库， 采用扩充 表情数据库对所述卷积神经网络模型进行训练； 所述 额外表情数据库包括有ExpW数据库； 其中， 所述原 始表情数据库的扩充步骤 包括： S231、 对所述 额外表情数据库进行 人脸提取和图像处 理以获得 人脸图像； S232、 读取所述额外表情数据库中厌恶数据集内的厌恶人脸图像， 调整所述厌恶人脸 图像的格式； 将处 理后的厌 恶人脸图像输入到所述原 始表情数据库； S233、 对扩充后的原 始表情数据库重新打乱形成所述扩充表情数据库。 9.一种计算机可读存储介质， 其上储存有程序指令， 所述程序指令被处理器执行时实 施如权利要求1至8中任一项所述的方法。 10.一种基于 机器视觉的室内人员跌倒预警检测系统， 其特 征在于， 包括： 计算机装置， 所述计算机装置包括 根据权利要求9所述的计算机可读存 储介质。权　利　要　求　书 2/2 页 3 CN 115512424 A 3