(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210641324.8 (22)申请日 2022.06.08 (71)申请人 上海交通大 学 地址 200240 上海市闵行区东川路80 0号 (72)发明人 武对娣　黄海清　胡洁　戚进　 (74)专利代理 机构 上海汉声知识产权代理有限 公司 3123 6 专利代理师 胡晶 (51)Int.Cl. B66B 5/00(2006.01) B66B 1/34(2006.01) G06V 20/52(2022.01) G06V 40/10(2022.01) (54)发明名称 基于门开关的电梯轿厢乘客智能识别与分 析方法及系统 (57)摘要 本发明提供一种基于门开关的电梯轿厢乘 客智能识别与分析方法及系统， 包括： 电梯 门开 关状态检测模块： 标定关门状态下电梯门角点， 获取标志区域及其像素均值， 判断电梯门颜色范 围， 计算实时标志区域像素值， 根据阈值判断门 开关状态； 电梯乘客目标识别模块： 利用深度学 习算法识别乘 客并获取总客流量， 截 取目标乘客 回归框并保存； 电梯乘客属性特征识别模块： 利 用深度卷积网络提取乘客特征， 获取乘客多 标签 外观属性； 电梯乘客重识别模块： 提取乘客图像 特征向量并对比乘客之间特征相似度， 根据阈值 判断是否重复进出； 电梯乘客净流量统计模块： 在判断门状态并进行目标识别的条件 下， 计算梯 内乘客净流量。 本发明对构建智能监控系统具有 重要意义。 权利要求书3页 说明书10页 附图6页 CN 115072510 A 2022.09.20 CN 115072510 A 1.一种基于门开关的电梯轿厢乘客智能识别与分析 方法， 其特 征在于， 包括： 电梯门开关状态检测步骤： 标定关门状态下电梯门角点， 获取标志区域及其像素均值， 判断电梯门颜色范围， 计算实时标志区域像素值， 根据阈值判断门开关状态； 电梯乘客目标识别步骤： 在开 ‑关门状态开关条件下利用深度 学习算法识别乘客， 获取 目标乘客预测概率、 位置及类别， 截取目标乘客回归框并保存， 每隔固定帧将当前目标乘 客 个数累加得到总客 流量； 电梯乘客属性特征识别步骤： 利用深度学习 模型提取当前帧所识别的目标乘客的外观 特征， 获取乘客多标签属性； 电梯乘客重识别步骤： 利用深度卷积网络提取目标库和查询库乘客图像的特征向量， 对于当前帧识别的每个目标乘客， 通过矩阵乘法计算其特征向量与数据库乘客特征矩阵的 相似度距离得分并排序， 根据阈值判断是否 重复进出； 电梯乘客净流量统计步骤： 在判断电梯门状态并进行目标识别的条件下， 利用电梯乘 客重识别获取重复进 出乘客的个数， 根据总客流量计算得到初始到 当前时刻梯内乘客净流 量。 2.根据权利要求1所述的基于门开关的电梯轿厢乘客智能识别与分析方法， 其特征在 于， 所述电梯门开关状态检测步骤 包括： 门角点标定步骤： 通过鼠标控件顺时针获取电梯门边缘角点， 并根据几何位置关系确 定检测标志区域； 门颜色判断步骤： 根据检测标准区域关门状态下的像素均值判断电梯门的色彩值范 围， 将电梯门分为白种电梯和灰种电梯； 门状态检测步骤： 根据检测标志区域的实时灰度值， 对不同颜色种类的 电梯通过不同 的检测条件判断当前门状态。 3.根据权利要求1所述的基于门开关的电梯轿厢乘客智能识别与分析方法， 其特征在 于， 所述电梯乘客目标识别步骤 包括： 乘客识别步骤： 调用深度 学习算法， 检测当前帧画面的梯内乘客， 获取目标检测乘客预 测概率、 类别及位置； 预测框截取步骤： 获取乘客识别单元的回归框， 对于每个识别结果即单个乘客， 截取其 预测框并保存至电梯数据库。 4.根据权利要求1所述的基于门开关的电梯轿厢乘客智能识别与分析方法， 其特征在 于， 所述电梯乘客重识别步骤 包括： 特征提取步骤： 调用深度卷积网络获取电梯图像数据库特 征； 距离度量步骤： 通过矩阵乘法计算电梯 当前帧中目标乘客图像与查询库中乘客图像的 相似度， 得到距离得分并由大到小排序； 重复判断步骤： 根据目标图像和查询库图像距离得分与相似度阈值的对比筛选出当前 时刻重复进入电梯的乘客。 5.根据权利要求1所述的基于门开关的电梯轿厢乘客智能识别与分析方法， 其特征在 于， 所述电梯乘客净流 量统计步骤 包括： 客流计数步骤： 在门开关状态判断的基础上调用目标识别方法， 识别当前帧画面的乘 客并获取乘客数量， 累加到计数器中；权　利　要　求　书 1/3 页 2 CN 115072510 A 2乘客去重步骤： 利用重识别方法判断重复进入电梯的乘客个数， 获取初始至当前时刻 的乘梯净流 量。 6.一种基于门开关的电梯轿厢乘客智能识别与分析系统， 其特 征在于， 包括： 电梯门开关状态检测模块： 标定关门状态下电梯门角点， 获取标志区域及其像素均值， 判断电梯门颜色范围， 计算实时标志区域像素值， 根据阈值判断门开关状态； 电梯乘客目标识别模块： 在开 ‑关门状态开关条件下利用深度 学习算法识别乘客， 获取 目标乘客预测概率、 位置及类别， 截取目标乘客回归框并保存， 每隔固定帧将当前目标乘 客 个数累加得到总客 流量； 电梯乘客属性特征识别模块： 利用深度学习 模型提取当前帧所识别的目标乘客的外观 特征， 获取乘客多标签属性； 电梯乘客重识别模块： 利用深度卷积网络提取目标库和查询库乘客图像的特征向量， 对于当前帧识别的每个目标乘客， 通过矩阵乘法计算其特征向量与数据库乘客特征矩阵的 相似度距离得分并排序， 根据阈值判断是否 重复进出； 电梯乘客净流量统计模块： 在判断电梯门状态并进行目标识别的条件下， 利用电梯乘 客重识别获取重复进 出乘客的个数， 根据总客流量计算得到初始到 当前时刻梯内乘客净流 量。 7.根据权利要求6所述的基于门开关的电梯轿厢乘客智能识别与分析系统， 其特征在 于， 所述电梯门开关状态检测模块包括： 门角点标定单元： 通过鼠标控件顺时针获取电梯门边缘角点， 并根据几何位置关系确 定检测标志区域； 门颜色判断单元： 根据检测标准区域关门状态下的像素均值判断电梯门的色彩值范 围， 将电梯门分为白种电梯和灰种电梯； 门状态检测单元： 根据检测标志区域的实时灰度值， 对不同颜色种类的 电梯通过不同 的检测条件判断当前门状态。 8.根据权利要求6所述的基于门开关的电梯轿厢乘客智能识别与分析系统， 其特征在 于， 所述电梯乘客目标识别模块包括： 乘客识别单元： 调用深度 学习算法， 检测当前帧画面的梯内乘客， 获取目标检测乘客预 测概率、 类别及位置； 预测框截取单元： 获取乘客识别单元的回归框， 对于每个识别结果即单个乘客， 截取其 预测框并保存至电梯数据库。 9.根据权利要求6所述的基于门开关的电梯轿厢乘客智能识别与分析系统， 其特征在 于， 所述电梯乘客重识别模块包括： 特征提取单元： 调用深度卷积网络获取电梯图像数据库特 征； 距离度量单元： 通过矩阵乘法计算电梯 当前帧中目标乘客图像与查询库中乘客图像的 相似度， 得到距离得分并由大到小排序； 重复判断单元： 根据目标图像和查询库图像距离得分与相似度阈值的对比筛选出当前 时刻重复进入电梯的乘客。 10.根据权利要求6所述的基于门开关的电梯轿厢乘客智能识别与分析系统， 其特征在 于， 所述电梯乘客净流 量统计模块包括：权　利　要　求　书 2/3 页 3 CN 115072510 A 3