(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 20221027089 2.1 (22)申请日 2022.03.18 (71)申请人 南京大学 地址 210000 江苏省南京市栖霞区仙林大 道163号 申请人 江苏威尔曼 科技有限公司 (72)发明人 路通　杨国强　黄建武　曹阳　 (74)专利代理 机构 北京德崇智捷知识产权代理 有限公司 1 1467 专利代理师 王斌 (51)Int.Cl. G06V 20/40(2022.01) G06V 20/52(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01)G06N 3/08(2006.01) G06V 10/774(2022.01) G06V 10/82(2022.01) (54)发明名称 电梯内异常行为检测方法、 装置及存 储介质 (57)摘要 本发明公开了一种基于边缘计算的电梯内 异常行为检测方法、 装置及存储介质。 电梯内异 常检测方法包括如下步骤： 基于直方图均衡化的 视频亮度增强； 基于轻量级卷积神经网络的人体 检测； 基于轻量级时域激发和聚合网络的异常行 为检测。 受限于算力， 电梯异常行为检测往往使 用基于手工特征的方法。 本发明开创性的在电梯 安防场景结合了边缘计算和多种深度学习方法， 设计了完整的边缘计算算法系统， 有效的降低了 算法的计算复杂 度和计算资源开销， 充分利用大 量的低算力的电梯监控以及后台设备， 同时在准 确率， 虚警率和漏检率三个指标上均大幅超越对 比方法， 在实时性， 可扩展 性， 负载均衡等方面也 均优于使用传统非深度方法的检测系统。 权利要求书2页 说明书6页 附图1页 CN 114708531 A 2022.07.05 CN 114708531 A 1.一种电梯内异常行为检测方法， 其特 征在于， 包括： 步骤1， 在边缘机器对电梯监控视频的每一帧图像下采样到指定分辨率， 并对每一帧图 像进行亮度增强； 步骤2， 在边缘机器， 对步骤1得到的亮度增 强后图像做人体检测； 对存在人体的帧图 像进行聚合， 并将聚合得到的结果视频片段输出至云上机器； 步骤3， 在云上机器， 对步骤2输出的视频片段进行异常行为检测， 并返回检测结果到边 缘机器。 2.根据权利要求1所述的基于边缘计算的电梯内异常行为检测方法， 其特征在于， 步骤 1包括： 步骤1‑1， 读取输入帧图像和下采样的目标宽度width和目标高度height； 然后使用线 性插值算法对输入帧图像进行 下采样， 得到下采样后的帧图像； 步骤1‑2， 读取下采样后的帧图像和算法参数截断阈值clipLimit， 使用限制对比度自 适应直方图均衡算法对下采样后的帧图像进行亮度增强， 得到亮度增强后的帧图像。 3.根据权利要求2所述的基于边 缘计算的电梯内异常行为检测方法， 其特 征在于， 步骤1‑1中， 设定的图像下采样目标宽度w idth和目标高度height均是3 32； 步骤1‑2中， 设定的对比度截断阈值cl ipLimit是40.0 。 4.根据权利要求1所述的基于边缘计算的电梯内异常行为检测方法， 其特征在于， 步骤 2包括： 步骤2‑1， 读取亮度增强后的帧图像input_image； 构造骨干网络ShuffleNetV2， 并加 载在电梯数据集上训练好的网络权重； 使用加载权重后的ShuffleNetV2网络对亮度增强后 的帧图像input_image进行特征提取， 得到第三阶段特征图feature_stage3和第四阶段特 征图feature_sta ge4； 步骤2‑2， 读取第三阶段特征图feature_stage3和第四阶段特征图feature_stage4； 构造轻量化特征金字塔网络light ‑FPN， 并加载在电梯数据集上训练好的网络权重； 使用加 载权重后的轻量化特征金字塔网络light ‑FPN对第三阶段特征图feature_ stage3和第四阶 段特征图feature_sta ge4进行多尺度特 征融合， 得到融合后的特 征图feature_fi nal； 步骤2‑3， 读取融合后的特征图feature_final； 构造前景分类器和矩形框回归器， 并 加载在电梯数据集上训练好的网络权重； 使用加载权重后的类别 分类器和矩形框回归器， 对特征图feature_final进行人体检测， 得到坐标向量bboxes、 类别向量classes和置信度 向量confidences； 步骤2‑4， 读取坐标向量bboxes、 类别向量classes和置信度向量confidences， 并进行 局部非极大值抑制和解码， 得到当前图像的是否包含人体的置信度body_confidence以及 人体的具体位置body_b box； 步骤2‑5， 对每一帧输入图片input_image_i重复步骤2 ‑1到2‑4， 得到当前图像的是否 包含人体的置信度body_co nfidence_i以及人体的具体位置body_b box_i； 步骤2‑6， 读取双 阈值算法的参数： 正例阈值pos_thr、 负例阈值neg_thr及断开指数阈 值cut_thr， 重 置断开指数cut_count为0； 步骤2‑7， 对于步骤2 ‑5返回的所有帧， 当出现置信度body_confidence_i大于正例判别 阈值pos_thr的帧时， 开始连接； 当开始连接后连续出现bo dy_confi dence_i小于正例判别权　利　要　求　书 1/2 页 2 CN 114708531 A 2阈值neg_thr的帧时， 断开指数加一； 当断开指数大于断开指数阈值cut_thr时， 得到一个视 频片段， 并返回给云上机器； 重复步骤2 ‑6， 2‑7。 5.根据权利要求4所述的基于边缘计算的电梯内异常行为检测方法， 其特征在于， 步骤 2‑6中， 超参数正例阈值pos_thr设定为0.6； 负例阈值neg_thr设定为0.4； 断开指数阈值 cut_thr设定为7。 6.根据权利要求1所述的基于边缘计算的电梯内异常行为检测方法， 其特征在于， 步骤 3包括： 步骤3‑1， 读取步骤2返回的视频input_video和视频帧抽取总数frame_total； 对 input_vi deo的视频帧进行稀疏抽取， 等间距抽取其中frame_total帧， 得到视频子帧集合 input_frames； 步骤3‑2， 读取视频子帧集合input_frames； 构造动量抽取网络ME并加载在电梯数据 集上训练好的模块权重； 使用加载权重后的动量抽取网络ME对视频子帧集合inp ut_frames 进行时域局部特 征提取， 得到局部运动特 征图feature_me； 步骤3‑3， 读取局部运动特征图feature_me； 构造多重时域聚合网络MTA并加载在电梯 数据集上训练好的模块权重； 使用加载权重后的动量抽取网络MTA对局部运动特征图 feature_me进行时域全局特 征提取， 得到全局运动特 征图feature_mta； 步骤3‑4， 重复步骤3 ‑2， 3‑3， 使用动量抽取网络ME和多重时域聚合网络MTA进行4阶段 的全局运动特 征提取， 得到 视频的全局运动特 征图feature_mta_4； 步骤3‑5， 读取视频的全局运动特征图feature_mta_4； 构造全连接网络结构的行为分 类网络CLA， 并加载在电梯数据集上训练好的模块权重； 使用加载权重后的动作分类网络 CLA， 对全局运动特 征图feature_mta_4进行 行为分类， 得到行为分类向量moti on_cla； 步骤3‑6， 读取行为分类向量motion_cla； 进行解码， 得到电梯视频的行为类别motion_ type； 重复步骤3 ‑1到3‑5， 对所有视频进行 行为分类， 并返回结果到边 缘机器； 步骤3‑7， 根据相应的异常行为， 按照重要性 等级， 启动 后续的应对措施。 7.根据权利要求6所述的基于边缘计算的电梯内异常行为检测方法， 其特征在于， 步骤 3‑6中， 行为类别包括异常行为和正常行为， 其中异常行为包括晕倒、 跳跃、 拍打轿厢、 暴力 斗殴、 欺凌他人或阻塞厢门； 正常行为包括站立。 8.一种基于边缘计算的电梯内异常行为检测装置， 其特征在于， 包括处理器和存储器； 所述存储器中存储有程序或指 令， 所述程序或指令由所述处理器加载并执行以实现如权利 要求1至7任一所述的电梯内异常行为检测方法。 9.一种计算机可读存储介质， 所述可读存储介质上存储程序或指令， 所述程序或指令 被处理器执行时实现如权利要求1至8任一项所述电梯内异常行为检测的方法。权　利　要　求　书 2/2 页 3 CN 114708531 A 3