(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211021563.X (22)申请日 2022.08.24 (71)申请人 杭州大杰智能传动科技有限公司 地址 311202 浙江省杭州市萧 山区经济技 术开发区启迪路198号B1- 3-112室 (72)发明人 陈德木　陈博　 (74)专利代理 机构 北京辰权知识产权代理有限 公司 11619 专利代理师 刘广达 (51)Int.Cl. H04N 7/18(2006.01) G06N 3/08(2006.01) G06N 3/04(2006.01) (54)发明名称 嵌入式集成的塔 机视频监控方法和系统 (57)摘要 本申请提供一种嵌入式集成的塔机视频监 控方法和系统， 所述方法包括： 在塔式起重机启 动后， 启动多个摄像头拍摄各个工作机构的多个 实时音视频， 并发送给塔机本体控制室内的嵌入 式处理器； 所述嵌入式处理器将 接收到的多个实 时音视频输入训练好的故障分析神经网络； 所述 故障分析神经网络对每个实时音视频进行分类， 以判断各个工作机构的实时工作状态， 所述实时 工作状态包括正常工作状态、 故障工作状态、 预 警工作状态； 嵌入式处理器根据所述各个工作机 构的实时工作状态控制塔式起重机的各个工作 机构的运行参数和/或关闭。 本申请可 以实时对 塔机的各个工作机构进行实时的视频监控和协 调控制， 提高工作效率， 减小信号干扰， 消除安全 隐患， 减小运行维护负担 。 权利要求书3页 说明书8页 附图4页 CN 115442563 A 2022.12.06 CN 115442563 A 1.一种嵌入式集成的塔机 视频监控方法， 其特 征在于， 包括： 在塔式起重机上对准各个工作机构的位置布置多个摄像头； 其中， 所述工作机构包括 起升机构、 变幅机构、 回转机构、 液压顶升 机构、 行走机构； 在所述塔式起重机启动后， 启动所述多个摄像头拍摄所述各个工作机构的多个实时音 视频， 并发送给塔机 本体控制室内的嵌入式处 理器； 所述嵌入式处 理器将接收到的多个实时音视频输入训练好的故障分析神经网络； 所述故障分析神经网络对每个实时音视频进行分类， 以判断各个工作机构的实时工作 状态， 所述实时工作状态包括 正常工作状态、 故障工作状态、 预警工作状态； 嵌入式处理器根据所述各个工作机构的实时工作状态控制塔式起重机的各个工作机 构的运行参数和/或关闭。 2.根据权利要求1所述的方法， 其特 征在于， 所述嵌入式处理器将接收到的多个实时音视频输入训练好的故障分析神经网络， 包 括： 将预先存储的起升机构、 变幅机构、 回转机构、 液压顶升机构、 行走机构的历史音视频 文件逐一输入至未训练的故障分析神经网络中， 获取所述起升机构、 变幅机构、 回转机构、 液压顶升 机构、 行走机构的历史音视频文件 对应的训练输出值； 获取所述起升机构、 变幅机构、 回转机构、 液压顶升机构、 行走机构的历史音视频文件 对应的训练输出值与预设输出值的差距， 通过减小所述差距获取收敛的故障分析神经网 络， 并将所述收敛的故障分析神经网络作为所述训练好的故障分析神经网络， 其中， 所述预 设输出值 通过回报函数获取； 嵌入式处 理器将接收到的多个实时音视频输入训练好的故障分析神经网络 。 3.根据权利要求1所述的方法， 其特 征在于， 所述嵌入式处理器将接收到的多个实时音视频输入训练好的故障分析神经网络， 包 括： 预先拍摄用于训练的各种起升机构、 变幅机构、 回转机构、 液压顶升机构、 行走机构的 图片以及录制用于训练的各种起升机构、 变幅机构、 回转机构、 液压顶升机构、 行走机构的 语音片段， 并将拍摄的图片以及录制的语音片段存 储于训练数据库中； 标注训练数据库中各图片的信 息得到标注图像， 标注训练数据库中各语音片段的信 息 得到标注语音片段； 采用神经网络识别标注图像和标注语音片段， 进行深度学习训练故障分析神经网络， 得到训练后的故障分析神经网络； 嵌入式处 理器将接收到的多个实时音视频输入训练好的故障分析神经网络 。 4.根据权利要求2或3所述的方法， 其特 征在于， 所述故障分析神经网络对每个实时音视频进行分类， 以判断各个工作机构的实时工作 状态， 所述实时工作状态包括 正常工作状态、 故障工作状态、 预警工作状态， 包括： 采用故障分析神经网络来识别音视频数据中的视频数据的各帧图像中的目标， 得到图 像预判信息； 采用故障分析神经网络来识别视频数据中的音频数据的各语音片段的目标， 得到语音 片段预判信息；权　利　要　求　书 1/3 页 2 CN 115442563 A 2根据图像预判信息和语音片段预判信息， 得到各个工作机构的实时工作状态， 所述实 时工作状态包括 正常工作状态、 故障工作状态、 预警工作状态。 5.根据权利要求2或3所述的方法， 其特 征在于， 所述故障分析神经网络对每个实时音视频进行分类， 以判断各个工作机构的实时工作 状态， 包括： 以训练完成的故障分析神经网络对所有视频图像提取特征， 所述特征包括所有视频图 像中RGB通道值均为25 5的区域的弧度和/或拐点特 征； 对提取的特 征进行增强； 以训练完成的故障分析神经网络 输出分类结果。 6.根据权利要求5所述的方法， 其特 征在于， 所述对提取的特 征进行增强， 包括： 对提取的特 征对应的区域划分区块； 计算每个区块的梯度值均值； 将每个区块内的每个像素点进行差异化处理， 增加梯度值在阈值以上的像素点的梯度 值， 降低梯度值在阈值以下的像素点的梯度值； 串联每个区块内调整后的像素点， 得到调整后的区块； 串联所有调整后的区块， 得到增强的区域整体特 征。 7.根据权利要求6所述的方法， 其特 征在于， 所述嵌入式处理器根据所述各个工作机构的实时工作状态控制塔式起重机的各个工 作机构的运行参数和/或关闭， 包括： 如果某个所述工作机构的实时工作状态为正常工作状态， 使用绿色图标显示该工作机 构， 并按照当前运行参数继续控制该工作机构运行； 如果某个所述工作机构的实时工作状态为故障工作状态， 使用红色图标显示该工作机 构， 并关闭或者切换为人工控制该工作机构； 如果某个所述工作机构的实时工作状态为预警工作状态， 使用黄色图标显示该工作机 构， 并按照降低当前运行参数继续控制该工作机构运行或者切换为人工控制该工作机构； 根据预设规则得到对故障工作状态或预警工作状态的工作机构的一键处理预案并显 示， 提示更换或维修显示故障工作状态的工作机构， 并给出与剩余的工作机构相匹配的待 更新工作机构的运行参数 范围。 8.一种嵌入式集成的塔机 视频监控系统， 其特 征在于， 包括： 摄像头模块， 用于在塔 式起重机上对准各个工作机构的位置布置多个摄像头； 其中， 所 述工作机构包括 起升机构、 变幅机构、 回转机构、 液压顶升 机构、 行走机构； 音视频收集模块， 用于在所述塔式起重机启动后， 启动所述多个摄像头拍摄所述各个 工作机构的多个实时音视频， 并发送给塔机 本体控制室内的嵌入式处 理器； 嵌入式处 理器， 用于将接收到的多个实时音视频输入训练好的故障分析神经网络； 工作状态分类模块， 用于所述故障分析神经网络对每个实时音视频进行分类， 以判断 各个工作机构的实时工作状态， 所述 实时工作状态包括正常工作状态、 故障工作状态、 预警 工作状态； 实时控制模块， 用于嵌入式处理器根据所述各个工作机构的实时工作状态控制塔 式起权　利　要　求　书 2/3 页 3 CN 115442563 A 3