(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210793581.3 (22)申请日 2022.07.07 (65)同一申请的已公布的文献号 申请公布号 CN 114863351 A (43)申请公布日 2022.08.05 (73)专利权人 河北工业大 学 地址 300130 天津市红桥区丁字沽光 荣道8 号河北工业大 学东院330# (72)发明人 王雪菲　李家乐　王廷锴　 (74)专利代理 机构 天津翰林知识产权代理事务 所(普通合伙) 12210 专利代理师 付长杰 (51)Int.Cl. G06V 20/40(2022.01) G06V 10/764(2022.01)G06V 10/80(2022.01) G06K 9/00(2022.01) G06T 7/62(2017.01) G06V 10/25(2022.01) G06V 10/26(2022.01) (56)对比文件 CN 111523616 A,2020.08.1 1 CN 104749345 A,2015.07.01 CN 111523616 A,2020.08.1 1 CN 114549562 A,202 2.05.27 CN 102928435 A,2013.02.13 审查员 路寒冰 (54)发明名称 基于Web3.0的图声融合路基填料协同识别 管理系统 (57)摘要 本发明为基于Web3.0的图声融合路基填料 协同识别管 理系统， 将一维超声波信号与二维图 像有效融合在一起， 实现图声融合， 能够解决传 统图像识别中无法准确分类粗粒土和石块的问 题， 进一步获得粗粒土的级配信息， 同时能够解 决传统图像识别方法无法正确识别细粒土级配 的问题， 给出路基土的全级配信息。 此外， 与 Web3.0的分布式数据管理结合， 实现图声融合路 基填料的协同识别管理， 极大提高了数据生产效 率， 扩充数据量， 消除信息壁 垒。 权利要求书4页 说明书10页 附图3页 CN 114863351 B 2022.09.20 CN 114863351 B 1.一种图像与超声 波信息融合识别的方法， 其特 征在于， 该 方法包括以下内容： A.图像数据和超声数据的获取 利用压路机前杠的运动相机对路基填料进行垂直拍摄， 采用拍摄视频进行截图的方式 获取图像数据， 截取图像间隔时间t根据压路机行驶速度v确定： 获得路基填料原始图像比 例尺， 计算图像沿压路机行驶方向的长度s， 通过公式(1)得到截取图像间隔时间t， t＝s/v                            (1)； 利用安装在压路机前杠的多个一字排开的超声波传感器向地面发射超声波信号， 信号 在接触地面后反射至接收器， 获得返回的纵波声速， 以返回的纵波声速作为采集信号， 设定 分界阈值， 将返回的纵波声速与分界阈值比较， 返回的纵波声速超过该分界阈值的视为石 块， 标记为1， 未达到该分界阈值的视为粗粒土， 标记为0， 根据划分将返回的纵波声速信息 转化为布尔值； 按照截取图像间隔时间t对布尔值进 行截取， 多个超声波传感器得到一个布 尔值矩阵， 布尔值矩阵的大小和截取 的图像的覆盖面积相同， 保证后续大粒径分割图像与 超声波信号图像大小、 位置一 一对应； B.图声数据预处 理 采用图像分割模型对运动相机采集的图像进行 大粒径分割， 获得 大粒径分割图像； 使用matplotlib软件绘制与大粒径分割图像分辨率相同的空白图像， 对 空白进行网格 化操作， 网格数根据 布尔值矩阵的行列数确定， 布尔值矩阵上的每个值与网格一一对应， 布 尔值等于0的网格标为白色， 等于1的网格标为黑色， 输出超声波信号图像， 实现超声波信号 一维向二维的转 化； C.图声融合 对大粒径分割图像中的大粒径予以编号， 对每个大粒径添加外接矩形， 记录矩形中心 坐标及长宽信息， 截 取外接矩形图像， 所述大粒径指粒径 不小于10 mm的填料颗粒； 根据截 取 外接矩形的中心 坐标、 长宽信息， 在 超声波信号图像中进行搜索， 截 取超声波信号图像中相 同位置、 大小的图像， 按顺序进 行编号， 与大粒径分割图像中截取的外接矩形对应的大颗粒 编号一一对应； 设置分类阈值， 提取相同编号的两 张图像， 计算mIoU值， 根据mIoU值与分类阈值的大小 分类大粒径分割图像中的粗粒土和石块， 大于 分类阈值为石块， 否则为粗粒土， 以斜杠表 示 识别结果 为粗粒土， 以网格表示识别结果 为石块， 获得识别图像。 2.根据权利要求1所述的图像与超声波信 息融合识别的方法， 其特征在于， 在获得识别 图像后， 计算粗粒土的级配信息： 删除识别图像中的网格区域， 只对斜杠区域进 行黑色填充 操作， 填充后对填充区域进 行拟合椭圆操作， 提取识别图像粗粒土轮廓， 计算各拟合椭圆的 短轴长度， 计算各黑色区域面积， 进而获得每个粗粒土颗粒 的体积、 质量， 得到粗粒土的级 配信息和级配曲线。 3.根据权利要求1所述的图像与超声波信 息融合识别的方法， 其特征在于， 所述图像分 割模型不限于DeepLabV3+模 型， DeepLabV3+模型训练过程输入为不同土样的路基填料原始 图像， 输出为不与原始图像融合的路基填料大粒径分割图像， 以路基填料原始图像和路基 填料大粒径标签图像训练图像分割模型。 4.根据权利要求1所述的图像与超声波信 息融合识别的方法， 其特征在于， 所述分类 阈 值为0.6， 所述分界阈值 为1500‑7000m/s。权　利　要　求　书 1/4 页 2 CN 114863351 B 25.一种基于Web3.0的图声融合路基填料协同识别管理方法， 其特征在于， 该方法包括 以下内容： 项目管理人员根据本项目基本情况选择合适的项目数据， 分别向各项目发起智能合 约； 利用安装在压路机前杠的运动相机和超声波传感器实时采集图像和超声波信号， 根据 压路机行驶速度， 分别对图像和超声波信号进行截取， 截取 的超声波信号转化为布尔值矩 阵， 将一维超声波信号转化为二维布尔值矩阵， 再通过软件绘制将二维布尔值矩阵转化为 与截取的图像位置、 大小一 一对应的二维超声 波信号图像； 以智能合约约定的有路基填料原始图像和对应路基填料大粒径标签图像的数据集作 为数据集进行图像分割模型训练， 获得 大粒径分割图像； 对大粒径分割图像中的大粒径予以编号， 对每个大粒径添加外接矩形， 记录矩形中心 坐标及长宽信息， 截 取外接矩形图像， 所述大粒径指粒径 不小于10 mm的填料颗粒； 根据截 取 外接矩形的中心 坐标、 长宽信息， 在 超声波信号图像中进行搜索， 截 取超声波信号图像中相 同位置、 大小的图像， 按顺序进 行编号， 与大粒径分割图像中截取的外接矩形对应的大颗粒 编号一一对应； 设置分类阈值， 提取相同编号的两 张图像， 计算mIoU， 根据mIoU值与分类阈值的大小分 类大粒径分割图像中的粗粒土和石块， 大于 分类阈值为石块， 否则为粗粒土， 以斜杠表示识 别结果为粗粒土， 以网格表示识别结果为石块， 获得识别图像， 完成对粗粒土和石块的分 类， 并获取 大粒径土块和石块的准确位置信息， 进一 步提取粗粒土粒径信息； 以智能合约约定的做好筛分实验标注好特征值和目标值的填料数据集作为数据集训 练回归预测模型； 根据提取的粗粒土粒径信 息通过回归预测模型得到细粒土粒径信 息， 输出路基土的全 级配信息， 并得到级配特 征的相关评价 值， 级配特 征的相关评价 值包括Cu值和C c值； 所述的识别图像、 全级配信息、 级配特征的相关评价值为路基填料参数信息， 将得到的 路基填料参数信息输入至实时显示评价系统， 施工机手、 项目管理人员实时查看项目情况， 并在项目结束后对用于图像分割模型和回归预测模型训练的数据进行质量评价， 同时将路 基填料参数信息进行实时存储， 用于全过程质量追溯； 所述路基填料参数信息包括上述的 识别图像、 全级配信息、 级配特 征的相关评价 值。 6.一种基于Web3.0的图声融合路基填料协同识别管理系统， 其特征在于， 包括Web3.0 数据管理系统、 信息采集装置、 边 缘计算服务器、 实时显示评价系统； Web3.0数据管理系统包括： DID项目及数据； 信息采集装置包括： 图像采集模块、 超声 波信号采集模块； 边缘计算服务器包括： 大粒径分割模块、 超声波可视化模块、 图声融合模块、 全级配预 测模块； 实时显示评价系统包括： 显示屏、 存 储装置； 所述图像采集模块用于在压路机压实过程中对路基填料进行垂直拍摄， 获取路基条带 的图像数据； 所述超声波信号采集模块用于在压路机压实过程中对路基填料进行采集超声波数据 获取；权　利　要　求　书 2/4 页 3 CN 114863351 B 3