(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210332462.8 (22)申请日 2022.03.31 (71)申请人 西安建筑科技大 学 地址 710055 陕西省西安市雁塔路13号 (72)发明人 宋琳　宋琪　马宗方　赵慧轩　 (74)专利代理 机构 西安智大知识产权代理事务 所 61215 专利代理师 王晶 (51)Int.Cl. G06K 9/62(2022.01) G06F 16/583(2019.01) G06V 10/764(2022.01) G06V 10/762(2022.01) G06V 10/774(2022.01) G06V 10/80(2022.01)G06V 10/56(2022.01) G06V 10/54(2022.01) (54)发明名称 一种基于特征编码融合的建筑垃圾物料视 觉识别方法 (57)摘要 本发明公开了一种基于特征编码融合的建 筑垃圾物料视觉识别方法， 包括以下步骤； 利用 相机采集建筑垃圾图像并对采集的数据进行预 处理； 对预处 理后的一幅建筑垃圾图像 进行不 重叠分块； 利用基于局部相似 性约束的BoVW模型 对图像的颜色特征进行编码， 得到图像的颜色词 袋特征； 利用基于局部相似性约束的BoVW模型分 别对图像的LBP特征进行编码， 得到图像的LBP词 袋特征； 对特征融合； 重复以上步骤， 提取训练集 中每个图像的判别特征， 利用判别特征集训练分 类器； 输入一张测试图像， 重复以上步骤， 提取该 图像的判别特征测试步骤五所得的分类器， 并输 出分类结果。 本发明构建融合判别特征作为分类 器的输入训练建筑垃圾分类模型， 实现建筑垃圾 物料的快速分类 。 权利要求书4页 说明书9页 附图3页 CN 114580569 A 2022.06.03 CN 114580569 A 1.一种基于特 征编码融合的建筑垃圾物料视 觉识别方法， 其特 征在于， 包括以下步骤； 步骤一： 利用相机采集建筑垃圾图像并对图像进行 预处理； 步骤二： 对预处 理后的一幅建筑垃圾图像 进行不重 叠分块； 步骤三： 图像分块后， 首先提取子块的颜色特征， 然后利用基于局部相似性约束的BoVW 模型对颜色特征进行编码， 获得图像的颜色词袋特 征 步骤四： 图像分块后， 首先提取子块的图像LBP特征， 然后利用基于局部相似性约束的 BoVW模型对LBP特 征进行编码， 获得图像的LBP词袋特 征 步骤五： 融合颜色词袋特 征 和LBP词袋特 征 步骤六： 构建分类器， 重复步骤一～五， 提取训练集中每个 图像的判别特征， 利用判别 特征集 训练分类 器； 步骤七： 构建分类器， 输入一张测试图像， 重复步骤一～五， 提取该图像的判别特征 测试步骤五所 得的分类 器， 并输出分类结果。 2.根据权利要求1所述的一种基于特征编码融合的建筑垃圾物料视觉识别方法， 其特 征在于， 所述步骤一中， 图像预处理为颜色空间转换以及灰度化处理， 建筑垃圾在颜色、 形 状、 纹理等外观特点上各有差异， 视觉系统根据这些差异实现分类， 经观察， 建筑垃圾的颜 色和纹理特征较为显著， 分别以颜色分量特征和LBP特征来描述目标， 将RGB颜色模型的图 像转换为HSV颜色模型； 灰度化处理基本原理是彩色图像经过处理后， 只含有亮度信 息， 不含彩色信息， 使用加 权平均的方法进行 灰度化， 其公式为： gray＝0.2 989·R+0.5780·G+0.1140·B          (1) 式中R、 G、 B分别为RGB颜色模型的R分量、 G 分量和B分量。 3.根据权利要求1所述的一种基于特征编码融合的建筑垃圾物料视觉识别方法， 其特 征在于， 所述步骤二中， 对预处理后的 进行不重叠分块 M为子块数 量， 每个子块的大小为 w×w。 4.根据权利要求1所述的一种基于特征编码融合的建筑垃圾物料视觉识别方法， 其特 征在于， 所述步骤三中， 利用基于局部相似性约束的BoV W模型对图像的颜色特征进 行编码， 得到图像的颜色词袋特征 色调包含图像的彩色信息， 是区分不同颜色物料的显著特 征， 以HSV模 型中的H分量为目标特征， 利用直方图统计方法提取H 分量的分布特性作为颜色 特征， BoVW模型是将信息检索领域中词袋模型引入计算机视觉领域内的产物， 具有不局限 于底层特征数量的特点以及不依赖具体特征类型 的特征分辨能力， 根据步骤一与步骤二， 利用BoVW模型对图像的颜色特征进行编码， 考虑到空间特征的局部相似性， 构建基于局部 约束的BoVW模型， 在特征编码上， 利用最近的N个视觉单词频次直方图表达图像， 即对于任 一视觉词汇， 通过计算它与视觉单词之 间的欧氏距离， 寻找距离最小的N个视觉单词来替代 当前视觉词汇， 最终统计频次， 并以视 觉单词频次直方图表达图像内容； 具体方法为： 步骤3.1： 按照步骤一和步骤二的方法对训练集中图像进行处理后， 获得HSV模型的色权　利　要　求　书 1/4 页 2 CN 114580569 A 2度图H、 饱和度图S和亮度图V， 针对每个子块bm使用加权平均的方法提取图像颜色特征。 加 权平均公式为： color＝1·H+0·S+0·V                  (2) 式中H、 S、 V分别为HSV颜色模型的H分量、 S分量以及V分量， 即提取H分量的直方图作为 颜色特征向量以表征图像颜色特性， 将其归一化后得到一个256维的特征向量 为 图像 中第m个子块颜色特征向量， 将一幅图像中所有子块的颜色特征向量组成一幅图像 的颜色特 征， 可表示 为 步骤3.2： 构建颜色视 觉词袋， 具体方法为： Step3.2.1： 建筑垃圾图像训练集 中第i(i＝1,2,3,4,5)类物料的每幅图像按照步 骤 3 . 1 的 方 法 提 取 其 颜 色 特 征 ，构 成 第 i 类 物 料 图 像 的 颜 色 特 征 集 其中Ti为第i类物料图像总数； Step3.2.2： 利用K ‑means聚类算法对第i类物料图像的颜色特征集 进行聚类得到 个聚类中心， 将这些聚类中心视为视觉单词， 以构成大小为 的颜色视觉词袋 Step3.2.3： 重复步骤3.2.1和3.2.2， 建立并组合五类物料图像的颜色视觉词袋， 构成 训练和测试所用的颜色视觉词袋 其中Kcol为视觉单词数 量， 大小为 步骤3.3： 基于颜色特 征词袋对图像特 征进行统计编码， 具体方法为： Step3.3.1： 给定一幅建筑垃圾图像 按照步骤3.1的方法提取并统计图像颜色特征 Step3.3.2： 对于图像颜色特征 中每个特征向量 (即视觉词汇)， 按照式(3)寻找 距离 最小的N个视 觉单词。 其中 为替代特征向量 的第n个视 觉单词； Step3.3.3： 重复步骤3.3.2， 统计用于代替图像子块视觉词汇的所有视觉单词频次， 得 到表示该图像的LBP视觉单词词频分布直方图， 并用Kcol维特征向量 表示， 即 为此 幅图像的颜色视 觉词袋特 征。 5.根据权利要求1所述的一种基于特征编码融合的建筑垃圾物料视觉识别方法， 其特 征在于， 所述步骤四中， 利用基于局 部相似性约束的BoVW模型对图像的LBP特征进行编码， 得到图像的LBP词袋特征 根据步骤一与步骤二， 利用步骤三中基于局部约束的BoVW权　利　要　求　书 2/4 页 3 CN 114580569 A 3