(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210936483.0 (22)申请日 2022.08.05 (71)申请人 中国石油大 学 （华东） 地址 266000 山东省青岛市黄岛区长江西 路66号 (72)发明人 张卫山　刘启源　 (74)专利代理 机构 青岛鼎丞智佳知识产权代理 事务所(普通 合伙) 3727 7 专利代理师 王剑伟 (51)Int.Cl. G06V 10/25(2022.01) G06V 10/774(2022.01) G06V 10/82(2022.01) G06F 16/36(2019.01) G06F 40/295(2020.01)G06F 40/30(2020.01) G06N 3/04(2006.01) (54)发明名称 一种基于知识图谱的小目标检测方法、 设备 及存储介质 (57)摘要 本发明提出一种基于知识图谱的小目标检 测方法、 设备及存储介质。 低分辨率的小目标可 视化信息少， 难以提取到具有鉴别力的特征， 并 且极易受到环 境因素的干扰， 进而导致了检测模 型难以精准定位和识别小目标。 本发明基于CN ‑ Probase中文 通用概念知识图谱构建了目标上下 文知识图谱， 通过改进YOLOv3网络使得目标检测 模型可以充分利用知识图谱中的先验信息， 获取 更多上下文特征， 从而从而在保证检测速度的同 时有效提高了小目标检测精度。 权利要求书2页 说明书9页 附图2页 CN 115294327 A 2022.11.04 CN 115294327 A 1.一种基于知识图谱的小目标检测方法， 其特 征在于， 包括以下步骤： S1， 基于CN ‑Probase中文通用概念知识图谱与ImageNet图像数据集构建目标上下文知 识图谱； S2， 在目标上下文知识图谱中， 根据训练集小目标的类别信息与文本描述查找关联实 体， 获取用以辅助检测的显式上 下文信息； S3， 基于YOLOv3网络模型进行改进， 利用步骤S2获取的显式上下文信息搭建小目标检 测模型； S4， 将小目标图像输入步骤S3搭建的小目标检测模型中， 对图像进行检测处理并输出 检测结果。 2.如权利要求1所述的一种基于知识图谱的小目标检测方法， 其特征在于， 所述步骤S1 中基于CN ‑Probase中文通用概念知识图谱与ImageNet图像数据集构建目标上下文知识图 谱的具体过程 为： S11， 对文本格式 的ImageNet数据集类别信息采用BiLSTM+CRF算法进行命名实体识别； 首先使用Skip ‑gram模型将单词映射为词向量， 之后通过BiLSTM层得到每个单词对于每个 标签的得分概率， 最后将得分概率输入CRF层， 学习标签间的顺序依赖信息， 得到命名实体 识别结果； S12， 将CN ‑Probase中文通用概念知识图谱的结构化数据与步骤S11提取后的实体进行 实体链接： 根据给定的实体指称项， 从知识库中选出一组候选实体对象， 然后通过Cosine相 似度计算将指称项链接 到正确的实体对象； S13， 基于ImageNet数据集图像与步骤S12得到的事实表达构建本体； 使用RDFS语言进 行schema层建模， 对于存在Part ‑of/约束/依赖关系的实体， 在ImageNet数据集中筛选出实 体同时出现的图像， 并进 行目标标注， 计算各目标长宽对于图片长宽的相对值， 将该值填充 入相应实体的属性 值域； S14， 对形成的目标上下文知识图谱做质量评估， 同时通过知识推理进行知识图谱的拓 展。 3.如权利要求1所述的一种基于知识图谱的小目标检测方法， 其特征在于， 所述步骤S2 具体为， 对于训练集中易漏检的小目标类别， 在目标上下文知识图谱中使用SPARQL语言查 询与其存在Part ‑of/约束/依赖关系的实体， 并计算实体间宽、 高属性的比值， 即获取用以 辅助检测的显式上 下文信息 。 4.如权利要求1所述的一种基于知识图谱的小目标检测模型搭建方法， 其特征在于， 所 述步骤S3利用显式上 下文信息搭建小目标检测模型的具体步骤为： S31， 对原 始数据集按照8 :1:1划分为训练集、 验证集、 测试集； S32， 设置训练初始参数， 包括： 使用ImageNet数据集上预训练的DarkNet53模型作为 backbone； 图像大小resize为640*640像素； epoch为300； batchsize为16； 优化器采用Adam 优化器， 初始学习率为0.0001， beta1为0.9 37,beta2为0.999,权重衰减度为0.0005； warmup   epoch为3.0， warmup 初始动量 为0.8， warmup 初始偏差为0.1； S33， 训练集分批次输入初始权重模型进行前向传播， 得到预测的分类与坐标回归结 果； 具体的， 采用Mosaic方法进行数据增强， 即随机使用若干张图片， 经过随机缩放与随机 剪裁， 再随机分布进行拼接； 在训练的最后15个batch关闭Mosaic数据增强方法； 同时， 基于权　利　要　求　书 1/2 页 2 CN 115294327 A 2“不同小目标的相同尺度、 长宽比区域有相似的上下文特征 ”的假设， 根据获得的小目标与 大目标的宽高比值数据， 按比例生成大目标的位置标签与类别标签； S34， 计算loss并进行反向传播更新模型权重， 迭代至300个epoch时结束训练， 每30轮 保存一次模型； 具体的， 对原始小目标和生成大目标的标签与预测结果分别采用多类别交 叉熵计算分类损失、 采用二分类交叉熵计算置信度损失， 采用CIoU  Loss计算坐标损失， 并 进行加权求和作为总体损失； S35， 测试并得到收敛的小目标检测模型。 5.如权利要求1所述的一种基于知识图谱的小目标检测模型搭建方法， 其特征在于： 所 述改进YOLOv3网络结构包括改进网络包括骨干网络模块， 特征金字塔模块、 Anchor匹配模 块与解耦头预测模块； 所述骨干网络模块采用去掉全连接层的DarkNet53网络进行特征提取， 使用最后三层 特征图做预测； 所述特征金字塔模块将小特征图进行步长为2 的上采样， 然后与大的特征图拼接以融 合特征； 所述Anchor匹配模块首先经过特征增强单元生成同样尺寸的特征图， 之后根据获得的 小目标与大目标的宽高比值数据， 以原始小目标位置为中心点， 扩大原始anchor大小生成 上下文anchor， 并将上下文anchor分配到感受野更大的特征层； 所述特征增强单元对上层 特征图采用1*1卷积与上采样， 并与当前特征图做拼接， 之后采用卷积核为3*3， 空洞率为3 的空洞卷积以捕捉多尺度表征加强感觉野； 所述解耦头预测模块先使用1*1卷积进行降维， 再通过包含两个3*3卷积、 一个1*1卷积 与Sigmoid激活函数的分类 分支得到该层分类预测结果， 通过包含两个3*3卷积、 一个1*1卷 积与Sigmoid激活函数的置信度分支得到该层置信度预测结果， 通过包含两个3*3卷积、 一 个1*1卷积的坐标分支得到该层坐标预测结果， 最后将所有层的结果进行拼接与转置操作 得到最终输出。 6.一种基于知识图谱的小目标检测设备， 其特征在于： 所述设备包括至少一个处理器 和至少一个存储器， 所述处理器和存储器相耦合； 所述存储器中存储有如权利要求1至5任 意一项所述的搭建的小目标检测模型的计算机程序； 所述处理器执行所述存储器存储的计 算机程序时， 使得 所述设备实现小目标检测。 7.一种计算机可读存储介质， 其特征在于， 所述计算机可读存储介质中存储有如权利 要求1至5任意一项 所述的搭建的小目标检测模型的的程序或指令， 所述程序或指令被处理 器执行时， 使得计算机实现小目标检测。权　利　要　求　书 2/2 页 3 CN 115294327 A 3