(19)中华 人民共和国 国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202111652406.4 (22)申请日 2021.12.31 (65)同一申请的已公布的文献号 申请公布号 CN 114004963 A (43)申请公布日 2022.02.01 (73)专利权人 深圳比特微电子科技有限公司 地址 518000 广东省深圳市南 山区高新 南 六道航盛科技大厦801 (72)发明人 艾国　杨作兴　房汝明　向志宏　 (74)专利代理 机构 北京德琦知识产权代理有限 公司 11018 代理人 衣淑凤　宋志强 (51)Int.Cl. G06V 10/22(2022.01) G06V 10/26(2022.01) G06V 10/44(2022.01) G06V 10/764(2022.01) G06V 10/774(2022.01) G06V 10/82(2022.01)G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (56)对比文件 CN 112257758 A,2021.01.2 2 CN 113269257 A,2021.08.17 CN 112699855 A,2021.04.23 CN 113705293 A,2021.1 1.26 CN 111881849 A,2020.1 1.03 CN 111091140 A,2020.0 5.01 CN 108268 814 A,2018.07.10 CN 108509891 A,2018.09.07 CN 112149693 A,2020.12.2 9 CN 113780270 A,2021.12.10 CN 10916 5644 A,2019.01.08 CN 111833306 A,2020.10.27 CN 106897730 A,2017.0 6.27 CN 109886933 A,2019.0 6.14 (续) 审查员 刘倩倩 (54)发明名称 目标类别识别方法、 装置及可读存 储介质 (57)摘要 本发明实施例提出目标类别识别方法、 装置 及可读存储介质。 方法包括： 对待识别图像进行 特征提取， 得到第一特征向量； 在第一特征向量 中查找到各前景和背景区域对应的各第一子特 征向量； 对各第一子特征向量进行第一插值处 理， 得到各第二子特征向量； 根据各第二子特征 向量进行目标检测， 得到各目标区域； 在第一特 征向量中找到各目标区域对应的各第一子特征 向量， 将各第一子特征向量拼接成第三特征向 量； 对第一特征向量进行自适应全局平均池化处 理， 得到第四特征向量； 将第四特征向量与第三 特征向量进行叠加， 得到第五特征向量； 根据第 五特征向量进行目标类别识别， 得到图像中包含 的目标类别。 本发明实施例更加细化了目标类别识别的粒度。 [转续页] 权利要求书3页 说明书13页 附图6页 CN 114004963 B 2022.03.29 CN 114004963 B (56)对比文件 CN 109784386 A,2019.0 5.21 WO 20210 56705 A1,2021.04.01 US 2020401812 A1,2020.12.24 US 10636148 B1,2020.04.28 Wang J等. “Collaborative learn ing for weakly supervised object detecti on”. 《arXiv》 .2018, 尹红等.“选择性卷积特 征融合的花 卉图像 分类”. 《中国图象图形 学报》 .2019,第24卷(第5 期), 李祥霞等. “细粒度图像分类的深度学习方 法”. 《计算机科 学与探索》 .2021,第15卷(第10 期), Xueling Wei等.“Medical hyperspect ral image classificati on based o n end-to-end fusion deep neural netw ork”. 《IEEE Transacti ons on Instrumentati on and Measurement》 .2019,第68卷(第1 1期), Benjamin Bischke等.“Global-Local Feature Fusi on for Ima ge Classificati on of Flood Affected Roads from Social Multimedia ”. 《MediaEval》 .2018, 杨丹等.“基于注意力机制的细粒度图像分 类算法”. 《西南科技大 学学报》 .2021,第3 6卷(第 1期), 赵浩如等. “基于RPN与B- CNN的细粒度图像 分类算法研究 ”. 《计算机 应用与软件》 .2019,第 36卷(第3期), Yao H等.“Coarse-to-Fi ne Descripti on for Fine-Grained Visual Categorizati on”. 《IEEE Transacti ons on Image Proces sing》 .2016,第25卷(第10期),2/2 页 2[接上页] CN 114004963 B1.一种目标类别识别神经网络训练方法， 其特 征在于， 该 方法包括： 所述神经网络的骨干网络、 区域建议网络、 目标检测网络和目标分类网络通过如下训 练过程得到： 采集训练图像集， 在每帧训练图像中标注各个标注目标区域和对应的标注目标类别； 从训练图像集中依次取出一帧训练图像输入到所述神经网络的骨干网络进行特征提 取， 得到输入的训练图像的第一特 征向量； 将第一特征向量输入到所述神经网络的区域建议网络， 以检测出输入的训练图像 中的 各个前景区域和各个背景区域； 根据各个前景区域和各个背景区域在输入的训练图像中的对应区域， 在第 一特征向量 中查找到各个前 景区域和各个背景区域对应的各第一子特 征向量； 分别对所述各个前景区域和各个背景区域对应的各第一子特征向量进行第一插值处 理， 得到第一固定大小的各第二子特 征向量； 将所述各第 二子特征向量输入到所述神经网络的目标检测网络， 得到输入的训练图像 中的各检测目标区域及各检测目标区域的检测目标类别； 根据所述目标检测网络得到的各检测目标区域及各检测目标区域的检测目标类别与 在输入的训练图像中标注的各个标注目标区域和对应的标注目标类别， 采用预设的第一损 失函数进行计算， 得到第一预测偏差； 根据各检测目标区域在输入的训练图像中的对应区域， 在第 一特征向量中查找到各检 测目标区域对应的各第一子特征向量， 将所有检测目标区域对应的各第一子特征向量拼接 成第三特 征向量； 对第一特征向量进行自适应全局平均池化处理， 得到第四特征向量； 其中， 第四特征向 量的维度与第三特 征向量相同； 将第四特 征向量与第三特 征向量进行叠加， 得到第五特 征向量； 将第五特征向量输入到所述神经网络的目标分类网络， 得到输入的训练图像中包含的 各检测目标类别； 根据所述目标分类网络得到的输入的训练图像中包含的各检测目标类别与在输入的 训练图像中标注的各标注目标区域的标注目标类别， 采用预设的第二损失函数进行计算， 得到第二预测偏差； 对第一预测偏差和第 二预测偏差进行加权求和， 根据该加权和调整所述神经网络的参 数； 当所述神经网络收敛时， 将此时的神经网络作为 最终使用的神经网络； 所述在每帧训练图像中标注各个标注目标区域和对应的标注目标类别， 进一 步包括： 在每帧训练图像中标注各个标注目标的轮廓； 所述在第一特征向量中查找到各个前景区域和各个背景区域对应的各第一子特征向 量之后、 所述对第一预测偏差和第二预测偏差进行加权求和之前， 进一 步包括： 分别对所述各个前景区域和各个背景区域对应的各第一子特征向量进行第二插值处 理， 得到第二固定大小的各第六子特 征向量； 将所述各第六子特征向量输入到所述神经网络的语义分割网络， 得到输入的训练图像 中的各检测目标的轮廓和检测目标类别；权　利　要　求　书 1/3 页 2 CN 114004963 B 3