(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210605586.9 (22)申请日 2022.03.08 (62)分案原申请数据 202210218587.8 202 2.03.08 (71)申请人 北京百度网讯科技有限公司 地址 100085 北京市海淀区上地十街10号 百度大厦2层 (72)发明人 王健　苏翔博　吴其蔓　王之港　 孙昊　丁二锐　王井东　吴甜　 王海峰　 (74)专利代理 机构 北京品源专利代理有限公司 11332 专利代理师 孔凡红 (51)Int.Cl. G06N 20/00(2019.01)G06V 10/40(2022.01) G06V 10/774(2022.01) G06V 10/80(2022.01) G06V 20/00(2022.01) (54)发明名称 联合感知模 型训练、 联合感知方法、 装置、 设 备和介质 (57)摘要 本公开提供了一种联合 感知模型训练、 联合 感知方法、 装置、 设备和介质， 涉及人工智能技术 领域， 尤其涉及计算机视觉、 图像识别和深度学 习技术。 具体实现方案为： 获取样本图像和样本 图像的感知标签； 获取预设的联合感知模型； 联 合感知模型包括特征提取网络和联合感知网络； 通过特征提取网络对样本图像进行特征提取， 得 到目标样 本特征； 通过联合 感知网络根据目标样 本特征进行联合感知， 得到感知预测结果； 根据 感知预测结果和感知标签， 对预设的联合感知模 型进行训练； 其中， 联合感知包括执行至少两种 感知任务。 根据本公开的技术， 减少了联合感知 过程的数据运 算量， 提高了 计算效率。 权利要求书6页 说明书18页 附图14页 CN 114912629 A 2022.08.16 CN 114912629 A 1.一种联合感知模型训练方法， 包括： 获取样本图像和所述样本图像的感知标签； 获取预设的联合感知模型； 所述联合感知模型包括特 征提取网络和联合感知网络； 通过所述特征提取网络对所述样本图像进行 特征提取， 得到目标样本特 征； 通过所述联合感知网络根据所述目标样本特 征进行联合感知， 得到感知预测结果； 根据所述感知预测结果和所述感知标签， 对预设的联合感知模型进行训练； 其中， 所述 联合感知包括执 行至少两种感知任务； 其中， 所述联合感知网络包括检测头模块； 所述检测头模块包括第二多路模块和至少 两个任务感知分支； 所述通过所述联合感知网络根据所述目标样本特征进行联合感知， 得到感知预测结 果， 包括： 通过所述第二多路模块对所述目标样本特征进行相同类别目标在不同感知任务下的 特征提取， 得到感知样本特 征； 通过各任务感知 分支分别根据 所述感知样本特征， 确定相应感知任务下的感知预测结 果。 2.根据权利要求1所述的方法， 其中， 所述特征提取网络包括基座模块和至少两个第 一 多路模块； 所述通过所述特征提取网络对所述样本图像进行 特征提取， 得到目标样本特 征， 包括： 通过所述基座模块对所述样本图像进行降采样， 得到不同尺度的初始样本特 征； 通过所述第 一多路模块对所述初始样本特征进行不同感知任务的特征提取， 得到所述 初始样本特 征相应尺度下的目标样本特 征。 3.根据权利要求2所述的方法， 其中， 所述第一多路模块包括第一拆分子网络、 第一特 征提取子网络和第一融合子网络； 通过所述第 一多路模块对所述初始样本特征进行不同感知任务的特征提取， 得到所述 初始样本特 征相应尺度下的目标样本特 征， 包括： 通过所述第 一拆分子网络按照 通道维度对所述初始样本特征进行拆分， 得到第 一待融 合样本特 征和第一待处 理样本特 征； 通过所述第 一特征提取子网络对所述第 一待处理样本特征进行特征提取， 得到第 一目 标中间样本特 征； 通过所述第一融合子网络将所述第一待融合样本特征和所述第一目标中间样本特征 进行特征融合， 得到所述初始样本特 征相应尺度下的目标样本特 征。 4.根据权利要求3所述的方法， 其中， 所述第一特征提取子网络包括第一全局感知模 块、 第一局部感知模块和第一感知融合模块； 所述通过所述第 一特征提取子网络对所述第 一待处理样本特征进行特征提取， 得到第 一目标中间样本特 征， 包括： 通过所述第 一全局感知模块对所述第 一待处理样本特征进行全局特征提取， 得到第 一 全局中间样本特 征； 通过所述第 一局部感知模块对所述第 一待处理样本特征进行局部特征提取， 得到第 一 局部中间样本特 征；权　利　要　求　书 1/6 页 2 CN 114912629 A 2通过所述第一感知融合模块对所述第一全局中间样本特征和所述第一局部中间样本 特征进行特征融合， 得到所述第一目标中间样本特 征。 5.根据权利要求4所述的方法， 其中， 所述第 一局部感知模块包括至少两个第 一局部感 知分支； 所述通过所述第 一局部感知模块对所述第 一待处理样本特征进行局部特征提取， 得到 第一局部中间样本特 征， 包括： 通过不同第一局部感知分支对所述第一待处理样本特征在不同感受野下进行局部特 征提取， 得到相应感受野下的第一局部中间样本特 征。 6.根据权利要求5所述的方法， 其中， 所述第一局部感知模块还 包括第一旁路分支； 所述通过所述第 一局部感知模块对所述第 一待处理样本特征进行局部特征提取， 得到 第一局部中间样本特 征， 还包括： 若所述第一旁路分支为直连结构， 则直接将所述第 一待处理样本特征作为相应的第 一 局部中间样本特 征； 或者， 若所述第一旁路分支中包括第 一批处理模块， 则通过所述第 一批处理模块对所述第 一 待处理样本特 征进行归一 化处理， 得到相应的第一局部中间样本特 征。 7.根据权利要求1所述的方法， 其中， 所述第二多路模块包括第二拆分子网络、 第二特 征提取子网络和第二融合子网络； 所述通过所述第二多路模块对所述目标样本特征进行相同类别目标在不同感知任务 下的特征提取， 得到感知样本特 征， 包括： 通过所述第 二拆分子网络按照 通道维度对所述目标样本特征进行拆分， 得到第 二待融 合样本特 征和第二待处 理样本特 征； 通过所述第 二特征提取子网络对所述第 二待处理样本特征进行特征提取， 得到第 二目 标中间样本特 征； 通过所述第二融合子网络将所述第二待融合样本特征和所述第二目标中间样本特征 进行特征融合， 得到所述感知样本特 征。 8.根据权利要求7所述的方法， 其中， 所述第二特征提取子网络包括第二全局感知模 块、 第二局部感知模块和第二感知融合模块； 所述通过所述第 二特征提取子网络对所述第 二待处理样本特征进行特征提取， 得到第 二目标中间样本特 征， 包括： 通过所述第 二全局感知模块对所述第 二待处理样本特征进行全局特征提取， 得到第 二 全局中间样本特 征； 通过所述第 二局部感知模块对所述第 二待处理样本特征进行局部特征提取， 得到第 二 局部中间样本特 征； 通过所述第二感知融合模块对所述第二全局中间样本特征和所述第二局部中间样本 特征进行特征融合， 得到所述第二目标中间样本特 征。 9.根据权利要求8所述的方法， 其中， 所述第 二局部感知模块包括至少两个第 二局部感 知分支； 所述通过所述第 二局部感知模块对所述第 二待处理样本特征进行局部特征提取， 得到 第二局部中间样本特 征， 包括：权　利　要　求　书 2/6 页 3 CN 114912629 A 3