(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210847218.5 (22)申请日 2022.07.19 (71)申请人 上海人工智能创新中心 地址 200232 上海市徐汇区云锦路701号 37、 38层 (72)发明人 李怡康　石博天　李鑫　 (74)专利代理 机构 上海智晟知识产权代理事务 所(特殊普通 合伙) 31313 专利代理师 张瑞莹　李镝的 (51)Int.Cl. G06T 17/00(2006.01) G06V 10/25(2022.01) G06V 10/44(2022.01) G06V 10/764(2022.01) G06T 3/40(2006.01) (54)发明名称 一种图像 升维方法及三维目标检测方法 (57)摘要 本发明公开一种三维目标检测方法， 首先从 点云中提取点云提取点云体素特征， 然后将二维 图像特征升维投影至三维的同质图像体素空间， 得到图像体素特征， 并将点云体素特征与图像体 素特征进行融合， 得到融合特征， 最后基于融合 特征对目标进行识别及分类， 有效减少了特征级 融合过程中的信息损失。 权利要求书2页 说明书6页 附图2页 CN 115063539 A 2022.09.16 CN 115063539 A 1.一种图像升维方法， 其特 征在于， 包括 步骤： 提取图像的二维图像特 征； 基于所述 二维图像特 征生成视椎体特 征； 以及 将所述视椎体特 征映射到三维空间。 2.如权利要求1所述的图像升维方法， 其特征在于， 通过将每个像素(m， n)对应的二维 图像特征 与深度区间 进行外积操作， 得到每个像素对应的视 椎体特征 其中所述深度区间沿图像视椎体透视投影的射线方向， 由WF×HF个维度为R的独热离散 化的深度区间组成， 其中， WF， HF， CF分别表示所述 二维图像特 征的宽、 高和通道数。 3.如权利要求1所述的图像升维方法， 其特征在于， 将所述视椎体特征G映射到三维空 间I包括： 遍历三维空间的每 个位置i， 进行如下操作： 基于标定矩阵C M对所述视椎体特 征的质心进行采样： 其中， 表示在G， I中第i个 体素的三维坐标值； 以及 围绕 的邻域进行三线性插值， 形成 4.一种三维目标检测方法， 其特 征在于， 包括 步骤： 从点云中提取点云体素特征 并在图像中提取二维图像特征 其中CF为点云体素特征的通道数， (XP， YP， ZP)为点云体素切分网格的尺 寸， WF， HF， CF分别表示所述 二维图像特 征的宽、 高和通道数； 采用如权利要求1至3任一所述的图像升维方法， 将所述二维图像特征升维投影至三维 的同质图像体素空间， 得到图像体素特征 其中CF为图像体素特征的通道 数， (XI， YI， ZI)为图像体素切分网格的尺寸； 将所述点云体素 特征与所述图像 体素特征进行融合， 得到融合特 征； 以及 基于所述融合特 征对目标进行识别及分类。 5.如权利要求4所述的三维目标检测方法， 其特征在于， 采用查询融合机制融合所述点 云体素特征与所述图像 体素特征。 6.如权利要求5所述的三维目标检测方法， 其特征在于， 采用自注意力层作为查询融合 机制， 包括 步骤： 采用点云体素 特征FP作为查询， 图像 体素特征FI作为键和值； 对每一个注意力头j利用三个可学习的线性变换 施加至所述 查询、 键和值中， 得到 Qi＝FP·WiQ， Ki＝FI·WiK， Vi＝FI·WiV； 将r个注意力头(head1， head2， ...， headr)映射至同质三维空间， 得到多头注意力： AM＝Concat(head1， head2， ...， headr)WO权　利　要　求　书 1/2 页 2 CN 115063539 A 2其中： 为一个线性变换矩阵； 以及 以及 将所述多头注意力AM与点云体素 特征FP拼接， 得到融合特 征 7.如权利要求6所述的三维目标检测方法， 其特 征在于， 所述 查询的构造包括： 提取所述点云体素 特征P中的M个非空体素， 构造形成查询 8.如权利要求6所述的三维目标检测方法， 其特 征在于， 所述键和值的构造包括： 使用三维最大值池化， 从所述图像体素特征I中提取信息量高于预设值的部分 其中 λ为预设比例； 沿前三个维度展平I*， 得到 9.如权利要求6所述的三维目标检测方法， 其特 征在于， 还 包括： 将所述融合特征 散布至所述点云体素空间中得到 以作 为目标识别及分类的依据。 10.如权利要求4所述的三维目标检测方法， 其特征在于， 还包括： 对所述点云体素特征 及图像体素特征施加目标级相似性约束， 包括： 利用体素级的兴趣区域池化在所述点云体素特征及图像体素特征上截取N组兴趣区域 特征 将所述N组兴趣区域特 征转换至度量空间中， 得到N对度量特 征p， e； 以及 最小化每对度量特 征的余弦相似度距离： 11.如权利要求10所述的三维 目标检测方法， 其特征在于， 通过编码器Ω及预测器Ψ将 所述N组兴趣区域特 征转换至度量空间中： 并对所述编码器及预测器采用了梯度截止策略： 12.如权利要求11所述的三维目标检测方法， 其特征在于， 所述预测器包括多层感知 机。权　利　要　求　书 2/2 页 3 CN 115063539 A 3