(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211163823.7 (22)申请日 2022.09.23 (71)申请人 京东科技信息技 术有限公司 地址 100176 北京市大兴区北京经济技 术 开发区科创十一街18号院2号楼6层 601 (72)发明人 赵杉杉　汤力遥　 (74)专利代理 机构 中国贸促会专利商标事务所 有限公司 1 1038 专利代理师 王莉莉 (51)Int.Cl. G06V 20/58(2022.01) G06V 10/764(2022.01) G06V 10/774(2022.01) G06V 10/26(2022.01)G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 语义标签传播、 模型训练方法、 装置和无人 车 (57)摘要 本公开提出了一种语义标签传播、 模 型训练 方法、 装置和无人车， 涉及无人车技术领域。 其 中， 语义标签传播方法包括： 确定当前训练批次 的点云数据的特征表示， 其中， 所述当前训练批 次的点云数据包括携带语义标签的点云点和不 携带语义标签的点云点； 根据所述携带语义标签 的点云点的特征表示、 和上一训练批次下每一类 语义标签的全局类质心， 确定当前训练批次下每 一类语义标签的全局类质心； 确定所述不携带语 义标签的点云点与当前训练批次下每一类语义 标签的全局类质 心的相似度； 根据所述相似度， 确定所述不携带语义标签的点云点的伪标签。 通 过以上方法， 能够为未标注点生成密集且有语义 意义的伪标签， 进 而优化模型训练效果。 权利要求书3页 说明书14页 附图6页 CN 115546759 A 2022.12.30 CN 115546759 A 1.一种语义标签传播方法， 包括： 确定当前训练批次的点云数据的特征表示， 其中， 所述当前训练批次的点云数据包括 携带语义标签的点云点和不携带语义标签的点云点； 根据所述携带语义标签的点云点的特征表示、 和上一训练批次下每一类语义标签的全 局类质心， 确定当前训练批次下每一类 语义标签的全局类质心； 确定所述不携带语义标签的点云点与当前训练批次下每一类语义标签的全局类质心 的相似度； 根据所述相似度， 确定所述 不携带语义标签的点云点的伪标签。 2.根据权利要求1所述的语义标签传播方法， 其中， 根据 所述携带语义标签的点云点的 特征表示、 和上一训练批次下每一类语义标签的全局类质心， 确定当前训练批次下每一类 语义标签的全局类质心包括： 根据携带每一类语义标签的点云点的特征表示， 确定当前训练批次下每一类语义标签 的局部类质心； 根据当前训练批次下每一类语义标签的局部类质心， 和上一训练批次下每一类语义标 签的全局类质心， 确定当前训练批次下每一类 语义标签的全局类质心。 3.根据权利要求2所述的语义标签传播方法， 其中， 根据携带每一类语义标签的点云点 的特征表示， 确定当前训练批次下每一类 语义标签的局部类质心包括： 对携带每一类语义标签的点云点的特征表示分别求取平均值， 并将所述平均值作为该 类语义标签的局部类质心。 4.根据权利要求2所述的语义标签传播方法， 其中， 根据当前训练批次下每一类语义标 签的局部类质心、 和上一训练批次下每一类语义标签的全局类质心， 确定当前训练批次下 每一类语义标签的全局类质心包括： 对当前训练批次下每一类语义标签的局部类质心与其在上一训练批次的全局类质心 进行加权结合， 并将加权求和结果作为 其在当前训练批次下的全局类质心。 5.根据权利要求1至4任一所述的语义标签传播方法， 其中， 确定当前训练批次的点云 数据的特 征表示包括： 将当前训练批次的点云数据输入语义分割主干网络， 以得到点云数据的中间特征表 示， 其中， 所述中间特 征表示用于确定点云数据的语义类别预测概 率； 将所述点云数据的中间特征表示输入投影网络， 以得到所述当前训练批次的点云数据 的特征表示。 6.根据权利要求1至4任一所述的语义标签传播方法， 其中， 根据 所述相似度， 确定所述 不携带语义标签的点云点的伪标签包括： 根据所述相似度， 确定所述 不携带语义标签的点云点中的每一个的伪标签。 7.根据权利要求1至4任一所述的语义标签传播方法， 其中， 确定所述不携带语义标签 的点云点与当前训练批次下每一类 语义标签的全局类质心的相似度包括： 确定所述不携带语义标签的点云点到当前训练批次下每一类语义标签的全局类质心 的距离； 根据所述距离， 计算所述不携带语义标签的点云点与当前训练批次下每一类语义标签 的全局类质心的类似然度， 并将所述类似然度作为所述相似度。权　利　要　求　书 1/3 页 2 CN 115546759 A 28.根据权利要求7所述的语义标签传播方法， 其中， 基于余弦距离函数确定所述不携带 语义标签的点云点到当前训练批次下每一类 语义标签的全局类质心的距离 。 9.根据权利要求7所述的语义标签传播方法， 其中， 根据所述相似度， 确定所述不携带 语义标签的点云点的伪标签包括： 将所述类似然度作为所述 不携带语义标签的点云点的伪标签。 10.根据权利要求1至4任一所述的语义标签传播方法， 其中， 在当前训练批次为第 一个 训练批次的情况 下， 所述上一训练批次下每一类 语义标签的全局类质心为预设值。 11.根据权利要求10所述的语义标签传播方法， 其中， 所述预设值 为零向量。 12.根据权利要求6所述的语义标签传播方法， 其中， 根据 所述相似度， 确定所述不携带 语义标签的点云点中的每一个的伪标签包括： 将所述相似度作为所述 不携带语义标签的点云点的伪标签。 13.一种模型训练方法， 包括： 根据权利要求1 ‑12任一所述的语义标签传播方法， 确定当前训练批次中不携带语义标 签的点云点的伪标签； 根据当前训练批次携带的语义标签和所述伪标签， 对语义分割模型进行训练。 14.根据权利要求13所述的模型训练方法， 其中， 根据当前训练批次携带的语义标签和 所述伪标签， 对语义分割模型进行训练包括： 根据当前训练批次中携带语义标签的点云点的语义类别预测概率和所述语义标签， 确 定第一损失函数的值； 根据当前训练批次中不携带语义标签的点云点的语义类别预测概率和所述伪标签， 确 定第二损失函数的值； 根据所述第一损失函数的值和所述第二损失函数的值， 确定整体的损失函数值； 根据所述整体的损失函数值， 对所述语义分割模型进行 更新。 15.一种语义分割方法， 包括： 基于权利要求13或14所述的模型训练方法训练得到的语义分割模型， 对待处理点云数 据进行语义分割。 16.一种装置， 包括： 用于执行权利要求1 ‑12任一所述的语义标签传播方法的模块， 或者， 用于执行权利要 求13或14所述的模型训练方法 的模块， 或者， 用于执行权利要求15所述的语义分割方法 的 模块。 17.一种电子设备， 包括： 存储器； 以及 耦接至所述存储器的处理器， 所述处理器被配置为基于存储在所述存储器的指令执行 权利要求 1至12任一项所述的语义标签传播方法， 或权利要求 13或14所述的模型训练方法， 或权利要求15所述的语义分割方法。 18.一种计算机可读存储介质， 其上存储有计算机程序指令， 该指令被处理器执行时实 现权利要求1至12任一项所述的语义标签传播方法， 或权利要求13或14所述的模型训练方 法， 或权利要求15所述的语义分割方法。 19.一种无 人车， 包括：权　利　要　求　书 2/3 页 3 CN 115546759 A 3