(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210403610.0 (22)申请日 2022.04.18 (71)申请人 北京百度网讯科技有限公司 地址 100085 北京市海淀区上地十街10号 百度大厦2层 (72)发明人 叶晓青　储瑞航　孙昊　 (74)专利代理 机构 北京市汉坤律师事务所 11602 专利代理师 姜浩然　吴丽丽 (51)Int.Cl. G06V 10/26(2022.01) G06V 20/70(2022.01) G06V 10/764(2022.01) G06V 10/762(2022.01) G06V 10/774(2022.01)G06K 9/62(2022.01) (54)发明名称 三维场景分割方法和用于训练分割模型的 方法 (57)摘要 本公开提供了一种三维场景分割方法和用 于训练分割模型的方法， 涉及人工智能技术领 域， 具体为深度学习、 计算机视觉技术领域， 可应 用于图像处理、 3D视觉、 增强现实等场景。 实现方 案为： 获取目标三维场景的点云数据集， 点云数 据集包括目标三维场景对应的目标点集中的每 一个点的点 云数据， 该点云数据指示该点在目标 三维场景中的位置； 获得点云数据集中的每一个 点云数据的目标分类标签和目标 实例标签； 以及 针对点云数据集中的具有相同的目标分类标签 的多个第一点云数据， 响应于确定多个第一点云 数据中的任一第一点云数据的目标实例标签与 另一第一点 云数据的目标 实例标签相应， 确定多 个第一点云数据对应于目标三维场景中的第一 实例。 权利要求书7页 说明书18页 附图7页 CN 114723949 A 2022.07.08 CN 114723949 A 1.一种三维场景分割方法， 包括： 获取目标三维场景的点云数据集， 所述点云数据集包括所述目标三维场景对应的目标 点集中的每一个点的点云数据， 该点云数据指示该点在所述目标三维场景中的位置； 获得所述点云数据集中的每一个点云数据的目标分类标签和目标实例标签， 所述目标 分类标签指示该点云数据在多个分类中的相应分类， 所述目标实例标签指示该点云数据相 对于所述点云数据集中的相应第一子集的聚类中心所偏移的方向和距离， 所述相应第一子 集能够被聚类为 一个实例； 以及 针对所述点云数据集中的具有相同的目标分类标签的多个第 一点云数据， 响应于确定 所述多个第一点云数据中的任一第一点云数据的目标实例标签与另一第一点云数据的目 标实例标签相应， 确定所述多个第一 点云数据对应于所述目标三维场景中的第一实例。 2.根据权利要求1所述的方法， 其中， 所述获得所述点云数据集中的每一个点云数据的 目标分类标签和目标实例标签包括： 将所述点云数据集输入至分割 模型， 以获得所述点云数据集中的每一个点云数据的目 标分类标签和目标实例标签， 其中， 所述分割模型是利用训练数据集和与所述训练数据集中的第一数据集相应的标注数 据集进行半监 督训练而获得的， 其中， 所述训练数据集包括来自三维空间的实例样本上的样本点集中的每一个点的点云数 据， 所述第一数据集包括 来自所述样本点 集中的第一样本 子集中的每一个点的点云数据， 所述标注数据集包括与所述第一样本子集中的每一个点的点云数据相应的标注分类 标签和标注实例标签， 该标注分类标签指示所述实例样本在所述多个分类中的相应分类， 该标注实例标签指示与相 应的点云数据对应的点相对于所述实例样本的中心偏移的方向 和距离。 3.根据权利要求2所述的方法， 其中， 所述训练数据集中的每一个点云数据包括该点云 数据所对应的点的位置坐标， 所述第一样本子集中的每一个点的点云数据的标注实例标签 包括该点的位置坐标和所述实例样本的中心的位置坐标之间的坐标偏差， 其中， 所述实例样本的中心的位置坐标是至少基于所述第一样本子集中的每一个点的位置 坐标获得的。 4.根据权利要求3所述的方法， 其中， 所述目标点集中的每一个点的点云数据包括该点 的位置坐标， 所述点云数据集中的每一个点云数据的目标实例标签包括该点云数据对应的 偏差坐标， 所述方法还 包括： 针对所述多个第 一点云数据中的每一个第 一点云数据， 基于该第 一点云数据对应的偏 差坐标和该第一 点云数据中的位置坐标， 获得相应的更新 坐标； 以及 响应于确定所述多个第一点云数据中的任意两个第一点云数据的更新坐标之间的距 离小于距离阈值， 确定所述多个第一点云数据中的任一第一点云数据的目标实例标签与另 一第一点云数据的目标实例标签相应。 5.根据权利要求2 ‑4任一项所述的方法， 其中， 所述分割模型包括语义网络和聚类网 络， 所述将所述点云数据集输入至分割模型， 以获得所述点云数据集中的每一个点云数据 的目标分类标签和目标实例标签包括：权　利　要　求　书 1/7 页 2 CN 114723949 A 2将所述点云数据集输入至所述语义网络， 以获得所述点云数据集中的每一个点云数据 的目标分类标签； 并且 将所述点云数据集输入至所述 聚类网络， 以获得所述点云数据集中的每一个点云数据 的目标实例标签。 6.根据权利要求1 ‑5任一项所述的方法， 还 包括： 响应于确定所述点云数据集中的多个第二点云数据对应于所述目标三维场景中的第 二实例， 并且所述多个第二点云数据的相同的目标分类标签与所述多个第一点云数据的相 同的目标分类标签相同， 获得第一标记和第二标记， 所述第一标记不同于所述第二标记； 以 及 基于所述第一标记， 显示所述目标点集中的第一点集， 并且基于所述第二标记显示所 述目标点集中的的第二点集， 所述第一点集中的多个点与所述多个第一点云数据对应， 所 述第二点集中的多个点与所述多个第二 点云数据对应。 7.一种用于训练分割模型的方法， 包括： 获得训练三维场景的点云数据集， 所述点云数据集包括位于所述三维场景中的实例样 本上的样本点集中的每一个点的点云数据， 该点云数据指示该点在所述训练三维场景中的 位置， 所述实例样本与多个分类中的第一分类对应； 对所述点云数据集的至少第 一数据子集中的每一个点云数据进行标注， 以获得所述第 一数据集中的每一个点云数据的标注分类标签和标注实例标签， 所述第一数据子集包括所 述样本点集的至少第一子集中的每一个点的点云数据， 所述标注分类标签指示所述第一分 类， 所述标注实例标签指示与该点云数据所对应的点相对于所述 实例样本的中心偏移的距 离和方向； 以及 基于所述第一数据子集中的每一个点云数据和该点云数据的标注分类标签和标注实 例标签， 对所述分割模型进行监 督训练， 以获得 经监督训练的分割模型。 8.根据权利要求7所述的方法， 其中， 所述第一子集不大于预设数量阈值， 所述方法还 包括： 将所述点云数据集的第 二数据子集输入至所述经监督训练 的分割模型， 以获得所述第 二数据子集中的每一个点云数据的预测分类标签和预测实例标签， 所述第二数据子集包括 所述样本点 集的除所述第一子集之外的第二子集中的每一个点的点云数据； 从所述第二数据子集中获得多个第 三数据子集， 所述多个第 三数据子集中的每一第 三 数据子集中的任意两个点云数据的预测分类标签相同； 针对所述多个第 三数据子集中的每一个第 三数据子集， 基于该第 三数据子集中的每一 个点云数据的预测实例标签， 获得该第三数据子集中的能够被聚类为一个实例的第四数据 子集和该第四数据子集的聚类中心； 针对所述多个第 三数据子集对应的多个第四数据子集中的每一个第四数据子集， 获得 该第四数据子集中的每一个点云数据的分类伪标签和实例 伪标签， 所述分类伪标签指示该 点云数据在所述多个分类中的相应分类， 所述实例伪标签为该点云数据所对应的点相对于 该第四数据子集的聚类中心偏移的距离和方向； 基于所述多个第四数据子集中的每一个第四数据子集中的每一个点云数据和该点云 数据的分类伪标签和实例 伪标签， 并且基于所述第一数据子集中的每一个点云数据和该点权　利　要　求　书 2/7 页 3 CN 114723949 A 3