ICS 35.240.01 CCS L 78 34 安 徽 省 地 方 标 准 DB34/T 4101—2022 智能驾驶 激光雷达与摄像头的感知数据 融合接口规范 Intelligent driving—Specification of lidar and camera perception data fusion interface 2022-03-29 发布 2022-04-29 实施 安徽省市场监督管理局 发 布 DB34/T 4101—2022 前 言 本文件按照 GB/T 1.1—2020《标准化工作导则 第1部分：标准化文件的结构和起草规则》的规定 起草。 请注意本文件的某些内容可能涉及专利。本文件的发布机构不承担识别专利的责任。 本文件由中国科学技术大学提出。 本文件由安徽省经济和信息化厅归口。 本文件起草单位：中国科学技术大学、安徽工匠质量标准研究院有限公司、江淮汽车集团股份有限 公司、合肥综合性国家科学中心人工智能研究院。 本文件主要起草人：张昱、龚磊、张燕咏、吉建民、王顺洪、李星辰、任浩杰、祝含颀、丁昌东、 吴琼、丁钊。 I DB34/T 4101—2022 智能驾驶 激光雷达与摄像头的感知数据 融合接口规范 1 范围 本文件规定了智能驾驶激光雷达与摄像头的感知数据融合接口的融合系统架构、数据融合接口及数 据格式。 本文件适用于激光雷达与摄像头的传感器数据融合和图像与点云的目标检测结果融合。 2 规范性引用文件 本文件没有规范性引用文件。 3 术语和定义 下列术语和定义适用于本文件。 3.1 包围框 bounding box 主要用于对检测的对象进行描述的三维或二维矩形外壳。 [来源：ISO 23150-2021，7.2.2] 3.2 摄像头坐标系 camera coordinate system 摄像头坐标系是以镜头主光轴为中心的三维笛卡尔坐标系。 注： 单位为米。 3.3 激光雷达坐标系 lidar coordinate system 激光雷达坐标系是以激光发射中心作为坐标系原点的三维笛卡尔坐标系。 注： 单位为米。 3.4 图像坐标系 image coordinate system 以图像左上角为原点的二维坐标系。 注： 单位为像素。 3.5 时空统一 time and space unification 将输入的各局部时间和空间坐标的信息变换到统一的系统基准时间和空间坐标系下。 [来源：GB/T 37686-2019，3.3] 3.6 标定 calibration 接受激光雷达与摄像头的原始数据作为输入进行时空统一的操作。 1 DB34/T 4101—2022 3.7 传感器数据融合 sensor data fusion 接受感知之前的数据作为输入进行数据融合的操作。 3.8 目标检测结果融合 detection fusion 接受图像目标检测二维包围框和点云目标检测三维包围框作为输入进行数据融合的操作。 3.9 数据融合接口 data fusion interface 接收传感器数据并输出融合数据以及接收目标检测结果并输出融合后目标检测结果的接口。 4 融合系统的架构 4.1 激光雷达与摄像头的传感器数据融合架构 激光雷达与摄像头的传感器数据融合架构如图1 所示，分别从激光雷达和摄像头接收激光点云数据 和图像数据，从标定数据获取标定信息，按配置数据中给出的传感器数据融合模式进行融合，输出融合 数据。 图1 4.2 激光雷达与摄像头的传感器数据融合架构 图像与点云的目标检测结果融合架构 图像与点云的目标检测结果融合架构如图2 所示，分别获取图像目标检测二维包围框和点云目标检 测三维包围框，从标定数据获取标定信息，按配置数据中给出的目标检测结果融合模式进行融合，输出 融合后的目标检测结果。 图2 5 数据融合接口 2 图像与点云的目标检测结果融合架构 DB34/T 4101—2022 5.1 基本数据类型 基本数据类型见表1。 表1 5.2 基本数值类型 数值类型 描述 bool 布尔型 int8 8位整型 uint8 无符号8位整型 int32 32位整型 uint32 无符号32位整型 float 单精度浮点（32bit） double 双精度浮点（64-bit） string 字符串类型 enum 枚举类型 配置数据 配置接口的配置数据见表2。 表2 属性名称 描述 fusion_type chirality 融合类型 手征：右手坐标系或者左 手坐标系 配置接口的配置数据 数据类型 单位/备注 /0：传感器数据融合； bool 1：目标检测结果融合 /0：右手坐标系； bool 1：左手坐标系 示例 0 0 /数字0,1,2分别表示x,y,z轴，负数 表示负方向。 记录车辆前进方向、右侧 camera_coordinate 方向、竖直方向对应摄像头 （int8,int8,int8） 如 (2,0,-1)，表示前进方向为z轴，（2,0,-1） 右侧方向为x轴，竖直方向为y轴反方 坐标系的轴 向 /数字 0,1,2 分别表示 x,y,z 轴，负 数表示负方向。 记录车辆前进方向、右侧 lidar_coordinate 方向、竖直方向对应激光雷 （int8,int8,int8） 如 (0,-1,2)，表示前进方向为 x 轴，（0,-1,2） 右侧方向为 y 轴反方向，竖直方向为 达坐标系的轴 z 轴  camera_frequency 摄像头获取数据频率 uint32 HZ / 10 lidar_frequency 激光雷达获取数据频率 uint32 HZ / 10 fusion_algorithm 融合所用算法 string / “MV3d” 5.3 5.3.1 添加配置属性 融合系统提供添加配置属性接口，添加配置属性，包括属性名称、属性描述、属性值的类型等。 3 DB34/T 4101—2022 5.3.2 接口输入参数： ——属性名称； ——属性描述； ——属性值的类型。 5.3.3 接口返回值：属性添加成功与否的状态，1—添加成功、0—添加失败。 示例：输入为：（frequency, “the capture frequency of sensor”, uint32）表示添加类型为 uint32 的 frequency 属性。 5.4 设置配置属性值 5.4.1 融合系统提供设置配置属性值接口，设置指定属性名的属性值。 5.4.2 接口输入参数： ——指定属性名； ——属性值。 5.4.3 接口返回值：属性值设置成功与否的状态，1—设置成功、0—设置失败。 示例：输入参数（camera_frequency,20）表示设置摄像头采集图像频率为 20Hz。 5.5 获取配置属性值 5.5.1 5.5.2 5.5.3 融合系统提供获取配置属性值接口，获取指定属性名的属性值。 接口输入参数：指定属性名。 接口返回值：属性值。 示例：输入参数（camera_frequency）表示获取系统中当前的摄像头采集图像频率。 5.6 数据接收接口 5.6.1 数据发送端通过数据接收接口向融合系统提供待融合的数据,可以是原始数据（6.2）、图像数 据（6.3）、点云数据（6.4）、点云目标检测三维包围框信息（6.5）、图像目标检测二维包围框信息 （6.6）之一。 5.6.2 接口输入参数：数据，规范中定义的数据类型的数据。 5.6.3 接口返回值：设置/发送成功与否的状态，1—设置/发送成功、0—设置/发送失败。 5.7 数据获取接口 5.7.1 融合系统通过数据获取接口获取融合后数据，可以是传感器数据融合后数据（6.7）、目标检测 结果融合后目标检测结果数据（6.8）。 5.7.2 接口输入参数：融合类型，指定融合的类型。 5.7.3 接口返回值：融合后的数据。 6 数据格式 6.1 标定数据类型描述 应符合表3的规定。 4 DB34/T 4101—2022 表3 属性名 image_size 标定数据类型描述 描述 数值类型 单位/备注 示例 图像大小 uint32[2] /1×2向量 [640,480] 畸变参数向量 distortion_coeffs 缺省所有形变系数 double[5] /1×5向量，该畸变参数适用 [-0.3995,0.1803,0,0,0.0429] 于针孔相机模型 都设为0 /3×3矩阵，包含摄像头的光 intrinsic_matrix 内参矩阵 double[9] 学中心和焦距信息，表示摄像 [468.3708,0.,339.7596, 0.,470.2517,235.6143, 头坐标系到图像坐标系的映 0.,0.,1.] 射关系 reference_frame 参考坐标系 /外参矩阵参考坐标系， 0:摄像头坐标系 bool 0 1:激光雷达坐标系 [0.0070,1e-06, 0.9999,0, -0.9999,-0.0016,0.0070,0, double[16] 信息，表示参考坐标系之间的 0.0016,-0.9999,-1e-06,0, 空间转换关系 -0.0062,0.0756,0.0337,1] /4×4矩阵，包括旋转与平移 extrinsic_matrix 6.2 外参矩阵 原始数据描述 应符合表4的规定。 表4 6.3 属性名 描述 sensor_id 产生原始数据的传感器id 原始数据描述 数值类型 单位/备注 示例 uint8 / 1 uint32. s.ns / 1595682678. uint32 秒.纳秒 715705367 timestamp 数据生成的时间戳 seq 数据的序列 uint32 1 length 原始数据字节数 uint32 1 data 原始数据字节流 int8[] 图像数据描述 应符合表5的规定。 表5 图像数据描述 属性名 描述 sensor_id 产生图像数据的摄像头传感器id 数值类型 单位/备注 示例 uint8 / 1 uint32. s.ns / 1595682678. uint32 秒.纳秒 715705367 timestamp 图片生成的时间戳 seq 图像的序列 uint32 height 图像高度，即像素行数 uint32 / 480 width 图像