(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210654874.3 (22)申请日 2022.06.10 (71)申请人 暨南大学 地址 510632 广东省广州市天河区黄埔大 道西601号 (72)发明人 方俊彬　李丹婕　林嘉俊　魏展航　 江灿健　陈姝豫　蒋琳　 (74)专利代理 机构 广州市华学知识产权代理有 限公司 4 4245 专利代理师 李斌 (51)Int.Cl. G06T 7/73(2017.01) G06V 10/764(2022.01) G06V 10/774(2022.01) G06V 10/82(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于BN-CNN的高速可见光定位图像处理方 法、 系统及 介质 (57)摘要 本发明公开了一种基于BN ‑CNN的高速可见 光定位图像处理方法、 系统及介质， 方法为： 获取 信号发射端 LED灯的唯一标识符并编码为交叉二 五码， 通过调制器使用开关键控对LED灯进行调 制， 驱动LED灯发出不同频率的光信号； 使用CMOS 图像传感器在信号接收端捕获光信号图像， 并划 分为训练集和测试集； 将条 纹图像训练集导入设 计好的批规范化卷积神经网络进行训练， 使用连 续梯度下降法优化损失， 获得条纹图像分类模 型； 将条纹图像测试集导入条 纹图像分类模型进 行识别， 判断条纹图像所属类别及类别对应LED 灯的唯一标识符， 确定信号接收端的位置。 本发 明通过批规范化卷积神经网络来进行深度学习， 提高了高速运动下捕捉到的模糊图像的识别速 度和准确率， 具有良好的鲁棒 性。 权利要求书3页 说明书9页 附图5页 CN 115100279 A 2022.09.23 CN 115100279 A 1.基于BN ‑CNN的高速可 见光定位图像处 理方法， 其特 征在于， 包括下述 步骤： 获取信号发射端LED灯的唯一标识符并编码为交叉二五码， 再通过调制器使用开关键 控对LED灯进行调制， 驱动LED灯发出不同频率的光信号； 使用CMOS图像传感器在信号接收端捕获不同LED灯发出的光信号 图像， 并划分获得条 纹图像训练集和条纹图像测试集； 将条纹图像训练集导入设计好的批规范化卷积神经网络进行训练， 使用连续梯度 下降 法优化损失， 获得 条纹图像分类模型； 将条纹图像测试集导入条纹图像分类模型进行识别， 判断条纹图像所属类别及类别对 应LED灯的唯一标识符， 确定信号接收端的位置 。 2.根据权利 要求1所述的基于BN ‑CNN的高速可见光定位图像处理方法， 其特征在于， 所 述获得条纹图像训练集和条纹图像测试集， 具体为： 使用CMOS图像传感器在不同移动速度状态下从不同角度对多个LED灯的光信号进行捕 获， 并将捕获到的条 纹图像保存， 同时记录条 纹图像对应的LED灯唯一标识符UID、 拍摄时的 移动速度以及拍摄角度作为标签值； 对拍摄得到的条纹图像进行图像预处理： 将条纹图像转换为灰度图像； 通过检验行列 像素和的方法， 设置阈值， 确定完整 条纹图像的行列边界， 向外延伸边界进行裁剪得到完整 条纹图像； 将预处理后的条纹图像进行随机划分， 获得 条纹图像训练集和条纹图像测试集。 3.根据权利 要求1所述的基于BN ‑CNN的高速可见光定位图像处理方法， 其特征在于， 所 述设计好的批规范化卷积神经网络BN ‑CNN包括输入层、 Conv1层、 Conv2层、 M1层、 FC1层、 M2 层、 FC2层 及输出层； 所述Conv1层包括卷积层、 批规范化层、 ReLU激活层及最大池化层， 用于提取特征获取 特征图； 所述Conv2层包括卷积层、 批规范化层、 ReLU激活层及最大池化层， 用于提取高维特征 获得高维特 征图； 所述M1层包括dropout层 及flatten层， 用于将高维特 征图转换为特 征数组； 所述FC1层包括全连接层、 批规范化层 及ReLU激活层， 用于加入非线性因素； 所述M2层包括dropout层， 用于降低神经网络神经 元之间的共适应关系； 所述FC2层包括全连接层和批规范化层， 用于 输出分类结果； 所述输出层包括Softmax分类器， 用于计算分类结果对应的概率分布， 输出概率最大的 分类信息 。 4.根据权利 要求3所述的基于BN ‑CNN的高速可见光定位图像处理方法， 其特征在于， 所 述Conv1层中的卷积层 使用32个3 ×3大小的卷积核且步长为(1,1对输入层输入的条 纹图像 训练集进行 特征提取， 生成32个特 征图， 卷积层进行 特征映射获取 特征图的公式为： 其中， Xi为条纹图像训练集中第i张条纹图像， Yi为第i张条纹图像对应的特征图， bi为 神经元的偏置， wji为神经元的权值， *为卷积运 算；权　利　要　求　书 1/3 页 2 CN 115100279 A 2使用零填充方式填充特 征图的边 缘像素， 得到 32个800×800大小的特 征图； 利用批规范化层对卷积层填充后的特征图进行规范化， 将特征图的平均值和方差限制 在[0,1]的范围内； 利用ReLU激活层的激励函数， 将批规范化层的输出非线性映射到Conv1层中的最大池 化层； 最大池化层使用步长为(2,2)的最大池化， 计算并输出轮询窗口滑动过程所对应的数 据最大值， 输出 大小为400×400像素的特 征图。 5.根据权利 要求4所述的基于BN ‑CNN的高速可见光定位图像处理方法， 其特征在于， 所 述Conv2层中的卷积层使用64个3 ×3大小的卷积核对Conv1层 获取32个400 ×400像素大小 的特征图进行高维特 征提取， 生成64个高维特 征图； 再将高维特征图经过Conv2层中批规范化层、 ReLU激活层和最大池化层， 输出64个大小 为200×200像素的高维特 征图。 6.根据权利 要求5所述的基于BN ‑CNN的高速可见光定位图像处理方法， 其特征在于， 所 述M1层中的dropout层在正向传播过程中随机丢弃50％的隐藏神经元； 所述M1层中的 flatten层将Conv2层输出的64个200 ×200像素大小的高维特征图转变为64个200 ×200的 一维特征数组； 所述FC1层中的全连接层使用512个连接节点将输入的一维特征数组转换为512个特征 值， 输出到FC1层中的批规范化层； 所述FC1层中的批规范化层将特征值调整为标准正态分 布， 输出值输入FC1层中的ReLU激活层， 加入非线性因素； 所述FC2层的最后一层连接点数为N的全连接层输出N个分类结果， 对应N个唯一标识 符。 7.根据权利 要求6所述的基于BN ‑CNN的高速可见光定位图像处理方法， 其特征在于， 所 述输出层 使用Softmax分类器将FC2层输出的N个 分类结果转化为加起来为1的分类百分比， 转化公式为： 其中， Vi为输出层输入的第i个分类结果； 分析分类百分比， 输出概 率最大的分类所对应的唯一标识符UID； 利用Softmax分类 器输出的概 率分布和损失函数计算BN ‑CNN的损失值 Li， 损失函数为： Li＝‑logP(Y＝ti|X＝xi) 使用连续梯度下降法对卷积层的卷积 核进行反向传播优化， 使损失值Li不断减小， 得到 条纹图像分类模型。 8.根据权利 要求7所述的基于BN ‑CNN的高速可见光定位图像处理方法， 其特征在于， 所 述确定信号接收端的位置， 具体为： 将条纹图像测试集导入条纹图像分类模型中进行识别， 解码获得LED灯对应的唯一标 识符UID； 查找“UID‑坐标”映射表来检索UID对应LED灯的空间坐标； 若图像分类模型输出为一个LED灯的唯一标识符， 则根据检索的对应LED灯的空间坐标 确定信号接收端的位置；权　利　要　求　书 2/3 页 3 CN 115100279 A 3