(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111646573.8 (22)申请日 2021.12.3 0 (71)申请人 安徽大学 地址 230601 安徽省合肥市经济技 术开发 区九龙路1 11号 (72)发明人 徐怡　栾风光　 (74)专利代理 机构 合肥市泽信专利代理事务所 (普通合伙) 3414 4 代理人 潘飞 (51)Int.Cl. G06V 40/16(2022.01) G06V 10/12(2022.01) G06V 10/40(2022.01) G06V 10/764(2022.01) G06V 10/82(2022.01)G06V 20/17(2022.01) G06V 20/40(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06F 9/50(2006.01) (54)发明名称 无人机配送中基于人脸转正和人脸识别的 收货人识别方法 (57)摘要 本发明属于自动控制领域， 具体涉及无人机 配送中基于人脸转正和人脸识别的收货人识别 方法、 系统。 系统中包括 云服务器、 边缘服务器和 无人机。 该配送方法包括如下过程： S1： 边缘服务 器向云服务器请求下载收货人的注册信息。 S2： 无人机运送货物达到收货地址， 采集视频并提取 人脸图像。 S3： 人脸图像发送给边缘服务器。 边缘 服务器进行人脸转正得到正向人脸图像。 S4： 将 正向人脸图像与标准人脸图像进行特征匹配。 S5： 边缘服务器根据匹配结果确定收件人， 然后 计算出收件人的地理坐标。 S6： 无人机降落到收 件人对应的地理坐标位置完成配送任务并起飞 返程。 本发 明解决了现有无人机执行货物配送任 务时无法实现精准交付， 不能全自动无人配送的 问题。 权利要求书4页 说明书10页 附图3页 CN 114220157 A 2022.03.22 CN 114220157 A 1.一种无人机配送中基于人脸转正和人脸识别的收货人识别方法， 其特征在于， 所述 方法的实施过程基于无人机、 边缘服务器和云服务器的数据 处理， 以及三者之间的信息传 递； 所述云服务器用于存储各个用户的注册信息， 所述注册信息包括用户的地址信息和标 准人脸图像； 所述边缘服务器部署有人脸转正模型和人脸识别模型， 并在配送过程中提供 计算服务； 无人机作为货物运输工具， 并安装有视频监控装置和图像处理装置； 所述图像处 理装置中部署了人脸检测模型； 所述识别方法包括如下 过程： S1： 边缘服务器向云服务器发出下载收货人的注册信息的请求， 云服务器响应该请求 后， 向边缘服务器下达特定的注册信息； 所述特定的注册信息指配送地址属于所述边缘服 务器服务范围的收货人的注 册信息； S2： 无人机运送货物达到收货地址上空后， 以周围行人为采集对象， 利用无人机的视频 监控装置采集周围行人的视频流数据； 然后利用图像处理装置将获取的视频流数据分帧处 理， 并利用人脸检测模型提取 出各帧图像中对应的人脸图像； S3： 无人机将提取出的人脸图像及其对应的人脸预测框坐标发送给边缘服务器； 所述 边缘服务器将所述人脸图像输入到所述人脸转正模型中， 人脸转正模型对输入的所述人脸 图像进行 人脸转正操作， 输出对应的正向人脸图像； S4： 边缘服务器将所述正向人脸图像输入到所述人脸识别模型中， 人脸识别模型将输 入的各个正向人脸图像分别与所述收货人的注册信息中包含的标准人脸图像进行特征匹 配， 进而输出匹配结果； S5： 所述边缘服务器根据人脸识别模型输出的匹配结果确定收件人， 然后获取所述人 脸检测模型提取出的人脸图像对应的人脸预测框坐标； 并根据人脸预测框坐标的信息以及 所述人脸预测框中人脸大小与距离比例之间的先验关系计算出收件人的地理坐标； S6： 边缘服务器向无人机发送包含收件人的地理坐标的确认指令； 无人机接收到确认 指令后， 降落到收件 人对应的地理坐标位置附近的地面后， 释放运送的货物， 完成配送任务 并起飞返程。 2.如权利要求1所述的无人机配送中基于人脸转正和人脸识别的收货人识别方法， 其 特征在于： 每个收货人 的收货地址均对应至少一个边缘服务器的服务范围； 无人机到达 收 货地址上空后， 与该收货地址对应的边缘服务器建立通讯连接， 并向所述边缘服务器发送 人脸图像及其对应的人脸预测框坐标； 以及接收所述 边缘服务器发送的确认指令 。 3.如权利要求1所述的无人机配送中基于人脸转正和人脸识别的收货人识别方法， 其 特征在于： 步骤S2中， 所述边缘服务器在请求下载收货人员的注册信息前需要和云服务器 之间建立通讯连接； 边缘服务器 向云服务器发送自身的设备号作为匹配信息， 云服务器检 查该设备号是否属于预设的一个设备库中的设备号； 是则匹配成功， 响应边缘服务器的注 册信息下 载请求； 否则不响应边 缘服务器的下 载请求。 4.如权利要求1所述的无人机配送中基于人脸转正和人脸识别的收货人识别方法， 其 特征在于： 步骤S3中， 所述图像处理装置用于将视频监控装置获取 的视频数据进行分帧处 理， 然后按照预设的抽样比从分帧图像选择样本图像， 将样本图像依 次输入所述人脸检测 模型中， 所述人脸检测模 型采用LFFD模 型； 所述LFFD模 型的网络由25个卷积层、 多个残差模 块以及ReLU激活函数构成， 卷积层的卷积核大小为3x3或1x1； 所述LEED 模型的网络中具有8 个分支， 各个分支用于检测不同规模大小的人脸； 每个分支分为两个子 分支， 分别用于执行权　利　要　求　书 1/4 页 2 CN 114220157 A 2人脸二分类任务和预测框回归任务； 对于人脸二分类任务， 使用具有交叉熵损失的softmax 函数作为损失函数； 对于预测框回归任务， 使用L2 函数作为损失函数； 所述人脸检测模型的 输入为样本图像， 输出为样本图像中包含的人脸的人脸预测框； 针对人脸检测模型输出 的 人脸预测框， 再使用opencv函数进行截取， 得到所述的人脸图像。 5.如权利要求4所述的无人机配送中基于人脸转正和人脸识别的收货人识别方法， 其 特征在于， 所述人脸检测模型中， 人脸预测框的定义如下： 其中， RFx和RFy为感受野的中心坐标； RFs为感受野的大小； RFs/2则作为标准化常数使 用； 和 是标签边框的左上角坐标， 和 是标签边框的右下角坐标。 6.如权利要求1所述的无人机配送中基于人脸转正和人脸识别的收货人识别方法， 其 特征在于： 所述人脸转正模型由DR ‑GAN生成对抗网络训练得到； 所述DR ‑GAN生成对抗网络 由生成器和判别器构成， 其中， 生 成器采用编码 器‑解码器结构； 判别器为一个多任务的CNN 网络， 由两部分构成， 表示为D＝{Dd， Dp}， 其中， Dd表示身份类别的集合， Dp表示姿态类别的 集合； 所述人脸 转正模型的训练过程如下： (1)获取包含多张真实人脸图像(真实样本)的人脸数据集， 并为每张真实人脸 图像人 工添加标签； 所述标签的信息包括身份信息和姿态信息； (2)将所述人脸数据集中的真实人脸图像依次输入到DR ‑GAN网络中， 定义输入 的真实 人脸图像为x， 则每个真实人脸图像x经编码器处理产生对应的人脸特征f(x)， 应当指出的 是该人脸特征并未没有携带任何姿态信息， 人脸特征f(x)与网络额外提供的噪声z、 面部姿 态编码c结合， 由解码器经 过反卷积处 理得到生成人脸图像 (3)依次将所述生成人脸图像 与人脸数据集中对应的真实人脸图像x共同输入到判别 网络中进行判别， 判别过程中分别计算生成器的损失函数和判别器的损失函数 的损失值， 直到两个损失函数的损失值降低并趋 于稳定； (4)保留生成器的损失函数和判别器的损失函数的损失值均达到收敛时的网络参数； 将该网络参数作为训练后的人脸 转正模型的网络参数。 7.如权利要求6所述的无人机配送中基于人脸转正和人脸识别的收货人识别方法， 其 特征在于： 所述人脸转正模 型中， 编码 器与判别器均有14层卷积， 卷积核大小均为3x3， 步长 为1或2， 解码器与编码器对称， 拥有14层卷积， 卷积核大小为3x3， 步长为1或2； 所述生成器的损失函数如下： 其中， G表示生成器； D表示判别器； E表示分布函数的期望值； x为真实样本； y为真实样 本标签； pd表示真实样本和真实样本标签的分布； pz表示噪声的分布； pc表示面部姿态编码 的分布； yd为身份标签； yt为指定的姿态标签； z为噪声， c为面部姿态编码； 表示身份标 签yd所在的身份 类别， 表示指定的姿态标签yt所在的姿态类别。 所述生成器的损失函数的优化目标是最大化判别器将生成的人脸图像判别为真的概权　利　要　求　书 2/4 页 3 CN 114220157 A 3