(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210457976.6 (22)申请日 2022.04.28 (71)申请人 东南大学 地址 210096 江苏省南京市玄武区四牌楼 2 号 (72)发明人 张军　张宇威　吴菁岳　赵凝　 肖毅　宋爱国　李欣　李伟峰　 (74)专利代理 机构 南京众联专利代理有限公司 32206 专利代理师 蒋昱 (51)Int.Cl. B25J 18/06(2006.01) B25J 19/00(2006.01) B25J 9/16(2006.01) G06T 5/00(2006.01)G06T 7/13(2017.01) G06T 7/136(2017.01) G06T 7/73(2017.01) (54)发明名称 基于主动视觉和听觉的医疗行为采集机器 人及控制方法 (57)摘要 本发明公开了基于主动视觉和听觉的医疗 行为采集机器人及控制方法， 包括柔性机械臂、 主动视觉模块、 主动听觉模块、 驱动模块、 控制处 理模块和电源模块， 所述柔性机械臂由底座、 转 向及俯仰调节机构、 弯曲伸展机构、 震动抑制张 紧装置组成； 所述弯曲伸展机构由电机座、 推杆 电机、 钢片连接件、 弹性钢片、 多个指节块、 多个 转轴和末端节 块组成， 所述震动抑制张紧装置由 多个电磁铁单元组成， 所述主动视觉模块由相机 底座、 工业相机和可调节补光灯组组成， 所述主 动听觉模块由麦克风阵列组成， 本发 明可实现非 接触式医疗 行为数据采集， 解决医生小范围运动 时视觉遮挡和语音高低变化情况下的信息采集 难题， 为医疗智能辅助奠定 基础。 权利要求书3页 说明书6页 附图7页 CN 114770596 A 2022.07.22 CN 114770596 A 1.基于主动视觉和听觉的医疗行为采集机器人， 包括柔性机械臂(6)、 任务输入模块 (1)、 主动视觉模块(2)、 主动听觉模块(3)、 驱动模块(5)、 控制处理模块(4)和电源模块(7)， 其特征在于： 所述任务输入模块(1)用于指 定采集任务， 所述主动视觉模块(2)提供目标(8) 的视觉反馈信号以及进行医疗行为的图像数据采集， 所述主动听觉模块(3)用于提供目标 (8)的音频反馈信号以及 进行医疗行为的音 频数据采集， 所述控制处理模块(4)接受上述的 视觉和音频反馈信号， 所述 驱动模块(5)接受控制处理模块(4)的输出指 令并控制柔性机械 臂(6)进行位姿的调整实现对目标(8)的跟踪控制， 所述电源模块(7)为主动视觉模块(2)、 主动听觉模块(3)、 控制处 理模块(4)和柔 性机械臂(6)提供电源； 所述的柔性机械臂(6)由底座(6 ‑1)、 转向及俯仰调节机构、 弯曲伸展机构和震动抑制 张紧装置组成； 所述的底座(6 ‑1)为圆柱筒状， 所述的转向及俯仰调节机构包括转向电机(6 ‑2)、 连接 件(6‑3)和俯仰电机(6 ‑5)， 所述的转向电机(6 ‑2)安装在所述底座(6 ‑1)的圆柱筒内的上表 面， 转向电机轴伸出圆柱筒的上表面， 所述的连接件(6 ‑3)底部固定在所述的转 向电机(6 ‑ 2)输出轴上， 所述的俯仰电机(6 ‑5)固定在所述的连接件(6 ‑3)上， 俯仰电机(6 ‑5)输出轴 与 转向电机(6 ‑2)输出轴垂直； 所述的弯曲伸展机构(6)包括电机座(6 ‑7)、 推杆电机(6 ‑4)、 钢片连接件(6 ‑6)、 弹性钢 片(6‑8)、 指节块(6 ‑9)、 转轴(6 ‑10)和末端节块(6 ‑11)， 所述的电机座(6 ‑7)固定在俯仰电 机(6‑5)输出轴上， 所述的推杆电机(6 ‑4)安装在电机座(6 ‑7)上， 所述的钢片连接件(6 ‑6) 安装在推杆电机(6 ‑4)的输出轴上， 所述的弹性钢片(6 ‑8)后端固定在钢片连接件(6 ‑6)上， 各指节块(6‑9)通过转轴(6 ‑10)依次转动副连接， 形成弯曲伸展机构 本体， 最后端的指节 块 (6‑9)与电机座(6 ‑7)转动副连接， 最前端的指节块(6 ‑9)与末端节块(6 ‑11)转动副连接， 各 指节块(6‑9)和末端节 块(6‑11)在转动轴上方侧面沿着弯曲伸展机构本体方向设置有槽型 通孔(6‑12)， 各指节块(6 ‑9)单侧面设置有圆形凹槽(6 ‑13)， 弹性钢片(6 ‑8)的前端穿过相 应指节块(6 ‑9)上的槽型通 孔(6‑12)并固定在末端节块的槽型通 孔(6‑12)中； 所述的震动抑制张紧装置由至少2个电磁铁单元组成， 所述电磁铁单元分别安装于对 应指节块(6 ‑9)的侧面圆形凹槽(6 ‑13)中。 2.根据权利要求1所述的基于主动视 觉和听觉的医疗行为采集机器人， 其特 征在于： 所述的主动视觉模块(2)由相机底座(2 ‑3)、 工业相机(2 ‑1)和可调节补光灯组(2 ‑2)组 成， 所述相机底座(2 ‑3)安装在末端节块(6 ‑11)上， 所述相机底座(2 ‑3)形状为凸台状且分 上下两层； 所述的工业相机(2 ‑1)安装在相机底座(2 ‑3)上层， 所述工业相机(2 ‑1)由图像传 感器组件和镜头组成， 所述补光灯组(2 ‑2)由至少2个LED灯组成， 环形分布于相机底座(2 ‑ 3)上层。 3.根据权利要求2所述的基于主动视 觉和听觉的医疗行为采集机器人， 其特 征在于： 所述的主动听觉模块(3)由麦克风阵列组成， 麦克风阵列由八个麦克风单元组成， 环形 分布于相机底座(2 ‑3)下层。 4.根据权利要求1所述的基于主动视 觉和听觉的医疗行为采集机器人， 其特 征在于： 所述电源模块(7)安装于底座(6 ‑1)下方负责给驱动模块(5)、 底座(6 ‑1)中的电机、 转 向及俯仰调节机构的转向电机(6 ‑2)以及俯仰电机(6 ‑5)、 推杆电机(6 ‑4)、 主动视觉模块 (2)、 主动听觉模块(3)和控制处 理模块(4)供电。权　利　要　求　书 1/3 页 2 CN 114770596 A 25.根据权利要求1所述的基于主动视 觉和听觉的医疗行为采集机器人， 其特 征在于： 所述的控制处 理模块(4)包 含视/听觉控制器和关节控制器， 固定在底座(6 ‑1)的下方。 6.根据权利要求1 ‑5任意一项所述基于主动视觉和听觉的医疗行为采集机器人的控制 方法， 包含主动视 觉和主动听觉的协同控制方法， 步骤 包括， 其特 征在于： S0： 任务输入； S1： 选择工作模式； S2‑1‑1： 工业相机采集图像数据； S2‑1‑2： 图像预处理， 包含图像 的中值滤波、 灰度 阈值分割和采用Sobel算子 的图像边 缘检测， 经 过预处理后的图像保留有 主要的特征信息， 且去除了噪声； S2‑1‑3： 图像特征提取， 采用Haar特征算子提取特征得到反馈的特征向量， 然后计算与 期望特征的差值； S2‑1‑4： 获取期望图像特 征； S2‑2‑1： 麦克风阵列采集音频 数据； S2‑2‑2： 采用基于深度学习的AE C滤波算法对音频 数据进行 滤波处理； S2‑2‑3： 采用基于深度神经网络的I ‑Vector模型进行声纹识别， 锁定采集目标； S2‑2‑4： 利用到 达时延差， 求得音频信号的声源位置； S3： 计算期望特 征与提取 特征的差值 S4： 将声源位置和期望特征与提取特征的差值输出至视/听觉控制器， 并输出速度向量 v_(f)和采集数据的类型； S5： 判断是否为图像数据； S6： 是图像数据， 调整补光灯组亮度； S7： 判断数据是否合 规； S8： 不合规， 关节控制器控制关节角调整工业相机的视角和麦克风阵列的位姿， 并重复 上述操作； S9： 合规， 任务结束。 7.根据权利要求6所述基于主动视觉和听觉的医疗行为采集机器人的控制方法， 其特 征在于： 所述步骤S4中视/听觉控制器 融合图像信 息和音频信息， 输出控制命令， 其中视觉反馈 回路的目的是最小化图像误差， 该误差 定义为： e(t)＝s(m(t),a) ‑s* 其中m(t)是Haar的特征， a是系统中潜在的未知参数， S代表了PD的控制算法， 即将提取 的特征m(t)映射至目标特征S*的空间中， 并与S*进行比较， 系统误差达到误差允许范围时， 系统达到稳定状态， 其中最核心的是建立图像变化与机械臂运动之间的映射变化， 即系统 的雅可比矩阵； 其中机器人关节空间到图像特 征空间的微分映射关系： f’＝J·θ’ 其中θ’是关节速度， f ’是图像特 征变化速度， J是系统的雅可比矩阵： J＝Jr·Jq 其中Jr是图像雅可比矩阵， 代表了图像特征变化和末端速度变化之间的关系， Jq是机械权　利　要　求　书 2/3 页 3 CN 114770596 A 3