(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210591505.4 (22)申请日 2022.05.28 (71)申请人 深圳大学 地址 518054 广东省深圳市南 山区南海大 道3688号 (72)发明人 李光　周凌霄　袁小聪　 (74)专利代理 机构 深圳市海顺达知识产权代理 有限公司 4 4831 专利代理师 俞米昌 (51)Int.Cl. G06T 19/00(2011.01) G06T 3/00(2006.01) G06T 7/73(2017.01) G09B 9/00(2006.01) (54)发明名称 基于混合现实的高仿真外科手术教学系统 及其方法 (57)摘要 本发明公开了基于混合现实的高仿真外科 手术教学系统及其方法， 涉及混合现实技术领 域。 为了解决传统的外科手术教学中， 3D打印技 术的出现使个体化手术训练成为可能， 但3D打印 成本高， 难以普及， 且多个学习者无法同时对同 一模型进行反复解剖、 多角度观察， 降低了教学 效率的问题。 基于混合现实的高仿真外科手术教 学系统及其方法， 医疗数据可视化系统实时对全 息影像与现实教学操作进行录制， 找出手术过程 中的不足， 实现学生独立学习的需求， 多个学习 者可以同时对同一模型进行反复解剖、 多角度观 察， 还可以切入模型内部观察内部组织结构， 模 拟X线显像比真实X线更精确， 没有放射性危害， 且仿真性良好， 实用性强， 改变了传统的阅片方 式。 权利要求书3页 说明书9页 附图5页 CN 114913309 A 2022.08.16 CN 114913309 A 1.基于混合现实的高仿真外科手术教学系统， 其特征在于： 包括外科手术教育系统 (1)、 医疗数据可视化系统(2)、 手术辅助系统(3)、 IoT设备(4)、 云平台(5)和采集录入端 (6)； 所述外科手术教育系统(1)、 医疗数据可视化系统(2)和手术辅助系统(3)构成MR外科 手术教学平台(7)； 所述外科手术教育系统(1)用于构建虚拟医疗环境， 包括病房、 病人、 医疗器械设备的 虚拟化空间； 所述医疗数据可视化系 统(2)用于接收外科手术教育系 统(1)虚拟环境数据后匹配手 术医疗数据并呈现MR全息影 像， 包括人体血 管、 骨骼、 内脏和血压的虚拟化病人病灶； 所述手术辅助系统(3)用于操作人体精准定位， 将虚拟空间与现实操作进行交互， 动态 呈现手术操作过程； 所述IoT设备(4)接收采集录入端(6)采集的真实数据， 所述采集数据包括视频数据和 图片数据， 对 采集的真实数据进行分组和标记， 并分组发送至云平台(5)； 所述IoT设备(4)针对接收的每路数据分别生成对应的视频流信息标签和图片流信息 标签， 依据各路视频数据的视频流信息标签和各路图片数据的图片流数据信息标签形成若 干视频数据流组和若干图片数据流组； 所述云平台(5)通过云端储存和编辑后， 将分类信息分别输送至MR外科手术教学平台 (7)， 并将反馈信息回传； 所述MR外科手术教学平台(7)接收手术辅助系 统(3)的操作数据反馈并将反馈信息发 送至云平台(5)。 2.如权利要求1所述的基于混合现实的高仿真外科手术教学系统， 其特征在于： 所述云 平台(5)包括云端数据库(51)、 数据处 理模块(52)和数据匹配模块(5 3)； 所述云端数据库(51)用于将接收到的若干视频数据流组和若干图片数据流组依据数 据流标签进行分类储 存； 所述数据处理模块(52)用于将分类储存的数据依据流属性信息和数据内容进行分组， 并分类标记， 所述分组包括环境数据集、 器械数据集、 人体数据集和病灶数据集； 所述数据匹配模块(53)用于将数据处理模块(52)处理分组后的数据集分别根据外科 手术教育系统(1)属性信息匹配生成相对应的数据流的数据要求， 并将该数据流的数据要 求与数据集对接 。 3.如权利要求2所述的基于混合现实的高仿真外科手术教学系统， 其特征在于： 云端数 据库(51)还用于储存MR外科手术教学平 台(7)的模型构建数据库、 若干视频数据流组和若 干图片数据流组的历史数据库以及若干视频数据流组和若干图片数据流组传输所挟带的 时间、 位置 子数据。 4.如权利要求3所述的基于混合现实的高仿真外科手术教学系统， 其特征在于： 外科手 术教育系统(1)包括环境模型构建模块(11)、 器械模型构建模块(12)、 人体模型构建模块 (13)和虚拟空间显示模块(14)； 所述环境模型构建模块(11)和器械模型构建模块(12)用于将分类后环境数据集的环 境数据和器械数据集的医疗器械进行实时动态的与三维模型进行深度融合； 所述人体模型构建模块(13)用于将分类后人体数据集的人物形体与三维模型进行初权　利　要　求　书 1/3 页 2 CN 114913309 A 2步构建， 病灶数据集与所述初步构建的人体模型进一 步融合与拼接 。 5.如权利要求4所述的基于混合现实的高仿真外科手术教学系统， 其特征在于： 所述外 科手术教育系统(1)还 包括感知系统， 所述感知系统用于采集和处 理环境信息， 包括： 智能摄像模块， 用于捕捉现实中的画面， 形成二维的图像， 所述智能摄像模块采用智能 摄像机； 图像识别模块， 用于识别形成的二维的图像中的物体单元， 所述物体单元包括环境单 元和医疗器械单 元、 以及人体单 元； 信息分类转换模块， 将提取的环境单元和医疗器械单元、 以及人体单元划分类别， 并针 对每个类别进行数据信息转换处理， 将环境单元转换为环境数据集， 将医疗器械单元转换 为器械数据集， 将人体单 元转换为人体数据集； 二维坐标构建模块， 提取环境数据集、 器械数据集和人体数据集中的数据， 将其转换为 二维坐标信息； 二维转三维模块， 用于将二维坐标信息转换为三维坐标的数据， 并将三维坐标的数据 整理后形成三维模型。 6.如权利要求5所述的基于混合现实的高仿真外科手术教学系统， 其特征在于： 所述二 维转三维模块通过以下方法， 将环境数据集、 器械数据集和人体数据集中形成的二维坐标 信息转换为对应的三维坐标的数据： S1， 将二维坐标信息中的任 意某一个点A的坐标定义为pi＝[xi， yi]， xi为任意某一个点A 处的横坐标 数值， yi为任意某一个点A处的竖坐标 数值； S2， 将该点A的坐标通过二维转 三维模块对应到三维空间后的点A*的坐标位置 定义为： 其中 为转换到三维空间后的点A*的横坐标数值， 为转换到三维空间后的点的竖坐 标数值； 为转换到三维空间后的点的纵坐标 数值； S3， 根据三维线性变换的方式， 采用以下代数式进行 数据的转换： 其中， (am， bm， cm， d)是参数向量， m的取值为1、 2和3， d为常数， 根据线性方程式求解， 计 算出对应的A*的坐标数据值， S3， 将对应的三维空间的各个点的坐标值根据与二维空间的坐标值的对应关系， 连接 成线， 再将对应的线连接构成面， 再将对应的面连接起 来形成立体结构， 构成三维模型。 7.如权利要求1所述的基于混合现实的高仿真外科手术教学系统， 其特征在于： 医疗数 据可视化系统(2)包括全息影 像播放模块(21)、 角度获取模块(2 2)和可视化录制模块(23)； 所述全息影像播放模块(21)用于获取外科手术教育系统(1)构建模型数据后将三维渲 染得到MR全息影像,全息影像播放模块(21)依据适配信息将若干路视频数据流转化成适配 播放要求的格式和分辨率,全息影像播放模块(21)投影功能分为MR全息影像转和模拟X线 显像， 所述模拟X线显像是将基于患者数据的MR全息模型和C臂模拟X线成像技 术结合形成；权　利　要　求　书 2/3 页 3 CN 114913309 A 3