(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211046097.0 (22)申请日 2022.08.30 (71)申请人 中国传媒大 学 地址 100024 北京市朝阳区定福庄东 街一 号 (72)发明人 赵艳明　舒坦　张震　李朝晖　 蒋伟　李绍彬　 (74)专利代理 机构 北京盛询知识产权代理有限 公司 11901 专利代理师 郭成文 (51)Int.Cl. G06T 7/80(2017.01) G06T 7/73(2017.01) G06T 5/00(2006.01) G06T 5/20(2006.01)G06T 17/00(2006.01) (54)发明名称 一种基于相机反馈的异形面动态投影方法 (57)摘要 本发明公开一种基于相机反馈的异形面动 态投影方法， 包括： 对投影仪和照相机进行刚性 固定， 标定得到照相机和投影仪的内、 外参数； 投 影仪投射一组结构光图像， 照相机拍摄得到被异 形面调制后的结构光图像； 基于照相机和投影仪 的内外参数、 投影仪投射的结构光图像和照相机 拍摄的调制后的结构光图像， 得到异形面表面稠 密点云； 照相机实时拍摄异形面图像， 得到异形 面实时位姿信息； 根据异形面实时位姿信息、 异 形面点云信息， 计算得到投影仪图像； 投影仪投 射出投影 仪图像， 实现异形面动态投影 。 权利要求书2页 说明书6页 附图3页 CN 115330885 A 2022.11.11 CN 115330885 A 1.一种基于相机反馈的异形面动态投影方法， 其特 征在于， 包括以下步骤： S1， 对投影仪和照相机进行刚性固定， 得到照相机内参数、 照相机外参数、 投影仪内参 数和投影仪 外参数； S2， 所述投影仪投射一组结构光图像， 所述照相机拍摄得到被异形面调制后的所述结 构光图像； S3， 基于所述照相机内参数、 所述照相机外参数、 所述投影仪内参数、 所述投影仪外参 数、 所述投影仪投射的所述结构光图像和所述照相 机拍摄到的调制后的所述结构光图像， 得到异形面表面稠密点云； S4， 所述照相机实时拍摄异形面图像， 得到异形面实时位姿信息； S5,根据所述异形面实时位姿信息和所述异形面表面稠密点云， 计算得到投影仪图像； S6,所述投影仪投射出 所述投影仪图像， 实现异形面动态投影。 2.根据权利要求1所述的基于相机反馈的异形面动态 投影方法， 其特征在于， 所述S5包 括： 计算三维点云坐标对应的投影仪图像二维坐标， 把所述三维点云坐标处 的三维点云的 颜色信息赋给所述投影仪图像二 维坐标处的投影仪图像像素； 对异形面上所有的点云实施 该操作， 得到所述投影仪图像； 将得到的异形面相对前一时刻的旋转矩阵、 平移矩阵和照相机的外参数进行计算， 得 到投影幕相对于所述投影仪的运动参数： R＝RcRx， T＝Tc+tx 式中， Rx为异形面相对前一时刻的旋转矩阵； tx为异形面相对前一时刻的平移矩阵； R、 T 为运动参数； 异形面三维点云到所述投影仪图像二维坐标的转换公式如下： xw＝PXw＝Kp[R|T]Xw 式中， Xw为三维点云坐标； Kp为内参矩阵； xw为投影仪图像二维坐标。 3.根据权利要求1所述的基于相机反馈的异形面动态投影方法， 其特征在于， 所述照相 机内参数和所述照相机 外参数的获取 过程为： 对所述投影机和所述照相机进行刚性固定， 组成投影机 ‑照相机系统； 将所述投影机 ‑照相机系统朝向贴有棋盘格图片的空间参考平面， 并调整所述投影机 ‑ 照相机系统角度， 使得 投影区域与所述棋盘格图片不重叠且所述照相机视场能完全覆盖所 述投影区域和所述棋盘 格图片； 通过所述照相机拍摄所述棋盘格图片， 并进行标定， 得到所述照相机内参数和所述照 相机外参数。 4.根据权利要求1所述的基于相机反馈的异形面动态投影方法， 其特征在于， 所述投影 仪内参数和所述投影仪 外参数的获取 过程为： 对所述投影机和所述照相机进行刚性固定， 组成投影机 ‑照相机系统， 完成照相机标 定； 将粘贴在空间参 考平面上的棋盘 格图片撤下， 开启投影仪， 投射棋盘 格图片； 基于所述棋盘 格图片， 采用识别特 征点的方法， 得到二维图像点； 基于所述照相机标定， 得到三维图像点；权　利　要　求　书 1/2 页 2 CN 115330885 A 2基于所述 二维图像点和所述 三维图像点， 得到所述内参数和所述投影仪 外参数。 5.根据权利要求1所述的基于相机反馈的异形面动态投影方法， 其特征在于， 所述异形 面实时位姿信息的获取 过程为： 基于所述照相机实时拍摄异形面图像， 进行 特征点提取与特 征点匹配， 得到匹配点对； 基于所述匹配点对和所述照相机内参数， 采用对极约束， 得到异形面实时位姿信息 。 6.根据权利要求5所述的基于相机反馈的异形面动态投影方法， 其特 征在于， 采用SURF算法进行 所述特征点提取， 采用FLAN N特征点匹配方法进行 所述特征点匹配。 7.根据权利要求1所述的基于相机反馈的异形面动态 投影方法， 其特征在于， 所述S4还 包括采用高斯双边滤波对所述异形面图像进行 预处理。 8.根据权利要求7所述的基于相机反馈的异形面动态投影方法， 其特征在于， 所述高斯 双边滤波的计算公式为： 其中： 式中， x为当前点位置； y为s ×s区域内点； Ix、 Iy为当前点的像素值； Gσ d为空间邻 域关系 函数； ||x－y||为空间距离； Gσ r为灰度值相似关系函数； σd、 σr为高斯标准差 。权　利　要　求　书 2/2 页 3 CN 115330885 A 3