(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111459597.2 (22)申请日 2021.12.01 (71)申请人 武汉大势智慧科技有限公司 地址 430000 湖北省武汉市东湖新 技术开 发区光谷大道77号金融后台服务中心 基地建设项目二期B2栋4层01室 (72)发明人 向阳　张民瑶　谭瑞丹　 (74)专利代理 机构 东莞市卓易专利代理事务所 (普通合伙) 44777 代理人 张晓华 (51)Int.Cl. G06F 30/13(2020.01) G06F 30/27(2020.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种建筑物立面纹理自动生成方法和系统 (57)摘要 本发明涉及计算机视觉技术领域， 具体涉及 一种建筑物 立面纹理自动生 成方法和系统。 本发 明采用能够进行对象识别的深度学习网络进行 窗户提取， 针对合成新的建筑物立面墙面纹理， 使用Pix2PixHD网络合成建筑物立面纹理， 最后 根据得到的窗户信息和其真实的布局结构， 将窗 户贴在合 成的建筑物立面纹理图像上。 本发明采 用图像生 成和窗户提取的方法， 生成真实的建筑 物立面纹理， 并根据提取窗户的掩模文件， 保持 窗户的真实布局信息和实际大小， 节省了人工获 取窗户位置和大小的时间， 生 成的建筑物立面保 持了原立面上窗户的真实位置、 结构布局， 保证 了立面上物体布局的真实性， 产生更符合实际模 型中立面尺寸大小情况的建 筑物立面图像。 权利要求书2页 说明书11页 附图7页 CN 114117614 A 2022.03.01 CN 114117614 A 1.一种建筑物立 面纹理自动生成方法， 其特 征在于， 包括： 获取原始建筑物立 面数据集， 预处 理得到建筑物立 面窗户提取的训练样本； 构建用于建筑物立面图像识别的深度 学习网络， 根据所述训练样本对所述深度 学习网 络进行训练， 得到基于深度学习网络的建筑物立 面窗户识别模型； 获取原始建筑物立 面墙面数据集； 将所述原始建筑物立面墙面数据集输入Pix2PixHD网络进行参数微调和模型训练， 得 到基于Pix2PixHD网络的建筑物立 面墙面纹 理图像合成模型； 获取待测建筑物立面图像， 分别输入所述建筑物立面窗户识别模型和所述建筑物立面 墙面纹理图像合成模型， 得到 建筑物立面窗户的位置信息和掩模文件和合成的建筑物立面 墙面纹理图像； 对窗户掩模文件进行规则化处理及补全， 并根据掩模文件中窗户的真实布局和大小信 息， 将窗户贴合在合成的建筑物立面墙面纹理图像上， 通过纹理映射将合成的建筑物立面 纹理图像映射到建筑物的三维模型中。 2.如权利要求1所述的建筑物立面纹理自动生成方法， 其特征在于， 预处理得到建筑物 立面窗户提取的训练样本的方法， 包括： 获取原始建筑物立 面数据集； 标注所述原 始建筑物立 面数据集中的窗户特 征并保存； 对保存数据进行 数据增强处 理， 得到建筑物立 面窗户提取的训练样本 。 3.如权利要求2所述的建筑物立面纹理自动生成方法， 其特征在于， 所述增强处理为对 标注并保存的原始建筑物立面数据采用随机90 °倍数旋转、 水平翻转和伸缩变换的方法进 行数据增强。 4.如权利要求1所述的建筑物立面纹理自动生成方法， 其特征在于， 所述贴合在合成的 建筑物立 面墙面纹 理图像上的窗户生成方法， 包括： 获取的待测建筑物立 面图像； 利用建筑物立面窗户识别模型将所述待测建筑物立面图像的窗口进行检测、 定位， 获 取建筑物立 面窗户的二 值文件； 对获取的窗户二 值文件进行掩 模规则化， 使用规则化后的窗户掩 模文件； 根据所述窗户掩 模文件从窗户数据库中获得合 适大小和风格的窗户。 5.如权利要求1或4所述的建筑物立面纹理自动生成方法， 其特征在于， 所述建筑物立 面窗户识别模 型中进行窗户位置和窗户分割采用的深度学习网络为Mask ‑Rcnn网络， Mask ‑ Rcnn网络进行窗户位置和窗户分割， Mask ‑Rcnn网络的主干特征提取网络和特征金字塔网 络对输入的建筑物立面图像进 行卷积特征提取将底层信息进 行融合， 由区域建议网络生成 建议窗口， 并对每一层级的特征窗口进 行融合池化， 生成 固定尺寸的特征图， 对固定大小的 特征图进行分类、 边框回归以及窗户Mask预测。 6.如权利要求1所述的建筑物立面纹理自动生成方法， 其特征在于， 所述获取原始建筑 物立面墙面数据集之前， 还包括： 采用生成对抗网络接收一个随机输入的噪声图像， 生 成建 筑物立面图片并输出， 标签为真实的墙面纹理图像， 对影像对进 行伸缩变化进 行数据增强， 得到原始建筑物立 面墙面数据集。 7.如权利要求6所述的建筑物立面纹理自动生成方法， 其特征在于， 所述Pix2PixHD网权　利　要　求　书 1/2 页 2 CN 114117614 A 2络包括在生成对抗网络训练中相互对抗的生成网络和判别网络， 所述生成网络和判别网络 共同学习到各自的最优转态， 达到纳什分布； 所述生成网络用于根据输入数据生成目标域 的数据分布， 最大化判别网络识别错误的概率； 所述判别网络用于最大化判别损失， 以正确 的将生成网络的结果进行判断， 准确的识别出生成网络生成的图像以及目标域的标签图 像。 8.如权利要求7所述的建筑物立面纹理自动生成方法， 其特征在于， 所述Pix2PixHD网 络中的生成网络包括全局生成网络和局部增强网络； 所述生成网络进 行提升生成图像的分 辨率的方法为： 所述局部增强网络提取输入图像的局部浅层特征， 并将所述输入图像进行2倍下采样， 下采样结果输入到全局生成网络中； 所述全局生成网络获取图像的全局特 征； 将所述局部增强网络的局部特征和所述全局生成网络的全局特征进行逐像素相加， 并 输入到所述局部增强网络中。 9.如权利要求7所述的建筑物立面纹理自动生成方法， 其特征在于， 所述Pix2PixHD网 络中的判别网络为多尺度的判别网络， 所述多尺度的判别网络用于不同图像尺度的判别组 件组成判别网络， 对生成网络合成的图像以及标签图像分别进行不同采样系 数的下采样， 下采样后的标签图片和合成图片分别给到不同判别组件中。 10.一种建筑物立面纹理自动 生成系统， 其特征在于， 所述建筑物立面纹理自动 生成系 统采用权利要求 1‑9中任意一项 所述建筑物立面纹理自动生成方法将提取的窗户贴在合成 的建筑物立 面纹理图像上； 所述建筑物立 面纹理自动生成系统包括： 深度学习网络训练模块， 用于通过制作建筑物立面 窗户提取训练样本对深度 学习网络 训练， 得到基于深度学习网络的建筑物立 面窗户识别模型； Pix2PixHD网络训练模块， 用于通过原始建筑物立面墙面数据集对Pix2PixHD网络进行 参数微调和模型训练， 得到基于Pix2PixHD网络的建筑物立 面墙面纹 理图像合成模型； 以及 纹理图像映射模块， 用于对输入所述建筑物立面 窗户识别模型和所述建筑物立面墙面 纹理图像合成模型的待测建筑物立面图像， 得到的建筑物立面窗户的位置信息和掩模文件 和合成的建筑物立面墙面纹理图像， 进行窗户掩模文件的规则化处理及未检测出的窗户补 全， 并根据掩模文件中窗户的真实布局和大小信息， 将窗户贴合在合成的建筑物立面墙面 纹理图像上， 通过纹 理映射将合成的建筑物立 面纹理图像映射到建筑物的三维模型中。权　利　要　求　书 2/2 页 3 CN 114117614 A 3