(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211129635.2 (22)申请日 2022.09.16 (71)申请人 杭州电子科技大 学 地址 310018 浙江省杭州市下沙高教园区2 号大街 (72)发明人 秦飞巍　詹高扬　邵艳利　 (74)专利代理 机构 杭州君度专利代理事务所 (特殊普通 合伙) 33240 专利代理师 杨舟涛 (51)Int.Cl. G06V 10/80(2022.01) G06V 10/774(2022.01) G06V 10/764(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01)G06N 3/08(2006.01) G06T 19/00(2011.01) (54)发明名称 基于图像和属性图融合网络的三维CAD模型 检索方法 (57)摘要 本发明提出了一种基于图像和属性图融合 网络的三维CAD模型检索方法， 不仅充分利用了 三维CAD模型中图像的高级几何信息和属性图中 包含的拓 扑结构信息。 而且还引入了多头注意力 机制， 通过视图中的几何信息来对属性图中的拓 扑结构信息进行增强。 最后还将 两个模态的信息 进行融合， 充分利用各自模态信息的同时还其他 模态信息进行指导增强， 使 得能够辨别模型的特 性信息更加清晰。 本发明广泛适用于各类CAD模 型而不局限于特定数据集， 能够实现对三维CAD 模型的高效检索且检索准确率高于现有表现较 佳的其他三维模 型检索方法， 同时进一步推广了 注意力机制以及跨模态融合在三维模型检索问 题上的应用。 权利要求书3页 说明书6页 附图2页 CN 115439722 A 2022.12.06 CN 115439722 A 1.基于图像和属性图融合网络的三维CAD模型检索方法， 其特征在于,该方法具体包括 以下步骤： 步骤1、 VGNet网络模型 数据预处 理； 步骤2、 VGNet网络模型构建与训练， 具体操作如下： VGNet网络模型构建与训练分为两个步骤： 神经网络模型的构建和网络模型的训练； 步骤2.1： 神经网络模型构建； 该神经网络模型由两部分组成， 分别是特征提取器和注 意力指导融合模块； 所述的注意力指导融合模块， 由三个子模块构成： Multi ‑head Attention即MHA， 残差 增强以及跨模态融合； 步骤2.1.1： M HA 通过MHA来找到 图像特征和属性图特征之间联系； 输入两个模态 的特征向量来进行彼 此之间的交 互学习， 得到一个注意力分数； 步骤2.1.2： 残差增强 根据注意力分数来对特 征进行加强， 使得重要的特 征更加明显， 边 缘特征更加边缘； 步骤2.1.3： 跨模态融合 将两个模态的特 征信息进行融合 来形成最终的模型 特征表示； 步骤2.2： 网络模型训练 将两个分支 的特征提取网络进行预训练； 在预训练完成之后， 进行整个网络框架 的训 练， 在前N个阶段冻 结提取特征网络的参数更新， 只在注意力融合模块进行微调； 之后将所 有参数将一 起参与更新； 步骤3、 VGNet网络模型 预测结果评估。 2.根据权利要求1所述的基于图像和属性图融合网络的三维CAD模型检索方法， 其特征 在于： 所述的VGNet网络模型 数据预处 理； 具体步骤如下： 三维CAD模型采用.sldprt格式， 在输入网络框架之前， 将其转换为图像数据和图结构 数据； 采用12张图像来描述 一个模型。 3.根据权利要求1所述的基于图像和属性图融合网络的三维CAD模型检索方法， 其特征 在于： 所述的特征提取器， 其在两个模态中分别利用各自模态的神经网络来对原始数据进 行特征提取； 视图分支： 每个三 维模型由一组由预定义相机阵列捕获的渲 染视图表示； 将其 输入到卷积通道依次为64， 128， 256， 512的卷积层中以得到每个视图的特征； 其计算公 式如 下所示： z＝Conv(BN(ReLU(x) )) 其中x为输入的图像， 其中C表示的输出的通道数， S是输入图像的步长， ReLU为其激活函数， BN 为批次归一 化， Conv为卷积核3 *3的卷积操作； 属性图分支： 使用图神经网络 中的经典网络GCN来提取特征； 图中结点通过消息传递机 制来不断地更新和聚合特征； 由于属 性图是图神经网络中小图范畴， 单层 网络层的特征信 息不能很好表示所包含信息， 通过多层图卷积层来充分提取特征信息并利用跳跃网络将前 中后期特 征进行拼接形成最终图特 征； 其计算公式如下 所示：权　利　要　求　书 1/3 页 2 CN 115439722 A 2其中 为结点在第l层的特征， σ 为非线性变换， cij为归一化因子， Ni为结点i的所有邻 居包括结点自身， w(l)为第l层的权 重， b(l)为第l层的截距。 4.根据权利要求1所述的基于图像和属性图融合网络的三维CAD模型检索方法， 其特征 在于： 所述的M HA的计算方式如下 所示： headi反映了第i个视图与属性图之间的联系， headi由softmax函数实现； 其中， Qi＝ QWiQ， Ki＝KWiK， Vi＝VWiV； W为权重参数矩阵， Q表示属性图特征， K和V都表示为视图特征； dmodel表示为模型特征维度； ξ为归一化函数， 在实验中由sigmoid函数实现， 最 终输出的指导分数P1在0‑1之间。 5.根据权利要求1所述的基于图像和属性图融合网络的三维CAD模型检索方法， 其特征 在于： 所述的根据注意力分数来对 特征进行加强， 具体为： 用指导分数F(Q,K,V)通过残差连 接来增强特 征： fi′＝fi*(1+F(Q,K,V) ) 其中fi*F(Q,K,V)是通过指 导分数来细化特征， 然后添加到原始 特征fi以生成增强特征 fi′； 增强图特 征fi′中包含视图信息 。 6.根据权利要求1所述的基于图像和属性图融合网络的三维CAD模型检索方法， 其特征 在于： 所述的将两个模态的特征信息进行融合来形成最终的模型特征表示； 具体使用多层 感知机来实现两个模态的融合； 其计算方式如下 所示： ffinal＝MLP(Co ncat(fg,fv)) 其中MLP为多层 感知机， 由两个全连接层组成； fg为属性图特征， fv为视图特征， ffinal为 三维CAD模型的最终特 征。 7.根据权利要求1所述的基于图像和属性图融合网络的三维CAD模型检索方法， 其特征 在于： 所述的网络模型训练采用Adam优化算法来调整参数， 学习率为1e ‑4， 权重衰减为1e ‑ 3， 一阶指数衰减率 为0.9， 二阶指数衰减率 为0.999， 总共训练20 0轮。 8.根据权利要求1所述的基于图像和属性图融合网络的三维CAD模型检索方法， 其特征 在于： 所述的VGNet网络模型 预测结果评估， 具体操作如下： 采用的评价指标有精确率， 召回率， F1分数以及mAP； 在介绍 评价指标之前， 先阐述相关 概念： ·TP： 被模型 预测为正类的正样本 ·TN： 被模型 预测为负类的负 样本 ·FP： 被模型 预测为正类的负 样本 ·FN： 被模型 预测为负类的正样本 准确率： 预测正确的结果占总样本的占比， 公式如下权　利　要　求　书 2/3 页 3 CN 115439722 A 3