(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210766142.3 (22)申请日 2022.06.30 (71)申请人 浙江大学 地址 310058 浙江省杭州市西湖区余杭塘 路866号 (72)发明人 陈柳青　甄焱鲲　李佳智　常艳芳　 周婷婷　孙凌云　 (74)专利代理 机构 杭州天勤知识产权代理有限 公司 33224 专利代理师 胡红娟 (51)Int.Cl. G06F 8/38(2018.01) G06F 16/901(2019.01) G06V 10/80(2022.01) G06V 10/82(2022.01)G06V 10/764(2022.01) G06V 10/25(2022.01) G06V 10/40(2022.01) G06V 10/762(2022.01) G06N 3/04(2006.01) (54)发明名称 一种基于图神经网络的零碎图层检测方法 及装置 (57)摘要 本发明公开了一种基于图神经网络的零碎 图层检测方法， 包括： 步骤1、 根据UI设计稿的图 层信息， 生成树状无向图和图层的初始特征向 量； 步骤2、 将树状无向图与初始特征向量， 输入 至预构建的图神经网络模型中， 获得图层的融合 特征向量； 步骤3、 将融合特征向量与对应的图 层， 输入至多层感知机分类模型中， 经过二分类 处理， 输出图层分类结果； 步骤4、 对分类获得的 零碎图层集合进行聚类， 并对聚类结果进行编组 与合并， 获得高质量的UI设计稿。 本发明还公开 了一种基于上述方法的零碎图层检测装置。 本发 明提供的方法通过将原UI设计稿中的零碎图层 进行分类与聚类， 从而获得高质量的UI设计稿。 权利要求书2页 说明书6页 附图4页 CN 115291864 A 2022.11.04 CN 115291864 A 1.一种基于图神经网络的零碎图层检测方法， 其特 征在于， 包括： 步骤1、 根据UI设计稿的图层信息， 生成用于体现图层包含关系的树状无向图和图层的 初始特征向量； 步骤2、 将步骤1获得的树状无向图与初始特征向量， 输入至预构建的图神经网络模型 中， 获得图层的融合特 征向量； 步骤3、 将步骤2获得的融合特征向量与对应的图层， 输入至多层感知机分类模型中， 经 过二分类处理， 输出图层分类结果， 所述图层分类结果包括零碎图层集合和非零碎图层集 合； 步骤4、 对步骤3分类获得的零碎图层集合进行聚类， 并对聚类结果进行编组与合并， 获 得高质量的UI设计稿。 2.根据权利要求1所述的基于图神经网路的零碎图层检测方法， 其特征在于， 所述UI设 计稿在获取图层信息之前， 进行UI设计稿的预处 理， 包括缩放和裁 剪。 3.根据权利要求1所述的基于图神经网络的零碎图层检测方法， 其特征在于， 所述步骤 1中的图层信息包括图层的类型， 尺寸以及位置信息 。 4.根据权利要求1所述的基于图神经网络的零碎图层检测方法， 其特征在于， 所述步骤 1中的初始特征向量是 由图层信息构建的特征矩阵与视觉特征矩阵拼接而成， 所述视觉特 征矩阵是通过 卷积网络与全连接层对UI设计稿图层进行 特征提取获得。 5.根据权利要求1所述的基于图神经网络的零碎图层检测方法， 其特征在于， 所述图神 经网络模型 是在VGG16模型和GAT模型基础上， 引入了多头注意力机制进行构建。 6.根据权利要求5所述的基于图神经网络的零碎图层检测方法， 其特征在于， 所述多头 注意力机制的具体表达式如下： 式中， 表示向量连接， 表示初始特征向量的参数矩阵， i表示目标节 点， j表示与目标节点相邻的节点， αij表示注意力系数， σ 表示sigmoid激活函数， K表示多头 注意力的数量， 表示i的邻居节点集， 表示节点j的特征向量， 表示节点i的特征向 量。 7.根据权利要求1所述的基于图神经网络的零碎图层检测方法， 其特征在于， 所述步骤 4的聚类是基于两个零碎图层之间的相似度距离与包含关系进行分析， 将相似度距离大于 阈值或/和存在包 含关系的两个零碎图层合并到同一个编组中。 8.根据权利要求1所述的基于图神经网络的零碎图层检测方法， 其特征在于， 所述步骤 4的具体过程： 步骤4.1、 对零碎图层集 合中所有零碎图层进行初始化， 获得对应N*N的邻接矩阵； 步骤4.2、 通过欧氏距离公式计算目标图层与相邻图层 之间邻接矩阵的相似度， 进行判 断： 当相似度大于阈值时， 将相邻图层合并到目标图层所在编组中； 当相似度小于阈值时， 则不执 行合并；权　利　要　求　书 1/2 页 2 CN 115291864 A 2步骤4.3、 将已合并的图层从未合并 的图层集合中 除去， 更换目标图层重 复步骤4.2， 直 至剩余零碎图之间的相似度均小于阈值； 步骤4.4、 基于步骤4.3剩余零碎图层的包含关系进行聚类， 根据树状无向图中的图层 包含关系进行判断， 若相邻图层位于目标图层的树状子节点中， 则将相邻图层合并到目标 图层所在编组中； 步骤4.5、 将已合并的图层从未合并 的图层集合中 除去， 更换目标图层重 复步骤4.4， 直 至所有零碎图层被合并到相应的编组中， 结束操作。 9.一种零碎图层检测装置， 包括计算机存储器、 计算机处理器以及存储在所述计算机 存储器中并可在所述计算机处理器上执行 的计算机程序， 其特征在于， 所述计算机存储器 中采用权利要求1 ‑8任一项所述的基于图神经网络的零碎图层检测方法； 所述计算机处理 器执行所述计算机程序时实现以下步骤： 输入待检测的UI设计稿， 通过零碎图层检测方法 对UI设计稿的图层进行分类与聚类， 输出高质量的UI设计稿。权　利　要　求　书 2/2 页 3 CN 115291864 A 3