(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210553968.1 (22)申请日 2022.05.20 (71)申请人 上海亭章 通信技术有限公司 地址 201800 上海市嘉定区菊园新区环城 路2222号嘉乐园商务大厦东南2门860 米 (72)发明人 宁琴　 (51)Int.Cl. G06F 9/451(2018.01) G06F 40/284(2020.01) G06F 40/289(2020.01) G06T 3/00(2006.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06F 11/36(2006.01) (54)发明名称 基于用户界面的控制方法、 系统和电子设备 (57)摘要 本申请涉及用户界面控制的领域， 其具体地 公开了一种基于用户界面的控制方法、 系统和电 子设备， 其通过包含嵌入层的转换器模型来从产 品描述中得到与所述产品描述对应的特征向量 的序列， 然后通过条件随机场对 所述特征向量的 序列进行标注， 以得到每个所述特征向量的标签 类别， 进一步再通过密集预测模型架构， 以对由 所述转换器生成的所述特征向量的集合进行重 组和融合， 并将其输入生 成器模型中以生成所需 的用户界面。 这样， 可以更加准确地根据所述产 品描述来进行技术参数的配置， 从而提高产品的 合格率。 权利要求书3页 说明书10页 附图4页 CN 114840296 A 2022.08.02 CN 114840296 A 1.一种基于用户界面的控制方法， 其特 征在于， 包括： 获取待测试产品的产品描述； 对所述产品描述进行分词并将分词后的每一个词输入包含嵌入层的转换器模型以获 得与所述产品描述对应的词特 征向量的序列； 通过条件随机场对所述词特征向量的序列中的每个词特征向量进行标注以获得每个 所述词特 征向量对应的标签 类别， 其中， 所述标签 类别为功能组件； 将各个所述标签类别通过编码器以获得与各个所述标签类别对应的一个或多个特征 向量； 将与各个所述标签类别对应的一个或多个特征向量进行二维拼接以获得第一特征矩 阵至第n特征矩阵， n为类别标签的数量， 其中， 第一特征矩阵至第n特征矩阵中各个特征矩 阵中的特征值用于表 示功能组件的功能特征， 各个特征矩阵的尺度用于表示功能组件在用 户界面中的重要程度； 将所述第一特 征矩阵至所述第n特 征矩阵进行三维拼接为特 征图； 将所述特 征图投影到二维平面上以获得投影矩阵； 以及 将所述投影矩阵输入基于卷积神经网络的生成器模型以生成与所述待测试产品相适 配的用户界面， 其中， 所述生成器模型的基于密集预测模型架构， 所述生成器模 型的各层对 使用不同卷积核 进行卷积运算得到的特 征图进行拼接和上采样。 2.根据权利要求1所述的基于用户界面的控制方法， 其中， 对所述产品描述进行分词并 将分词后的每一个词输入包含嵌入层的转换器模型以获得与所述产品描述对应的词 特征 向量的序列， 包括： 对所述产品描述分词处 理以获得多个词； 将所述多个词中的每一个词输入所述转换器模型的嵌入层以将所述每一个词转化为 词输入向量以获得词输入向量的序列； 将所述词输入向量的序列输入所述转换器模型的转换器以获得所述词特征向量的序 列， 其中， 所述词 特征向量的序列中的每个词特征向量包括所述产品描述中所有词的全局 关联特征。 3.根据权利要求2所述的基于用户界面的控制方法， 其中， 将各个所述标签类别通过编 码器以获得与各个所述标签 类别对应的一个或多个特 征向量， 包括： 对所述各个所述标签类别进行独热编码以获得各个所述标签类别对应的类别编码向 量； 将各个所述类别标签对应的类别编码向量通过所述编码器以获得与各个所述标签类 别对应的一个或多个特 征向量。 4.根据权利要求3所述的基于用户界面的控制方法， 其中， 将各个所述类别标签对应的 类别编码向量通过所述编 码器以获得与各个所述标签类别对应的一个或多个特征向量， 包 括： 使用所述编码器的全连接层提取出所述类别编码向量中各个位置的特征值的高维隐 含特征； 以及 使用所述编码器的一维卷积层提取出所述类别编码向量中各个位置的特征值之间的 关联的高维关联隐含特 征， 以获得与各个所述标签 类别对应的一个或多个特 征向量。权　利　要　求　书 1/3 页 2 CN 114840296 A 25.根据权利要求4所述的基于用户界面的控制方法， 其中， 将所述第 一特征矩阵至所述 第n特征矩阵进行三维拼接为特 征图， 包括： 对所述第一特征矩阵至所述第 n特征矩阵中的每一个特征矩阵进行线性变换以将所述 第一特征矩阵至所述第n特 征矩阵转 化为具有相同尺度； 以及 将具有相同尺度的所述第一特 征矩阵至所述第n特 征矩阵拼接为所述特 征图。 6.根据权利要求5所述的基于用户界面的控制方法， 其中， 将所述特征图投影到二维平 面上以获得投影矩阵， 包括： 计算所述特 征图沿通道维度的各个位置的特 征向量的均值以获得 所述投影矩阵。 7.根据权利要求6所述的基于用户界面的控制方法， 其中， 所述生成器模型为由卷积 层、 上采样层和激活层交替的卷积神经网络； 其中， 将所述投影矩阵输入用于 融合的基于卷积神经网络的生成器模型以生成与 所述 待测试产品相适配的用户界面， 包括： 使用所述 生成器模型的卷积层对所述投影矩阵进行 卷积处理以获得 卷积特征图； 使用所述生成器模型的与所述卷积层连接的上采样层对所述卷积特征图进行上采样 以获得上采样特 征图； 以及 使用所述生成器模型的与所述上采样层连接的激活层对所述上采样特征图进行激活 以生成激活特 征图并输出至所述 生成器模型的下一层的所述卷积层。 8.根据权利要求7所述的基于用户界面的控制方法， 其中， 在所述生成器模型中， 不同 层的所述卷积层使用不同的卷积核 进行卷积运算。 9.一种基于用户界面的控制系统， 其特 征在于， 包括： 产品描述获取 单元， 用于获取待测试产品的产品描述； 词特征向量生成单元， 用于对所述产品描述获取单元获得的所述产品描述进行分词并 将分词后的每一个词输入包含嵌入层的转换器模型以获得与所述产品描述对应的词 特征 向量的序列； 标签类别生成单元， 用于通过条件随机场对所述词特征向量生成单元获得的所述词特 征向量的序列中的每个词特征向量进 行标注以获得每个所述词特征向量对应的标签类别， 其中， 所述标签 类别为功能组件； 编码单元， 用于将各个所述标签类别生成单元获得的所述标签类别通过编码器以获得 与各个所述标签 类别对应的一个或多个特 征向量； 二维拼接单元， 用于将所述编码单元获得的所述与各个所述标签类别对应的一个或多 个特征向量进 行二维拼接以获得第一特征矩阵至第n特征矩阵， n为类别标签的数量， 其中， 第一特征矩阵至第n特征矩阵中各个特征矩阵中的特征值用于表示功 能组件的功能特征， 各个特征矩阵的尺度用于表示功能组件在用户界面中的重要程度； 三维拼接单元， 用于将所述二维拼接单元获得的所述第一特征矩阵至所述第n特征矩 阵进行三维拼接为特 征图； 投影单元， 用于将所述三维拼接单元获得的所述特征图投影到二维平面上以获得投影 矩阵； 以及 结果生成单元， 用于将所述投影单元获得的所述投影矩阵输入基于卷积神经网络的生 成器模型以生成与所述待测试产品相适配的用户界面， 其中， 所述生成器模型 的基于密集权　利　要　求　书 2/3 页 3 CN 114840296 A 3