(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210340908.1 (22)申请日 2022.04.07 (71)申请人 北京中科深智科技有限公司 地址 100000 北京市大兴区北京经济技 术 开发区永昌中路4号院4号楼3层311A 室 (72)发明人 宫明　 (51)Int.Cl. G06Q 30/06(2012.01) G06F 16/23(2019.01) G06F 16/906(2019.01) G06F 16/9035(2019.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于轻量微调的生成个性化商品描述 的生成模型 (57)摘要 本发明公开了一种基于轻量微调的生成个 性化商品描述的生成模型， 包括： 使用商品属性 的结构化数据对基于Tran sformer的解码器的预 训练模型进行训练； 对各类别商品数据进行轻量 微调； 采用前缀微调的方法， 在预训练模型的前 部前置一个前置模块， 进行微调的过程中只更新 前缀模块的参数， 保存不同类别的商品的前缀模 块的参数矩阵， 不需要更改预训练模 型的参数矩 阵； 针对对应的类别商品， 加载其前缀模块的参 数， 将前缀模块的参数和预训练模 型的参数进行 拼接， 进行商品描述的生成。 本发明在针对具体 类别的商品生成商品描述时， 采用前缀微调的方 式， 避免使用传统的微调方法要更新所有参数的 缺点， 且减少了对 存储资源的消耗。 权利要求书2页 说明书6页 附图2页 CN 114862493 A 2022.08.05 CN 114862493 A 1.一种基于轻量微调的生成个性化商品描述的生成模型， 其特征在于， 使用商品属性 的结构化数据对基于Transformer的解码器的预训练模型进行训练； 对各类别商品数据进 行轻量微调； 采用前缀微调的方法， 在预训练模型的前部前置一个前缀模块， 进 行微调的过 程中只更新前缀模块的参数， 保存不同类别的商品的前缀模块的参数矩阵， 不需要更改预 训练模型的参数矩阵； 针对对应类别商品， 加载其前缀模块的参数， 将前缀模块的参数和预 训练模型的参数进行拼接， 进行商品描述的生成。 2.根据权利要求1所述的一种基于轻量微调的生成个性化商品描述的生成模型， 其特 征在于， 预训练模型架构使用是从左到右的Transformer的解码器模块， 一共有12层； 训练 数据为电商行业各个领域的商品属性的结构化表示。 3.根据权利要求2所述的一种基于轻量微调的生成个性化商品描述的生成模型， 其特 征在于， 将描述商品的键值对处理后的数据表 示成x， 将商品描述表 示成y； 用z＝[x； y]表 示 x和y的拼接成的一句话， 作为输入； 预训练模 型表示为pφ(y|x)， 其中φ是整个模 型的参数； 对输入句子中的每 个词进行词嵌入表征后， 输入到预训练模型。 4.根据权利要求3所述的一种基于轻量微调的生成个性化商品描述的生成模型， 其特 征在于， 对于每个词， 在模型的每层都有一个向量化的表示； 第n ‑1层的输出， 会作为第n层 的输入； 对于第i个字， 第n层的向量化表示为 并且， 当前位置的词的向量表示是由当 前字的词嵌入以及其左侧词的向量 化来共同影响， 公式为： 其中， h<i表示索引位于第i位左侧的词的向量化表示； zi表示索引为第i位的词； hi表示 第i个索引位置的字的向量 化表示； φ是整个模型的参数， LM代 表模型。 5.根据权利要求4所述的一种基于轻量微调的生成个性化商品描述的生成模型， 其特 征在于， 第i个词的最后一层的向量表示hi用来计算下一个生成词的概 率分布： 其中Wφ是模型的参数矩阵， 通过将第i个词的最后一层的向量表示 和他相乘， 就将第 i个词的向量 化表示映射到整个单词表上。 6.根据权利要求5所述的一种基于轻量微调的生成个性化商品描述的生成模型， 其特 征在于， 模型的目标函数为 最小化负对数似然损失函数： 其中， logpφ(y|x)表示给定输入x生成y的概率分布再取对数； 等号右边 的对数i∈Yidx 表示当前词的位置i在要生成 的商品描述Y的索引范 围内； logpφ(zi|h<i)表示给定i ‑1个词 的向量表示 生成第i个词的概 率分布的对数。 7.根据权利要求6所述的一种基于轻量微调的生成个性化商品描述的生成模型， 其特 征在于， 对于轻量微调模 型的数据输入， 由三部 分组成， 前缀输入p， 描述商品的键值对处理 后的数据x和商品描述y； 将他们 拼接在一起z＝[p； x； y]； 对输入句子中的每个词进行词嵌 入表征后， 输入到轻量 微调模型； 轻量微调模型的训练损失函数为：权　利　要　求　书 1/2 页 2 CN 114862493 A 2其中 其中， Pθ是前缀模块的参数矩阵， θ 是前缀模 块的训练参数， φ是预训练模型的参数， i∈ Pidx表示当前词在前缀模块的词的索引范围内。权　利　要　求　书 2/2 页 3 CN 114862493 A 3