(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211237680.X (22)申请日 2022.10.11 (71)申请人 浪潮电子信息产业股份有限公司 地址 250000 山东省济南市高新区浪潮路 1036号 (72)发明人 李兵兵　阚宏伟　王彦伟　 (74)专利代理 机构 北京集佳知识产权代理有限 公司 11227 专利代理师 周伟 (51)Int.Cl. G06F 40/20(2020.01) G06F 40/30(2020.01) G06K 9/62(2022.01) G06N 3/08(2006.01) (54)发明名称 一种自然语言处理方法、 系统、 设备及存储 介质 (57)摘要 本申请公开了一种自然语言处理方法、 系 统、 设备及存储介质， 应用于机器学习技术领域， 包括： 得到训练完毕的第一自然语言处理模型； 设定用于决定第一自然语言处理模型的模型参 数矩阵中的行、 列是否保留的行、 列稀疏化参数 组并进行训练， 通过预测损失进行当前未被稀 疏 的剩余参数的更新， 通过预测损失和稀疏度损 失， 对各个行、 列稀疏化参数组进行更新； 当总损 失收敛时， 得到训练完成的第二自然语 言处理模 型； 基于第二自然语言处理模型进行硬件部署， 并在部署 完成之后， 将待处理文本输入至第二自 然语言处理模型， 得到自然语言处理结果。 应用 本申请的方案， 可 以有效地实现自然语言处理， 进行软硬件层面的协同优化， 且不会损失精度。 权利要求书3页 说明书14页 附图4页 CN 115329744 A 2022.11.11 CN 115329744 A 1.一种自然语言处 理方法， 其特 征在于， 包括： 建立初始自然语言处 理模型并进行训练， 得到训练完成的第一自然语言处 理模型； 针对所述第一自然语言处理模型的任意1个模型参数矩阵， 设定用于决定所述模型参 数矩阵中的行是否保留的行稀疏化参数组， 以及用于决定所述模型参数矩阵中的列是否保 留的列稀疏化 参数组； 根据各个模型参数矩阵的行稀疏化参数组和列稀疏化参数组， 进行所述第 一自然语言 处理模型的训练， 且在训练的前向传播过程中， 确定出预测损失和稀疏度损失， 在训练的反 向传播过程中， 通过所述预测损失， 对所述第一自然语言处理模型当前未被稀疏的剩余参 数进行更新， 通过所述预测损失和所述稀疏度损失， 对各个所述行稀疏化参数组和各个所 述列稀疏化 参数组进行 更新； 当基于所述预测损失与所述稀疏度损失确定出的总损失收敛时， 得到训练完成的第 二 自然语言处 理模型； 基于所述第二自然语言处理模型进行硬件部署， 并在部署完成之后， 将待处理文本输 入至所述第二自然语言处理模型， 得到由所述第二自然语言处理模型输出的针对所述待处 理文本的自然语言处 理结果。 2.根据权利要求1所述的自然语言处理方法， 其特征在于， 在训练的反向传播过程中， 通过所述预测损失， 对所述第一自然语言处理模型当前未被稀疏的剩余参数进行更新， 包 括： 在训练的反向传播过程中， 以降低所述预测损 失为训练目标， 对所述第一自然语言处 理模型当前 未被稀疏的剩余 参数进行 更新。 3.根据权利要求1所述的自然语言处理方法， 其特征在于， 通过所述预测损失和所述稀 疏度损失， 对各个所述行稀疏化 参数组和各个所述列稀疏化 参数组进行 更新， 包括： 在训练的反向传播过程中， 以降低所述总损 失为训练目标， 对各个所述行稀疏化参数 组和各个所述列稀疏化 参数组进行 更新。 4.根据权利要求1所述的自然语言处理方法， 其特征在于， 所述对各个所述行稀疏化参 数组和各个所述列稀疏化 参数组进行 更新， 包括： 针对任意1个模型参数矩阵的行稀疏化 参数组， 按照 对 所 述 行稀疏化 参数组进行 更新； 针对任意1个模型参数矩阵的列稀疏化 参数组， 按照 对 所 述 列稀疏化 参数组进行 更新； 其中，Sk表示的是当前时刻的行稀疏化参数组， Sk+1表示的是下一时刻的行稀疏化参数 组，lr表示的是稀疏化参数微分计算学习率， Loss表示的是所述总损失， Softlplus 表示的 是Softlplus 函数，Qk表示的是当前时刻的列稀疏化参数组， Qk+1表示的是下一时刻的列稀 疏化参数组，Mk表示的是 所述模型参数矩阵的模型参数掩码， 且权　利　要　求　书 1/3 页 2 CN 115329744 A 2；Mij表示的是 Mk中的第i行第j列的数值， xi表示的是 Sk中的 第i个参数的数值， yj表示的是 Qk中的第j个参数的数值， i和 j均为正整数， 且1≤i≤a， 1≤j ≤b， a和b分别为所述模型参数矩阵的行 数和列数。 5.根据权利要求1所述的自然语言处理方法， 其特征在于， 任意1个行稀疏化参数组以 及任意1个列稀疏化参数组中的各个参数在设定完 毕之后， 未进 行更新之前均为默认值， 以 保留任意所述模型参数矩阵中的每一行和每一列。 6.根据权利要求1所述的自然语言处理方法， 其特征在于， 所述总损失为所述预测损失 与所述稀疏度损失的和。 7.根据权利要求1所述的自然语言处理方法， 其特征在于， 所述总损失=k1*loss1+k2* loss2， 其中， k1和k2均为预设系数， l oss1为所述预测损失， l oss2为所述稀疏度损失。 8.根据权利要求7 所述的自然语言处 理方法， 其特 征在于， 还 包括： 在得到训练完成的第 二自然语言处理模型之后， 当判断出所述预测损失高于第 一阈值 时， 或者所述稀疏度损失高于第二阈值时， 输出提 示信息。 9.根据权利要求8所述的自然语言处 理方法， 其特 征在于， 还 包括： 接收系数调节指令， 并根据所述系数调节指令调整k1和/或k2的取值。 10.根据权利要求1所述的自然语言处理方法， 其特征在于， 将待处理文本输入至所述 第二自然语言处理模型， 得到由所述第二自然语言处理模型输出的针对所述待处理文本的 自然语言处 理结果， 包括： 将待处理文本输入至所述第 二自然语言处理模型， 得到由所述第 二自然语言处理模型 输出的针对所述待处 理文本的语义识别结果。 11.根据权利要求1至10任一项所述的自然语言处理方法， 其特征在于， 所述基于所述 第二自然语言处 理模型进行硬件部署， 包括： 基于所述第 二自然语言处理模型， 确定出各个模型参数矩阵的行稀疏化参数组和列稀 疏化参数组； 针对任意1个模型参数矩阵， 根据所述模型参数矩阵的行稀疏化参数组和列稀疏化参 数组， 提取 出所述模型参数矩阵的非零 参数行与非零 参数列， 得到稀疏后的模型参数矩阵； 基于各个稀疏后的模型参数矩阵进行硬件部署。 12.根据权利要求11所述的自然语言处理方法， 其特征在于， 所述基于各个稀疏后的模 型参数矩阵进行硬件部署， 包括： 基于各个稀疏后的模型参数矩阵进行硬件部署， 且在部署时， 以保持维度不变性为原 则， 在相应的模型参数矩阵的计算结果中补0 。 13.一种自然语言处 理系统， 其特 征在于， 包括： 第一自然语言处理模型确定模块， 用于建立初始自然语言处理模型并进行训练， 得到 训练完成的第一自然语言处 理模型； 稀疏化设定模块， 用于针对所述第 一自然语言处理模型的任意1个模型参数矩阵， 设定 用于决定所述模型参数矩阵中的行是否保留的行稀疏化参数组， 以及用于决定所述模型参 数矩阵中的列是否保留的列稀疏化 参数组；权　利　要　求　书 2/3 页 3 CN 115329744 A 3