(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111679941.9 (22)申请日 2021.12.31 (71)申请人 北京航空航天大 学 地址 100191 北京市海淀区学院路37号 (72)发明人 刘祥龙　秦浩桐　丁一芙　闫青华　 (74)专利代理 机构 北京汲智翼成知识产权代理 事务所(普通 合伙) 11381 代理人 陈曦　刘娟 (51)Int.Cl. G06F 40/205(2020.01) G06F 40/30(2020.01) G06F 16/35(2019.01) G06K 9/62(2022.01) G06N 3/04(2006.01) (54)发明名称 一种面向BERT模型的神经网络二值化量化 方法及量 化装置 (57)摘要 本发明公开了一种面向BERT模型的神经网 络二值化量化方法及量化装置， 用于执行自然语 言处理任务。 在BERT模型的二值化阶段， 输入数 据首先经过二值化嵌入层， 随后被送入转化器模 块； 转化器模块包括多头注意力模块和前馈网 络； 在多头注意力模块中引入基于信息论的双向 注意力机制， 采用具有最大化信息熵的二值化表 示， 使二值化模型恢复对输入数据的感知； 在确 定BERT模型的优化方向时， 首先通过重新选择提 取参数来提供匹配的优化方向， 然后构建相似性 矩阵来消除尺度差异和数值不稳定性。 利用本发 明， 可以满足自然语言处理任务中， 既保留BERT 模型的全精度又 降低存储消耗和计算量的实际 需求。 权利要求书2页 说明书8页 附图4页 CN 114282521 A 2022.04.05 CN 114282521 A 1.一种面向BERT模型的神经网络二值化量化方法， 用于执行自然语言处理任务， 其特 征在于包括如下步骤： 在BERT模型的二值化阶段， 输入数据首先经过二值化嵌入层， 随后被送入转化器模块； 所述转化器模块包括多头注意力模块和前馈网络； 在所述多头注意力模块中引入基于信 息论的双向注意力 机制， 采用具有最大化信 息熵 的二值化表示， 使二 值化模型恢复对输入数据的感知； 在确定BERT模型的优化方向时， 首先通过重新选择提取参数来提供匹配的优化方向， 然后构建相似性矩阵来消除尺度差异和数值 不稳定性。 2.如权利要求1所述的神经网络二 值化量化方法， 其特 征在于： 所述输入数据为自然语言处理任务中的句子序号和句子 内容， 相应的输出数据为句子 情感类型。 3.如权利要求1所述的神经网络二 值化量化方法， 其特 征在于： 在所述双向注意力机制中， 使用bool函数对注意力分数进行二值化， 其中注意权重中 值较低的元 素被二值化为0。 4.如权利要求3所述的神经网络二值化量化方法， 其特征在于所述双向注意力机制通 过如下公式实现： 其中， BA是二值化的注意权重， BV是二值化值sign(V)， 是一个Bitwise ‑Affine矩阵乘 法运算器， 由 和位移组成。 5.如权利要求1所述的神经网络二值化量化方法， 其特征在于所述提取参数为查询Q， 钥匙K和值V； 其中， Q＝bi‑linearQ(H)， K＝bi ‑linearK(H)， V＝bi ‑linearV(H)； bi‑linearQ， bi‑linearK， bi‑linearV分别代表三个不同的二 值化线性层。 6.如权利要求5所述的神经网络二 值化量化方法， 其特 征在于 在所述二值化线性层中， 应用零均值的预二值化权重使二值化权重和激活的信 息最大 化。 7.如权利要求1所述的神经网络二 值化量化方法， 其特 征在于： 将注意力分数ATl、 多头注意力模块的输出MTl和隐藏状态HTl以分层的方式从全精度的 教师网络中提取 出来， 然后转移到二 值化的学生网络中。 8.如权利要求7 所述的神经网络二 值化量化方法， 其特 征在于： 使用均方误差作为损失函数来衡量所述学生网络和所述教师网络在相应特征上的差 异， 然后通过最小化教师逻辑 值和学生逻辑 值之间的软交叉熵来预测层提取损失。 9.一种面向BERT模型的神经网络二值化量化装置， 用于执行自然语言处理任务， 其特 征在于包括处理器和存储器， 所述处理器读取所述存储器中的计算机程序， 用于执行以下 操作： 在BERT模型的二值化阶段， 输入数据首先经过二值化嵌入层， 随后被送入转化器模块； 所述转化器模块包括多头注意力模块和前馈网络； 在所述多头注意力模块中引入基于信 息论的双向注意力 机制， 采用具有最大化信 息熵权　利　要　求　书 1/2 页 2 CN 114282521 A 2的二值化表示， 使二 值化模型恢复对输入数据的感知； 在确定BERT模型的优化方向时， 首先通过重新选择提取参数来提供匹配的优化方向， 然后构建相似性矩阵来消除尺度差异和数值 不稳定性。 10.如权利要求9所述的神经网络二 值化量化装置， 其特 征在于： 所述输入数据为自然语言处理任务中的句子序号和句子 内容， 相应的输出数据为句子 情感类型。权　利　要　求　书 2/2 页 3 CN 114282521 A 3