(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111664630.5 (22)申请日 2021.12.31 (71)申请人 湖南国科微电子股份有限公司 地址 410131 湖南省长 沙市长沙经济技 术 开发区泉塘街道东十路南段9号 (72)发明人 胡建兵　袁涛　 (74)专利代理 机构 北京超凡宏宇专利代理事务 所(特殊普通 合伙) 11463 代理人 王新哲 (51)Int.Cl. G06N 3/08(2006.01) G06N 3/04(2006.01) (54)发明名称 量化定点模型的训练方法、 装置及电子设备 (57)摘要 本申请实施例提供了一种量化定点模型的 训练方法、 装置及电子设备， 其中方法包括： 获取 标准浮点训练数据和标准定点训练数据； 根据深 度学习浮点模型、 初始深度学习定点模型、 标准 浮点训练数据、 标准定点训练数据、 预设构造函 数、 预设相似度计算函数确定与 深度学习浮点模 型对应的量化定点模型。 这样， 可 以通过预设构 造函数、 预设相似度计算函数获取与深度学习浮 点模型匹配的深度学习定点模型， 能快速实现深 度学习浮点模 型量化为深度学习定点模型， 提高 量化的精度。 权利要求书4页 说明书9页 附图2页 CN 114330710 A 2022.04.12 CN 114330710 A 1.一种量 化定点模型的训练方法， 其特 征在于， 所述方法包括： 获取标准浮点训练数据和标准定点训练数据； 通过深度 学习浮点模型对所述标准浮点训练数据进行训练， 得到所述深度学习浮点模 型各隐藏层的第一浮点输出数据， 获取各隐藏层的第一浮点输出数据对应的第一波动表征 数据； 通过初始深度 学习定点模型对所述标准定点训练数据进行训练， 得到所述初始深度 学 习定点模型各隐藏层的第一定点输出数据， 获取各隐藏层的第一定点输出数据对应的第二 波动表征 数据； 根据各所述第一波动表征数据、 各所述第二波动表征数据， 确定预设构造函数的第一 结果； 根据所述深度 学习浮点模型的各隐藏层的第 一浮点输出数据、 所述初始深度 学习定点 模型的各隐藏层的第一定点输出 数据， 确定预设相似度计算 函数的第二结果； 根据所述第一结果和所述第二结果对所述初始深度学习定点模型的权重参数进行调 整， 得到修 正深度学习定点模型； 根据所述修正深度学习定点模型、 所述第一波动表征数据、 所述标准浮点训练数据和 所述标准定点训练数据确定所述预设构造函数的第三结果和所述预设相似度计算函数的 第四结果； 若所述第一结果与 所述第三结果的第 一变化趋势为降低趋势， 且所述第 二结果与 所述 第四结果的第二变化趋势为降低趋势， 则将所述修正深度学习定点模型确定为所述深度学 习浮点模型对应的量 化定点模型。 2.根据权利要求1所述的方法， 其特征在于， 所述根据所述修正深度学习定点模型、 所 述第一波动表征数据、 所述标准浮点训练数据和所述标准定点训练数据确定所述预设构造 函数的第三结果和所述预设相似度计算 函数的第四结果， 包括： 通过所述修正深度学习定点模型对所述标准定点训练数据进行训练， 得到所述修正深 度学习定点模型各隐藏层的第二定点输出数据， 获取各隐藏层的第二定点输出数据对应的 第三波动表征 数据； 根据各所述第一波动表征数据、 各所述第三波动表征数据， 确定预设构造函数的第三 结果； 根据所述深度学习浮点模型 的各隐藏层的第一浮点输出数据、 所述修正深度学习定 点模型的各隐藏层的第二定点输出 数据， 确定预设相似度计算 函数的第四结果。 3.根据权利要求1所述的方法， 其特征在于， 所述获取标准浮点训练数据和标准定点训 练数据， 包括： 通过高斯函数随机产生初始浮点训练数据， 将所述初始浮点训练数据转换为初始定点 训练数据； 通过深度 学习浮点模型对所述初始浮点训练数据进行训练， 得到所述深度学习浮点模 型各隐藏层的第二浮点输出数据， 获取各隐藏层的第二浮点输出数据对应的第四波动表征 数据； 通过初始深度 学习定点模型对所述初始定点训练数据进行训练， 得到所述初始深度 学 习定点模型各隐藏层的第三定点输出数据， 获取各隐藏层的第三定点输出数据对应的第五 波动表征 数据；权　利　要　求　书 1/4 页 2 CN 114330710 A 2根据各所述第四波动表征数据、 各所述第五波动表征数据， 确定预设构造函数的第五 结果； 根据所述深度学习浮点模型 的各隐藏层对应的第二浮点输出数据、 所述初始深度学 习定点模型的各隐藏层的第三定点输出 数据， 确定预设相似度计算 函数的第六 结果； 通过所述高斯函数随机产生修正浮点训练数据， 将所述修正浮点训练数据转换为修正 定点训练数据； 所述修正浮点训练数据的方差和标准差 分别属于所述第四波动表征数据对 应的方差范围和标准差范围； 通过深度 学习浮点模型对所述修正浮点训练数据进行训练， 得到所述深度学习浮点模 型各隐藏层的第三浮点输出数据， 获取各隐藏层的第三浮点输出数据对应的第六波动表征 数据； 通过初始深度 学习定点模型对所述修正定点训练数据进行训练， 得到所述初始深度 学 习定点模型各隐藏层的第四定点输出数据， 获取各隐藏层的第四定点输出数据对应的第七 波动表征 数据； 根据各所述第六波动表征数据、 各所述第七波动表征数据， 确定预设构造函数的第七 结果； 根据所述深度学习浮点模型 的各隐藏层的第三浮点输出数据、 所述初始深度学习定 点模型的各隐藏层的第四定点输出 数据， 确定预设相似度计算 函数的第八结果； 若所述第五结果与 所述第七结果的第 三变化趋势、 所述第六结果与 所述第八结果的第 四变化趋势 为降低趋势， 则将所述修正浮点训练数据和所述修正定点训练数据分别确定为 标准浮点训练数据和标准定点训练数据。 4.根据权利要求1所述的方法， 其特征在于， 所述第 一波动表征数据包括第 一均值及第 一方差， 所述第二波动表征数据包括第二均值及第二方差， 所述根据各所述第一波动表征 数据、 各所述第二波动表征 数据， 确定预设构造函数的第一结果， 包括： 分别计算各所述第 一均值与 各所述第 二均值的第 一二范数、 各所述第 一均值与各所述 第二均值的第二 二范数； 根据各所述第一 二范数及各所述第二 二范数确定所述第一结果。 5.根据权利要求1所述的方法， 其特征在于， 所述根据所述深度 学习浮点模型的各隐藏 层的第一浮点输出数据、 所述初始深度学习定点模型 的各隐藏层的第一定点输出数据， 确 定预设相似度计算 函数的第二结果， 包括： 计算所述深度 学习浮点模型的各隐藏层的第 一浮点输出数据、 所述初始深度 学习定点 模型的各隐藏层的第一定点输出数据之 间KL散度数据， 计算所述深度学习浮点模型的输出 层的第一浮点输出数据、 所述初始深度学习定点模型的输出层的第一定点输出数据之 间的 余弦距离数据； 根据所述KL散度数据及所述 余弦距离数据确定所述第二结果。 6.一种量 化定点模型的训练装置， 其特 征在于， 所述装置包括： 获取模块， 用于获取 标准浮点训练数据和标准定点训练数据； 第一训练模块， 用于通过深度学习浮点模型对所述标准浮点训练数据进行训练， 得到 所述深度学习浮点模型各隐藏层的第一浮点输出数据， 获取各隐藏层的第一浮点输出数据 对应的第一波动表征 数据； 第二训练模块， 用于通过初始深度学习定点模型对所述标准定点训练数据进行训练， 得到所述初始深度学习定点模型各隐藏层的第一定点输出数据， 获取各隐藏层的第一定点权　利　要　求　书 2/4 页 3 CN 114330710 A 3