(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211299256.8 (22)申请日 2022.10.24 (71)申请人 浪潮电子信息产业股份有限公司 地址 250101 山东省济南市高新区浪潮路 1036号 (72)发明人 胡克坤　董刚　赵雅倩　李仁刚　 (74)专利代理 机构 北京集佳知识产权代理有限 公司 11227 专利代理师 任洁芳 (51)Int.Cl. G06F 16/174(2019.01) G06F 9/50(2006.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种图神经网络压缩方法、 装置、 电子设备 及存储介质 (57)摘要 本发明提供一种图神经网络压缩方法、 装 置、 电子设备及存储介质， 涉及神经网络领域， 方 法包括： 获取已训练的 图神经网络及其训练时所 使用的图数据； 确定图数据中所有图顶点对应的 度数分布范围， 并将度数分布范围划分为多个度 数区间； 在预设资源限制条件的约束下， 利用强 化学习及硬件加速器确定各度数区间对应的最 优区间量化位宽以及图神经网络对应的最优网 络量化位宽； 利用最优区间量化位宽对图数据中 对应度数的图顶点的顶点特征进行量化压缩， 并 利用最优网络量化位宽对图神经网络进行量化 压缩， 得到最优量化图数据和最优量化图神经网 络； 利用强化学习为图神经网络和图顶点特征确 定最优量化位宽， 确保量化图神经网络具有高精 度及较低资源消耗 率。 权利要求书5页 说明书26页 附图3页 CN 115357554 A 2022.11.18 CN 115357554 A 1.一种图神经网络 压缩方法， 其特 征在于， 包括： 获取已训练的图神经网络及其训练时所使用的图数据； 确定所述图数据中所有图顶点对应的度数分布范围， 并将所述度 数分布范围划分为多 个度数区间； 在预设资源限制条件的约束下， 利用强化学习及硬件加速器确定各所述度数区间对应 的最优区间量 化位宽以及所述图神经网络对应的最优网络量 化位宽； 利用所述最优区间量化位宽对所述图数据中对应度数的图顶点的顶点特征进行量化 压缩， 以及利用所述最优网络量化位宽对所述图神经网络进行量化压缩， 得到最优量化图 数据和最优量 化图神经网络 。 2.根据权利要求1所述的图神经网络压缩方法， 其特征在于， 所述确定所述图数据中所 有图顶点对应的度数分布范围， 并将所述度数分布范围划分为多个度数区间， 包括： 将所述图数据中的所有图顶点按度数从小到大排列， 得到图顶点序列； 利用所述图顶点序列对所述度数分布范围进行划分， 得到多个所述度数区间； 各所述 度数区间包 含的图顶点数量相同或差值小于预设阈值。 3.根据权利要求1所述的图神经网络压缩方法， 其特征在于， 在得到最优量化图数据和 最优量化图神经网络之后， 还 包括： 利用所述最优量化图数据对所述最优量化图神经网络进行训练， 得到微调量化图神经 网络， 以将所述 微调量化图神经网络 部署至对外服 务设备中。 4.根据权利要求1所述的图神经网络压缩方法， 其特征在于， 所述硬件加速器的时序 结 构为可重构位串行矩阵乘法叠加， 空间结构为BitFusi on架构。 5.根据权利要求1至4任一项所述的图神经网络压缩方法， 其特征在于， 所述在预设资 源限制条件的约束下， 利用强化学习及硬件加速器确定各所述度数区间对应的最优区间量 化位宽以及所述图神经网络对应的最优网络量 化位宽， 包括： 获取所述图神经网络执行指定任务对应的基准准确度， 并初始化所述强化学习所使用 的智能体以及历史奖励值； 所述智能体包括演员模块和评论家模块； 将策略次数设置为1， 并初始化动作序列以及历史状态向量； 所述动作序列用于保存各 所述度数区间对应的区间量化位宽以及所述图神经网络对应的网络量化位宽； 状态向量用 于记录量化图神经网络在处理量化图数据时对应的内存占用量、 计算量以及在执行所述指 定任务时对应的准确度； 将时间步设置为1， 并在所述预设资源限制条件的约束下， 利用所述演员模块确定连续 动作， 利用所述连续动作对所述动作序列进行数值更新， 并在更新后确定所述动作序列对 应的内存占用量及计算 量； 利用所述动作序列对所述图数据中的顶点特征和所述图神经网络进行量化压缩， 并将 得到的量化图数据和量化图神经网络发送至所述硬件加速器， 以使所述硬件加速器利用所 述量化图数据对所述量化图神经网络进行训练， 并确定训练后的所述量化图神经网络执行 所述指定任务对应的当前准确度； 利用所述动作序列对应的内存占用量、 计算量和所述准确度确定当前状态向量， 以及 利用所述基准 准确度和所述当前准确度确定奖励值； 在确定所述奖励值大于所述历史奖励值时， 利用所述奖励值更新所述历史奖励值， 并权　利　要　求　书 1/5 页 2 CN 115357554 A 2利用所述更新后的动作序列对所述 最优区间量 化位宽及所述 最优网络量 化位宽进行 更新； 利用所述历史状态向量、 所述连续动作、 所述奖励值和所述当前状态向量生成转换数 据， 并利用所述转换数据对所述演员模块和所述评论家模块进行训练， 以使所述评论家模 块对所述演员模块在进行 所述数值更新时所使用的策略进行 更新； 当确定所述 时间步未达到所述动作序列的长度时， 对所述时间步加1， 利用所述当前状 态向量更新所述历史状态向量， 并进入所述在所述预设资源限制条件的约束下， 利用所述 演员模块确定连续动作的步骤； 当确定所述 时间步达到所述动作序列的长度且所述策略次数未达到预设值 时， 对所述 策略次数加1， 并进入所述初始化动作序列以及历史状态向量的步骤； 当确定所述策略次数达到所述预设值 时， 输出所述最优区间量化位宽及所述最优 网络 量化位宽。 6.根据权利要求5所述的图神经网络压缩方法， 其特征在于， 所述在所述预设资源限制 条件的约束下， 利用所述演员模块确定连续动作， 利用所述连续动作对所述动作序列进行 数值更新， 并在更新后确定所述动作序列对应的内存占用量及计算 量， 包括： 利用所述演员模块根据Behavior策略选择所述连续动作， 并通过如 下方式将所述连续 动作进行离 散化， 得到 离散动作值： ； 其中， 表示第 个时间步的动作序列中的第i个量化位宽对应的连续动作， 表 示与 对应的离散动作值， Q包含多个预设量化位宽值， 表示四舍五入函 数， 和 表示预设的最小量化位宽和最大量化位宽， 函数用于在Q 中选择目 标预设量化位宽值q， 以使 最小； 利用所述动作值对所述动作序列进行数值更新， 确定更新后的所述动作序列对应的内 存占用量、 计算量及延迟量， 并判断所述内存占用量、 所述计算量及所述延迟量是否满足所 述预设资源限制条件的限制； 若是， 则进入所述利用所述动作序列对所述图数据中的顶点特征和所述图神经网络进 行量化压缩的步骤； 若否， 则按照预设顺序依次对所述动作序列中的量化位宽进行减少， 以再次更新所述 动作序列， 并在每次减少动作完成时进入所述确定更新后的所述动作序列对应的内存占用 量、 计算量及延迟量的步骤。 7.根据权利要求6所述的图神经网络压缩方法， 其特征在于， 所述利用所述演员模块根 据Behavi or策略选择 所述连续动作， 包括： 利用所述演员模块 根据Behavi or策略以如下 方式选择 连续动作： ， 其中， 表示第 个时间步对应的随机UO噪声， 表示第 个时间步对应的历史状态 向量， 表示所述演员模块中的在线演员网络， 表示在线演员网络参数。 8.根据权利要求6所述的图神经网络压缩方法， 其特征在于， 所述硬件加速器利用所述 量化图数据对所述 量化图神经网络进行训练， 包括：权　利　要　求　书 2/5 页 3 CN 115357554 A 3