(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111680037.X (22)申请日 2021.12.31 (71)申请人 北京瑞莱智慧科技有限公司 地址 100084 北京市海淀区清华科技园科 技大厦A座19层 (72)发明人 不公告发明人 　 (74)专利代理 机构 北京中强智尚知识产权代理 有限公司 1 1448 专利代理师 贾依娇 (51)Int.Cl. G06N 20/10(2019.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 核函数近似模型的训练方法、 装置、 电子模 型及存储介质 (57)摘要 本申请实施例涉及机器学习技术领域， 并提 供了一种核函数近似模型的训练方法、 装置、 电 子模型及存储介质， 该方法包括： 构建核函数近 似模型， 核函数近似模型包括多个深度神经网络 以及分别对应的特征值， 各深度神经网络与对应 的特征值分别表征目标核函数的一个特征； 多个 深度神经网络的初始参数及对应的特征值各不 相同， 且各深度神经网络包含约束层； 根据目标 核函数和训练数据集， 分别确定各深度神经网络 的损失函数； 基于训练数据集， 根据损失函数的 计算结果更新各深度神经网络的参数和对应的 特征值， 得到目标核函数近似模型。 本申请极大 程度上加速了人工智能中核方法相关算法的速 度， 实现了 更高效、 可靠的核近似方法， 可以作为 多种任务的特 征提取器 。 权利要求书2页 说明书13页 附图4页 CN 114444727 A 2022.05.06 CN 114444727 A 1.一种核函数近似 模型的训练方法， 其特 征在于， 包括： 构建核函数近似模型， 所述核函数近似模型包括多个深度神经网络以及 分别对应的特 征值， 各深度神经网络与对应的特征值分别表征所述 目标核函数 的一个特征； 所述多个深 度神经网络的初始参数及对应的特征值各不相同， 且各所述深度神经网络包含约束层， 以 使所述核函数近似 模型满足近似目标核函数的约束条件； 根据所述目标核函数和训练数据集， 分别确定各 所述深度神经网络的损失函数； 基于所述训练数据集， 确定所述各深度神经网络的损 失函数的结果， 并根据得到的结 果更新所述各深度神经网络的参数和对应的特 征值， 得到目标核函数近似 模型。 2.根据权利要求1所述的方法， 其特征在于， 各所述深度神经网络的约束层 设置在各所 述深度神经网络的最后一层， 作为各深度神经网络的输出层； 在各所述深度神经网络的约束层中设置有约束因子， 用于对各所述深度神经网络的输 出进行约束， 其中， 所述约束因子是根据采样规模和所述约束层的前一层的输出确定的。 3.根据权利要求1所述的方法， 其特征在于， 所述根据所述目标核函数和训练数据集， 分别确定所述各深度神经网络的损失函数， 包括： 根据所述目标函数和训练数据集， 确定目标核函数的评估矩阵； 将所述评估矩阵代入各所述深度神经网络的损失函数表达 式， 以确定各所述深度神经 网络的损失函数， 其中， 各深度神经网络的损失函数表达式是在不同约束 条件下， 根据目标 核函数的广义瑞利商与各 所述深度神经网络的惩罚系数的差确定的。 4.根据权利要求1所述的方法， 其特征在于， 所述基于所述训练数据集， 确定所述各深 度神经网络的损失函数的结果， 并根据得到的结果更新所述各深度神经网络的参数和对应 的特征值， 包括： 从所述训练数据集中随机 选取目标训练数据； 将所述目标训练数据输入所述核函数近似模型中， 使各所述深度神经网络向前传播， 以确定各 所述深度神经网络的广义瑞利商； 根据确定的各所述深度神经网络的广义瑞利商， 更新各所述深度神经网络对应的特征 值； 根据所述目标训练数据， 求 解各所述深度神经网络的损失函数的导数值； 根据所述 导数值对各 所述深度神经网络的模型参数进行 更新。 5.根据权利要求1所述的方法， 其特征在于， 所述目标核函数为MLP ‑GP核函数； 各所述 深度神经网络具有第一指定结构， 所述第一指定结构包括指定层数和第一指定 宽度； 在得到所述目标核函数近似 模型之后， 所述方法还 包括： 采用得到的目标核函数近似 模型， 对第一测试 数据集进行 无监督特征提取； 根据特征提取结果， 将所述第一测试数据集投影到多维空间， 以对所述第一测试数据 集进行分类或聚类。 6.根据权利要求1所述的方法， 其特征在于， 所述目标核函数为CNN ‑GP核函数； 各所述 深度神经网络具有第二指定结构； 在得到所述目标核函数近似 模型之后， 所述方法还 包括： 采用得到的目标核函数近似模型， 对第 二测试数据集进行无监督提取判别性图像特征 提取；权　利　要　求　书 1/2 页 2 CN 114444727 A 2根据特征提取结果， 将所述第二测试数据集投影到多维空间， 以对所述第二测试数据 集进行分类或聚类。 7.根据权利要求1所述的方法， 其特征在于， 所述目标核函数为NTKs核函数； 各所述深 度神经网络具有第三指定结构； 在得到所述目标核函数近似 模型之后， 所述方法还 包括： 采用得到的目标核函数近似 模型， 对第三测试 数据集进行 特征提取； 根据特征提取结果， 近似所述目标核函数在所述第三测试 数据集上的评估结果。 8.一种核函数近似 模型的训练装置， 其特 征在于， 包括： 构建单元， 用于构建核函数近似模型， 所述核函数近似模型包括多个深度神经网络以 及分别对应的特征值， 各深度神经网络与对应的特征值分别表征所述目标核函数的一个特 征， 所述多个深度神经网络的初始参数及对应的特征值各不相同， 且各所述深度神经网络 包含约束层， 以使所述核函数近似 模型满足近似目标核函数的约束条件； 赋值单元， 用于根据所述目标函数和训练数据集， 分别确定所述各深度神经网络的损 失函数； 训练单元， 用于基于所述训练数据集， 确定所述各深度神经网络的损失函数的结果， 并 根据得到的结果更新所述各深度神经网络的参数和对应的特征值， 得到最终的核函数近似 模型。 9.一种计算机可读存 储介质， 其上存 储有计算机可读程序， 其特 征在于， 所述计算机可读程序被处 理器执行时实现如权利要求1～7中任一项所述的方法。 10.一种电子设备， 包括： 处理器； 以及 被安排成存储计算机可执行指令的存储器， 所述可执行指令在被执行时使所述处理器 执行所述权利要求1～7 所述方法。权　利　要　求　书 2/2 页 3 CN 114444727 A 3