(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111291000.8 (22)申请日 2021.11.03 (71)申请人 中国矿业大 学 地址 221000 江苏省徐州市大 学路1号中国 矿业大学南湖校区 (72)发明人 褚菲　曹义湾　梁涛　陈俊龙　 王雪松　程玉虎　马小平　 (74)专利代理 机构 徐州市三联专利事务所 32220 代理人 张斌 (51)Int.Cl. G06K 9/62(2022.01) G06N 7/00(2006.01) G06N 20/00(2019.01) (54)发明名称 一种极大极小概率回归的正则化宽度学习 系统 (57)摘要 本发明公开了一种极大极小概率回归的正 则化宽度学习系统， 属于人工智 能技术领域。 本 发明包括： 获得训练数据， 并通过特征映射和增 强映射获得原始数据的高维特征， 基于特征数据 的均值和协方差信息得到预测精度满足误差要 求的概率下限。 在不存在随机误差分布假设的情 况下， 通过最大化所得到的概率下界来计算最终 的输出权重。 然后通过在损失函数中加入弹性网 正则化来对输 出权重进行进 一步的约束， 将l1范 数和l2范数集成到一个统一的框架中。 本发明 改 善了分布假设对所建立的宽度学习系统模型的 泛化和有效性产生影响的问题， 并且增强输出权 值的稀疏性， 控制模型的复杂性， 提高了模型的 泛化性和鲁棒 性。 权利要求书5页 说明书12页 附图1页 CN 114021641 A 2022.02.08 CN 114021641 A 1.一种极大极小概 率回归的正则化宽度学习 系统， 其特 征在于： 包括以下步骤： 步骤1： 获得训练输入数据X＝[x1,x2,…,xN]T∈RN*M和训练输出 数据Y＝[y1,y2,…,yN]T∈RN*C， 测试输入数据Xt＝[x1,x2,…,xQ]T∈RQ*M， 测试输出 数据Yt＝[y1,y2,…,yN]T∈RQ*C； 其中， N为训练数据样本个数； Q为测试数据样本个数； M为输入数据的维数； C为输出数 据的维数； R为实数域； 上 标T表示矩阵的转置； 步骤2： 对获得的输入数据进行特征提取， 形成n组特征节点并构造特征节点矩阵Zn， 将特征节 点进行非线性增强共得到m组增强节点， 其 生成特征节点和 增强节点的过程如下： 步骤2.1： 随机生成n组权值Wei和偏置βei， 通过随机映射变换得到特征节点Zi＝φi(XWei +βei)∈RN*q,i＝1,2,…n， 将特征节点组构造为特 征节点矩阵Zn＝[Z1,Z2,…,Zn]； 其中， Wei和βei分别为第i个特征组的特征权重和偏差； n为特征节点组数； q为每组特征 映射对应的特 征节点数目； φi为线性变换函数； 步骤2.2： 随机生成m组权值Whj和偏置βhj， 通过增强变换得到增强节点Hj＝ξj(ZnWhj+βhj) ∈RN*r,j＝1,2, …m， 并将增强节点组构造为增强节点矩阵Hm＝[H1,H2,…,Hm]； 其中， Whj和βhj分别为第j个增强节点组的权重和偏差； ξj为增强节点上 的非线性函数， 取为sigmod激活函数， 其表达式为 m为增强节点组数； r为每组非线性增强 对应的增强节点数目； 步骤2.3： 得到系统的扩展输入矩阵A； A＝[Zn,Hm] 步骤3： 构建目标函数， 具体步骤如下： 步骤3.1： 借助极大极小概率机的思想， 将回归问题转化为可在大极小概率机框架下求 解的二元分类问题， 得到目标函数： 步骤3.1.1： 在不存在随机误差分布假设的情况下， 通过最大化预测精度满足误差要求 的概率下限来构造目标函数： 其中， α表示预测精度满足误差要求的概率下界； 训练过程的预测值； Y是步骤1中获 得的训练集的输出 数据； ε表示预测误差； i nf表示取函数的下确界； Pr 表示取函数的概 率； 步骤3.1.2： 借鉴极大极小概率机的思想， 人工生成了公式(2)中的两类数据， 将回归问 题转化为可在极大极小概 率机框架下求 解的二元分类问题； 其中， A是步骤2.3得到的扩展输入矩阵， A＝[a1,a2,…aQ],Q是特征节点和增强节点的 数量和； U的均值与协方差分别为 ∑U； V的均值与协方差分别为 ∑V； 步骤3.1.3： 需要确定一个超平面ZTβc＝bc来最大概率正确分离公式(2)产生的两种类权　利　要　求　书 1/5 页 2 CN 114021641 A 2型的点； 其中， Z＝[Y,A]T， Z∈Rn,均值为 与协方差矩阵为∑； βc∈Rn和bc∈R均为超平面的参数。 步骤3.1.4： 类U在半空间HU＝{UTβc≥bc}中， 类V在另一个半空间HV＝{VTβc≤bc}中， 因 此， 概率α 等于正确分类两类点的概 率下界的最大值： 其中 公式(4)中的sup表示取函数的上确界； 当 时， 在 处δ2＝0； 当 时， 公式(5)表示 为： 其中， 根据拉格朗日理论， 将公式(6)用公式(7)表示： l(u, ρ )＝uTu+ρ(γ‑wTu)    (7) 求解得： 将公式(8)带入公式(6)得 综合在 和 时的两种情况， 把公式(9)转 化为： 将公式(10)带入公式(4)得到： 当 时， 所以α ＝0； 当 时， 公式(1 1)转换成： 权　利　要　求　书 2/5 页 3 CN 114021641 A 3