全网唯一标准王
(19)中华 人民共和国 国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202111344564.3 (22)申请日 2021.11.15 (65)同一申请的已公布的文献号 申请公布号 CN 113792891 A (43)申请公布日 2021.12.14 (73)专利权人 北京华品博睿网络技 术有限公司 地址 100028 北京市朝阳区太阳宫中路16 号院1号楼18层1801内09 (72)发明人 张险全 薛延波 赵鹏  (74)专利代理 机构 北京君泊知识产权代理有限 公司 11496 代理人 周倩 (51)Int.Cl. G06N 20/00(2019.01) G06K 9/62(2022.01)审查员 刘杉 (54)发明名称 一种机器学习特 征生产系统及方法 (57)摘要 本发明实施例公开了一种机器学习特征生 产系统, 包括: 特征管理系统, 确定是否有重复特 征, 在确定没有时将待接入离线特征写入特征数 据仓库中和/或将待接入在 线特征写入特征消息 队列中; 特征分发器集群, 各个特征分发器分别 监听特征消息队列, 在监听到消息后将待分发特 征分发至 各个特征订阅存储库中, 定期从特征元 数据存储库中加载特征元数据, 以检测是否有变 更, 并在有变更时处理待变更特征元数据; 任务 调度系统, 定期将特征数据仓库中的特征同步至 特征消息队列中; 特征接入SDK, 提供在线特征生 产者的接入端口。 本发明实施例还公开了一种机 器学习特征生产方法。 本发明能高效进行在/离 线特征的生产, 保证多数据源的在/离线特征的 一致性。 权利要求书3页 说明书10页 附图1页 CN 113792891 B 2022.02.15 CN 113792891 B 1.一种机器学习特 征生产系统, 其特 征在于, 所述系统包括: 特征管理系统, 用于根据特征订阅者提供的待接入特征的特征元数据和特征订 阅存储 库信息, 确定各个特征订阅存储库中是否有与所述待接入特征重复的特征, 所述待接入特 征包括各个离线 特征生产者生产的待接入离线特征和/或各个在线特征生产者生产的待接 入在线特征, 以在确定没有重复特征时, 各个所述离线特征生产者将所述待接入离线特征 写入特征数据仓库中和/或各个所述在线 特征生产者将所述待接入在线 特征写入至少一个 特征消息队列中; 特征分发器集群, 包括多个特征分发器, 各个所述特征分发器用于监听所述至少一个 特征消息队列, 以在监听到特征消息后, 基于特征订阅方式将所述特征消息对应的待分发 特征分发至各个所述特征订阅存储库中, 以使所述特征订阅者从各个所述特征订阅存储库 中同步特征, 各个所述特征分发器还用于定期从特征元数据存储库中加载特征元数据, 以 检测所述特征元数据存储库中的特征元数据是否有变更, 并在检测到有变更时, 对所述特 征元数据存储库中的待变更 特征元数据进行处 理; 任务调度系统, 用于定期将所述特征数据仓库中写入的离线特征同步至所述至少一个 特征消息队列中; 特征接入SDK, 用于提供在线特征生产者的接入端口, 以使各个所述在线特征生产者将 生产的在线特 征写入至所述至少一个特 征消息队列中。 2.如权利要求1所述的系统, 其中, 所述特 征管理系统包括: 特征值查询工具, 用于在线查询各个所述特征订 阅存储库中的特征和所述特征元数据 库中的特 征元数据; 特征下线工具, 用于下线特 征; 特征校验工具, 用于校验待接入特征, 以确定所述待接入特征与所述待接入特征定义 的特征元数据是否匹配; 数据清理工具, 用于清理各个所述特征订 阅存储库中存储的所述下线特征以及所述特 征元数据存储库中存 储的所述下线特 征的特征元数据; 数据恢复工具, 用于恢复丢失的在线特 征。 3.如权利要求1所述的系统, 其中, 所述特 征消息对应的待分发特 征包括特 征编码, 所述在监 听到特征消息后, 基于特征订阅方式将所述特征消息对应的待分发特征分发 至各个所述特 征订阅存 储库中, 包括: 在监听到特征消息后, 对所述特征消息进行数据结构解析, 并根据所述待分发特征的 特征编码, 从各个所述特征分发器中获取所述待分发特征 的特征元数据, 构建所述待分发 特征被订阅的存 储库列表; 确定所述待分发特征的操作类型, 遍历所述存储库列表, 在各个所述特征订阅存储库 中对所述待分发特 征执行与所述操作类型对应的处 理。 4.如权利要求3所述的系统, 其中, 所述操作类型包括是删除特征、 新增特征和更新特 征, 所述遍历所述存储库列表, 在各个所述特征订阅存储库中对所述待分发特征执行与 所 述操作类型对应的处 理, 包括: 当确定所述操作类型为删除特征时, 遍历所述存储库列表, 依次删除各个所述特征订权 利 要 求 书 1/3 页 2 CN 113792891 B 2阅存储库中的待删除特 征; 当确定所述操作类型为新增特征时, 遍历所述存储库列表, 依次将待新增特征写入各 个所述特 征订阅存 储库中; 当确定所述操作类型为更新特征时, 遍历所述存储库列表, 依次将待更新特征写入各 个所述特 征订阅存 储库中。 5.如权利要求1所述的系统, 其中, 所述特征订阅存储库包括持久化订阅存储库、 缓存 系统和消息系统中的一种或多种。 6.一种机器学习特 征生产方法, 其特 征在于, 所述方法包括: 根据特征订阅者提供的待接入特征的特征元数据和特征订 阅存储库信 息, 确定各个特 征订阅存 储库中是否有与所述待接入特 征重复的特 征; 在确定没有重复特征时, 如果所述待接入特征是离线特征生产者生产的待接入离线特 征, 则将所述待接入离线特征写入特征数据仓库中, 并定期将所述特征数据仓库中写入的 离线特征同步至至少一个特征消息队列中, 如果所述待接入特征是在线 特征生产者生产的 待接入在线特 征, 则将所述待接入在线特 征写入所述至少一个特 征消息队列中; 在监听到所述至少一个特征消息队列中的特征消息后, 基于特征订阅方式将所述特征 消息对应的待分发特征分发至各个所述特征订阅存储库中, 以使 所述特征订阅者从各个所 述特征订阅存 储库中同步特 征。 7.如权利要求6所述的方法, 其中, 所述特 征消息对应的待分发特 征包括特 征编码, 所述在监 听到特征消息后, 基于特征订阅方式将所述特征消息对应的待分发特征分发 至各个所述特 征订阅存 储库中, 包括: 在监听到特征消息后, 对所述特征消息进行数据结构解析, 并根据所述待分发特征的 特征编码获取 所述待分发特 征的特征元数据, 构建所述待分发特 征被订阅的存 储库列表; 确定所述待分发特征的操作类型, 遍历所述存储库列表, 在各个所述特征订阅存储库 中对所述待分发特 征执行与所述操作类型对应的处 理。 8.如权利要求7所述的方法, 其中, 所述操作类型包括是删除特征、 新增特征和更新特 征, 所述遍历所述存储库列表, 在各个所述特征订阅存储库中对所述待分发特征执行与 所 述操作类型对应的处 理, 包括: 当确定所述操作类型为删除特征时, 遍历所述存储库列表, 依次删除各个所述特征订 阅存储库中的待删除特 征; 当确定所述操作类型为新增特征时, 遍历所述存储库列表, 依次将待新增特征写入各 个所述特 征订阅存 储库中; 当确定所述操作类型为更新特征时, 遍历所述存储库列表, 依次将待更新特征写入各 个所述特 征订阅存 储库中。 9.如权利要求6所述的方法, 其中, 所述方法还 包括: 定期从特征元数据存储库中加载特征元数据, 以检测所述特征元数据存储库中的特征 元数据是否有变更, 并在检测到有变更时, 对所述特征元数据存储库中的待变更特征元数 据进行处 理。 10.如权利要求6所述的方法, 其中, 所述特征订阅存储库包括持久化订 阅存储库、 缓存权 利 要 求 书 2/3 页 3 CN 113792891 B 3

.PDF文档 专利 一种机器学习特征生产系统及方法

文档预览
中文文档 15 页 50 下载 1000 浏览 0 评论 309 收藏 3.0分
温馨提示:本文档共15页,可预览 3 页,如浏览全部内容或当前文档出现乱码,可开通会员下载原始文档
专利 一种机器学习特征生产系统及方法 第 1 页 专利 一种机器学习特征生产系统及方法 第 2 页 专利 一种机器学习特征生产系统及方法 第 3 页
下载文档到电脑,方便使用
本文档由 人生无常 于 2024-03-18 19:00:28上传分享
友情链接
站内资源均来自网友分享或网络收集整理,若无意中侵犯到您的权利,敬请联系我们微信(点击查看客服),我们将及时删除相关资源。