说明:收录25万 73个行业的国家标准 支持批量下载
(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210149036.0 (22)申请日 2022.02.18 (71)申请人 平安科技 (深圳) 有限公司 地址 518000 广东省深圳市福田区福田街 道福安社区益田路5033号平 安金融中 心23楼 (72)发明人 赵勋  (74)专利代理 机构 深圳市精英专利事务所 44242 专利代理师 丁宇龙 (51)Int.Cl. G06F 8/30(2018.01) G06F 8/41(2018.01) G06F 9/445(2018.01) (54)发明名称 基于可配置中间件的数据传输方法、 装置、 设备及介质 (57)摘要 本发明涉及大数据技术, 提供了基于可配置 中间件的数据传输方法、 装置、 设备及介质, 方法 包括先获取中间件配置信息, 然后根据中间件配 置信息生 成中间件数据消费任务, 最后根据所述 中间件数据消费任务获取目标数据, 将所述目标 数据导入至所述中间件数据消费任务对应的目 标数据库。 实现了基于配置化的方式快速生成 Kafka消费策略, 并基于 Kafka消费策略将消息中 间件中目标数据导入至目标数据库, 无需针对每 一场景开发相应代码, 提高了数据落库的效率。 权利要求书2页 说明书13页 附图2页 CN 114546354 A 2022.05.27 CN 114546354 A 1.一种基于可配置中间件的数据传输方法, 其特 征在于, 包括: 响应于数据写入指令, 获取与 所述数据写入指令对应的中间件配置信 息; 其中, 所述中 间件配置信息中至少包括数据源配置信息、 自动处 理内容和目标 数据库信息; 根据所述中间件配置信息对应的配置内容 生成中间件数据消费任务; 以及 根据所述中间件数据消费任务获取目标数据, 将所述目标数据导入至所述中间件数据 消费任务对应的目标 数据库。 2.根据权利要求1所述的基于可配置中间件的数据传输方法, 其特征在于, 所述根据 所 述中间件配置信息对应的配置内容 生成中间件数据消费任务, 包括: 预先创建具有私有化属性的JavaBean类; 通过解析获取所述中间件配置信息中对应的配置内容并写入所述JavaBean类得到当 前对象, 将所述当前对象作为所述中间件数据消费任务。 3.根据权利要求1所述的基于可配置中间件的数据传输方法, 其特征在于, 所述根据 所 述中间件数据消费任务获取目标数据, 将所述目标数据导入至所述中间件 数据消费任务对 应的目标 数据库, 包括: 通过所述中间件数据消费任务中包括的当前对象获取目标 数据; 获取所述当前对象中预设的第一函数, 将所述目标数据根据所述第一函数进行转换, 得到第一 转换数据; 将所述第一 转换数据导入至所述中间件数据消费任务对应的目标 数据库。 4.根据权利要求1所述的基于可配置中间件的数据传输方法, 其特征在于, 所述获取与 所述数据写入指令对应的中间件配置信息之后, 还 包括: 根据所述配置信息的文件后缀名称获取 所述配置信息的文件类型; 若确定所述文件类型不为预设的第 一文件类型, 将所述配置信 息的文件类型转换成所 述第一文件类型以更新所述配置文件; 若确定所述文件类型为预设的第 一文件类型, 执行所述根据所述中间件配置信 息对应 的配置内容 生成中间件数据消费任务的步骤。 5.根据权利要求1所述的基于可配置中间件的数据传输方法, 其特征在于, 所述根据 所 述中间件数据消费任务获取目标数据, 将所述目标数据导入至所述中间件 数据消费任务对 应的目标 数据库之后, 还 包括: 获取所述目标数据库中所述目标数据对应的初始问答标准知识库, 并获取所述初始问 答标准知识库中的初始问题集和初始答案集; 将所述初始问题集作为训练样本对待训练对抗网络模型进行训练, 得到训练后的对抗 网络模型。 6.根据权利要求5所述的基于可配置中间件的数据传输方法, 其特征在于, 所述将所述 初始问题集作为训练样本对待训练对抗网络模 型进行训练, 得到训练后的对抗网络模型之 后, 还包括: 将所述初始问题集输入至所述训练后的对抗网络模型进行运 算, 得到扩展问题集; 获取预先存储的数据获取地址信 息, 在所述数据获取地址信 息对应的数据集中检索获 取与所述扩展问题集中每一扩展问题对应的扩展答案, 组成扩展答案集; 将所述扩展问题集和所述扩展答案集进行组合得到扩展问答标准知识库, 将所述扩展权 利 要 求 书 1/2 页 2 CN 114546354 A 2问答标准知识库进行本地存 储。 7.根据权利要求6所述的基于可配置中间件的数据传输方法, 其特征在于, 所述在所述 数据获取地址信息对应的数据集中检索获取与所述扩展问题集中每一扩展问题对应的扩 展答案, 组成扩展答案集, 包括: 获取所述扩展问题集中每一扩展问题对应的问题语义向量; 获取所述数据获取地址信 息对应的数据集中所包括的每一文本集, 及与每一文本集对 应的文本语义向量; 在与每一文本集对应的文本语义向量中分别获取与各问题语义向量的向量相似度为 最大值的文本语义向量, 以组成与各问题语义 一一对应的目标文本语义向量; 获取各目标文本语义向量分别对应的目标文本, 组成扩展答案集。 8.一种基于可配置中间件的数据传输装置, 其特 征在于, 包括: 配置信息获取单元, 用于响应于数据写入指令, 获取与所述数据写入指令对应的中间 件配置信息; 其中, 所述中间件配置信息中至少包括数据源配置信息、 自动处理内容和目标 数据库信息; 任务生成单元, 用于根据所述中间件配置信 息对应的配置内容生成中间件数据消费任 务; 以及 数据导入单元, 用于根据所述中间件数据消费任务获取目标数据, 将所述目标数据导 入至所述中间件数据消费任务对应的目标 数据库。 9.一种计算机设备, 包括存储器、 处理器及存储在所述存储器上并可在所述处理器上 运行的计算机程序, 其特征在于, 所述处理器执行所述计算机程序时实现如权利要求1至7 中任一项所述的基于可配置中间件的数据传输方法。 10.一种计算机可读存储介质, 其特征在于, 所述计算机可读存储介质存储有计算机程 序, 所述计算机程序当被处理器执行时使 所述处理器执行如权利要求 1至7任一项 所述的基 于可配置中间件的数据传输方法。权 利 要 求 书 2/2 页 3 CN 114546354 A 3

.PDF文档 专利 基于可配置中间件的数据传输方法、装置、设备及介质

文档预览
中文文档 18 页 50 下载 1000 浏览 0 评论 309 收藏 3.0分
温馨提示:本文档共18页,可预览 3 页,如浏览全部内容或当前文档出现乱码,可开通会员下载原始文档
专利 基于可配置中间件的数据传输方法、装置、设备及介质 第 1 页 专利 基于可配置中间件的数据传输方法、装置、设备及介质 第 2 页 专利 基于可配置中间件的数据传输方法、装置、设备及介质 第 3 页
下载文档到电脑,方便使用
本文档由 人生无常 于 2024-03-18 16:03:03上传分享
站内资源均来自网友分享或网络收集整理,若无意中侵犯到您的权利,敬请联系我们微信(点击查看客服),我们将及时删除相关资源。