(19)国家知识产权局
(12)发明 专利申请
(10)申请公布号
(43)申请公布日
(21)申请 号 202210445890.1
(22)申请日 2022.04.26
(71)申请人 北京沃东天骏信息技 术有限公司
地址 100176 北京市北京经济技 术开发区
科创十一 街18号院2号楼4层A402室
申请人 北京京东世纪贸易有限公司
(72)发明人 蒲腾飞
(74)专利代理 机构 中原信达知识产权代理有限
责任公司 1 1219
专利代理师 郭晗 赵迪
(51)Int.Cl.
G06F 16/22(2019.01)
G06F 16/23(2019.01)
(54)发明名称
一种索引数据的构建方法和装置
(57)摘要
本发明公开了一种索引数据的构建方法和
装置, 涉及计算机技术领域。 该方法的一具体实
施方式包括: 通过统一的数据采集接口接收源系
统中业务数据的变更数据, 变更数据包括业务数
据的业务标识和业务变更字段; 将变更数据按照
预设结构写入到第一数据库, 并在变更数据写入
成功后, 生成变更消息, 变更消息包括业务数据
的业务标识; 响应于生成变更消息, 根据变更消
息中的业务标识, 从第一数据库中查询用于生成
索引的字段, 以由查询到的字段组装 得到索引数
据。 该实施方式能够实现数据写入的统一控制,
解决了新数据被旧数据覆盖的问题, 提高数据写
入的准确率和效率, 降低对系统的性能要求。
权利要求书3页 说明书12页 附图9页
CN 114860721 A
2022.08.05
CN 114860721 A
1.一种索引数据的构建方法, 其特 征在于, 包括:
通过统一的数据采集接口接收源系统中业务数据的变更数据, 所述变更数据包括所述
业务数据的业 务标识和业 务变更字段;
将所述变更数据按照预设结构写入到第一数据库, 并在所述变更数据写入成功后, 生
成变更消息, 所述变更消息包括所述 业务数据的业 务标识;
响应于生成所述变更消息, 根据所述变更消息中的业务标识, 从所述第一数据库中查
询用于生成索引的字段, 以由查询到的字段组装得到索引数据。
2.根据权利要求1所述的方法, 其特征在于, 所述变更数据还包括所述业务数据的数据
版本号;
所述通过统一的数据采集接口接收源系统中业 务数据的变更 数据, 包括:
以业务标识、 数据版本号、 业务变更字段作为所述统一的数据采集接口的接口参数, 接
收所述源系统中业 务数据的变更 数据。
3.根据权利要求2所述的方法, 其特征在于, 所述通过统一的数据采集接口接收源系统
中业务数据的变更 数据之后, 包括:
对接收的所述源系统中业务数据的变更数据进行字段验证, 以确认接收的所述源系统
中业务数据的变更 数据中包括所述接口参数中的各字段。
4.根据权利要求3所述的方法, 其特征在于, 所述确认接收的所述源系统中业务数据的
变更数据中包括所述接口参数中的各字段之后, 包括: 将接 收的所述源系统中业务数据的
变更数据组装为第一消息, 通将所述第一消息发布到第一消息中间件;
所述将所述变更数据按照预设结构写入到第一数据库, 包括: 响应于发布到所述第一
消息中间件的所述第一消息, 将所述变更 数据按照预设结构写入到第一数据库。
5.根据权利要求2或4所述的方法, 其特征在于, 所述将所述变更数据按照预设结构写
入到第一数据库, 包括:
对所述变更数据进行数据合法性验证并确 认所述数据合法性验证通过, 所述数据合法
性验证包括验证所述变更 数据中的业 务标识、 数据版本号和业 务变更字段;
将所述变更数据按照所述第一数据库的数据存储结构进行转换并写入到所述第一数
据库中。
6.根据权利要求5所述的方法, 其特征在于, 所述将所述变更数据按照所述第 一数据库
的数据存 储结构进行转换并写入到所述第一数据库中, 包括:
将所述变更数据按照所述第 一数据库的数据存储结构进行转换, 得到转换后的所述变
更数据;
获取分布式锁, 并在确认所述分布式锁获取成功后, 对所述变更数据进行版本判定, 以
确认所述变更 数据为最新版本;
将最新版本的转换后的所述变更数据按照对应的源系统标识写入到所述第 一数据库,
其中, 所述源系统标识是根据所述变更数据中的所述业务变更字段确定的所述业务数据所
属的源系统的标识。
7.根据权利要求6所述的方法, 其特征在于, 所述对所述变更数据进行版本判定, 以确
认所述变更 数据为最新版本, 包括:
从第二数据库中获取 所述变更 数据最近一次的已存版本号;权 利 要 求 书 1/3 页
2
CN 114860721 A
2将所述变更数据中的所述数据版本号与 所述已存版本号进行比较, 在所述变更数据中
的所述数据版本号大于或等于所述已存版本号的情况 下, 确认所述变更 数据为最新版本。
8.根据权利要求7所述的方法, 其特征在于, 所述将最新版本的转换后的所述变更数据
按照对应的源系统标识写入到所述第一数据库之后, 包括:
释放所述分布式锁, 以及, 将所述第二数据库中的所述已存版本号更新为所述变更数
据中的所述数据版本号。
9.根据权利要求1所述的方法, 其特征在于, 所述生成变更消息之后, 包括: 将所述变更
消息发布到第二消息中间件;
所述响应于生成所述变更消息, 根据所述变更消息中的业务标识, 从所述第一数据库
中查询用于生成索引的字段, 包括: 响应于发布到所述第二消息中间件的所述变更消息, 根
据所述变更消息中的业务标识, 从所述第一数据库中查询用于生成索引的字段, 所述用于
生成索引的字段为所述 业务数据的一个或多个字段。
10.根据权利要求9所述的方法, 其特征在于, 所述由查询到的字段组装得到索引数据,
包括:
按照存储集群的索引结构, 对所述查询到的字段进行组装, 得到所述索引数据, 并通过
调用所述存储集群的应用程序接口, 将所述索引数据保存至所述存储集群中, 所述索引数
据用于所述存储集群查询对应的业务标识, 以根据所述对应的业务标识从所述业务数据的
源系统获取 所述业务数据。
11.一种索引数据的构建装置, 其特 征在于, 包括:
变更数据采集模块, 用于通过统一的数据采集接口接收源系统中业务数据的变更数
据, 所述变更 数据包括所述 业务数据的业 务标识和业 务变更字段;
变更数据写入模块, 用于将所述变更数据按照预设结构写入到第一数据库, 并在所述
变更数据写入成功后, 生成变更消息, 所述变更消息包括所述 业务数据的业 务标识;
索引数据构建模块, 用于响应于生成所述变更消息, 根据所述变更消息中的业务标识,
从所述第一数据库中查询用于生成索引的字段, 以由查询到的字段组装得到索引数据。
12.根据权利要求11所述的装置, 其特征在于, 所述变更数据还包括所述业务数据的数
据版本号;
所述变更 数据采集模块还用于:
以业务标识、 数据版本号、 业务变更字段作为所述统一的数据采集接口的接口参数, 接
收所述源系统中业 务数据的变更 数据。
13.根据权利要求12所述的装置, 其特 征在于, 还 包括字段验证模块, 用于:
对接收的所述源系统中业务数据的变更数据进行字段验证, 以确认接收的所述源系统
中业务数据的变更 数据中包括所述接口参数中的各字段。
14.根据权利要求13所述的装置, 其特征在于, 所述字段验证模块还用于: 将接收的所
述源系统中业务数据的变更数据组装为第一消息, 通将所述第一消息发布到第一消息中间
件;
所述变更数据写入模块还用于: 响应于发布到所述第一消息中间件的所述第一消息,
将所述变更 数据按照预设结构写入到第一数据库。
15.根据权利要求12或14所述的装置, 其特 征在于, 所述变更 数据写入 模块还用于:权 利 要 求 书 2/3 页
3
CN 114860721 A
3
专利 一种索引数据的构建方法和装置
安全报告 >
其他 >
文档预览
中文文档
25 页
50 下载
1000 浏览
0 评论
309 收藏
3.0分
温馨提示:本文档共25页,可预览 3 页,如浏览全部内容或当前文档出现乱码,可开通会员下载原始文档
本文档由 思考人生 于 2024-02-24 08:49:53上传分享