Nebula Graph v3.0 分布式图数据库的系统架构演进 吴敏 2022.3 https://nebula-graph.com.cn 自我介绍 • 2019工作 Nebula Graph PMC • 2015-2018 蚂蚁金服 图平台 RD • 2010-2015 阿里云 飞天 RD 教育 吴敏 • 2005-2010 浙江大学 博士 • 2001-2005 浙江大学 本科 https://nebula-graph.com.cn 目录 0 图和图数据库 1 Nebula Graph v3.0 概况 2 演进与尝试 3 展望4.0 https://nebula-graph.com.cn 1 Nebula Graph v3.0 2021-2022 https://nebula-graph.com.cn 年表 Nebula Graph v3.0 GDBMS 2022.2 3.0 GA 2021.10 Kick off Nebula Graph v2.0 Core • X.Y.Z • X: 数据格式不兼容； • Y: 功能增加，(可能）API 级别的不兼容; • Z: hotfix 2021.3 2.0 GA • 社区版：一年 4 个Y版本 2020.2 Kick off • 企业版: LTS 3 年；一年 2 个Y版本 Nebula Graph v1.0 Core 2020.6 1.0 GA 2019.5 0.1-alpha 开源 (Apache 2) 2018.9.5 Kick off 已获得 7.2k stars 1k+ forks 30 k+ post 40%+ MAU ◼ 120 万的 PV 和 4k+ 的 Topic； 300+ 企业用户 ◼ 论坛用户数为 1k； ◼ 微信群有 2k 的活跃成员 ◼ ◼ 2k+ 开发者总数 ◼ GitHub、论坛、微信群 分布在互联网、金融、政府、运营商、 制造业、零售业、公用事业等各个行 业 20+ 个千亿点边规模 ~10k 周下载量 ◼ 可以在 GitHub、Docker Hub 、 官网三个主要渠道下载安装包 https://nebula-graph.com.cn 1、多种云服务于可视化原生工具： 2、兼容主流大数据与数据库组件： Nebula Graph已登录Azure Marketplace Nebula Graph与当前主流的数据组件(Spark, Flink, Kafka, MySQL, HBase, ...)都提供了连 开放了完整的原生工具套件 Studio（DBA）、Dashboard（运维）、Explorer（分析师） 接器，方便用户自主二次研发和与其他系统对接能力。 3、核心图数据库功能： 4、完善的文档和培训认证支持： ➢ 采用计算存储分离架构。Graph服务负责处理计算请求，Storage服务负责存储数据。 Nebula官网提供图数据库入门、部署、监控、调优、工具使用、案例场景等丰富的 ➢ Meta服务负责数据管理，例如Schema操作、集群管理和用户权限管理等。 文档资料供参考使用，同时提供Nebula学院的资质认证服务。 https://nebula-graph.com.cn Nebula Graph 产品特性 架构特性 Query Engine Query Engine Query Engine …… ◼ ◼ Storage Engine …… Storage Engine Storage Engine ◼ 分布式：支持千亿点万亿边规模的海量数据存储 ◼ 支持在线扩缩容 ◼ 高可用，采用 Raft 协议保证数据强一致性 存储、计算分离： ◼ 存储层和计算层独立扩缩容，提高资源利用率 ◼ 计算下推 ◼ 存储层独立服务多种计算框架：Latency / Throughput 多平台运行：X86, ARM 数据特性 四元属性图 CAP 多图空间 … 属性图：点-二元组(VID,TAG), 边-四元组(SRC,TYPE,RANK,DST), 索引属性、 Geospatial ◼ 强一致性(CP)：多数派协议 Raft, TOSS ◼ 强可用性(AP)：Group & Zone （逻辑机架） ◼ 多图空间：物理隔离，读写权限控制 ◼ 计算特性 nGQL Cypher ISO-GQL Algorithm Analytics GraphX Plato ◼ ◼ ◼ 查询语言：原生声明式语言 nGQL，兼容 openCypher 9 多种计算框架：Plato, GraphX，Euler 等 多种图算法：PageRank, 鲁汶, 连通分量, 标签传播等 10 几种算法 https://nebula-graph.com.cn Meta Engine ◼ 分布式 ◼ 用户信息管理 ◼ Partition 管理 ◼ Space 管理 ◼ Schema 信息管理 ◼ 基于 TTL 数据生命周期管理 ◼ 作业管理 ◼ Session 管理 ◼ 慢查询管理 https://nebula-graph.com.cn Storage Engine ⚫ cut edge 2 1 ⚫ 5 目标负载 4 5 distribut e 4 1 2 混合读写 ⚫ 只读 目标规模 3 ⚫ ⚫ ⚫ 分布式 ⚫ 单机 目标介质 ⚫ SSD ⚫ HDD + 内存 ⚫ V3.0 新增： 3 ⚫ 增加了无 Tag 的点 ⚫ 更细粒度的算子(执行计划） ⚫ 更多的下推规则 ⚫ 全量与增量备份 BR ⚫ 多机房同步 Listener ⚫ … https://nebula-graph.com.cn Graph Engine 目标 Operators • 大并发吞吐(TP) • 单查询时延(AP) V3.0 新增 • 算子： • 统一算子：nGQL 与 openCypher 共享物理算子 • 更多 RBO 规则和下推实现 • openCypher 兼容（DQL) • 实现了全部的 LDBC-SNB • TCK 5k+ GetNeighbors GetVertices GetProps Project Join Filter Union Dedup EdgeIndexFullScan EdgeIndexPrefixScan EdgeIndexRangeScan VertexIndexFullScan VertexIndexPrefixScan VertexIndexRangeSca n Loop Select … https://nebula-graph.com.cn 图计算 > tr.sh > run.sh 19 个算法 12 个算法 https://nebula-graph.com.cn CSV、JSON、MySQL、Neo4j、Hive、HBase、Kafka、Pulsar、Dgraph 多数据源导入 多种方式可选 https://nebula-graph.com.cn Nebula Studio： DBA 与开发人员 https://nebula-graph.com.cn Nebula Explorer： 没有图操作经验也可成为图专家 图语言操作查询是⼀件有点⻔槛的事情…… https://nebula-graph.com.cn Nebula Dashboard 扩缩容 告警 创建、删 除集群 服务监控 2.0->2.5->2.6 每个版本有提升 2.6 -> 3.0 大体持平 * 惯例在 GA+1 版本进行性能调优 https://nebula-graph.com.cn Nebula Graph Cloud 全托管的数据库即服务 https://nebula-graph.com.cn 2 一些 演 (cai)进(guo) 与(de) 尝 (da)试(keng) 2019-2022 https://nebula-graph.com.cn • 图语言 • 图结构与图属性 • 需求、社区与版本迭代