DataEase 2022年3月版 FIT2CLOUD飞致云旗下品牌 新一代数据可视化分析平台 建设指南 HOWTOBUILD YOUR VISUAL ANALYTICS PLATFORM DataEase 开源项目组 编著 新一代数据可视化分析平台建设指南 从闭源到开源 我所在的软件研发团队经历了什么？ 2021年6月28日，DataEase开源数据可视化分析平台正式对外发布。这是FIT2CLOUD飞致云在开源软件领域的新作，DataEase的核心 功能是通过支持丰富的数据源连接和提供拖拉拽的快捷方式帮助用户快速制作仪表板，并且支持灵活方便的仪表板分享机制。 作为一名软件开发行业的老兵，这是我第一次以开源的方式参与打造一款软件产品。 2014年FIT2CLOUD飞致云创立。作为创始团队的一员，我们看到了伴随若云计算应用普及而兴起的云基础设施管理需求，设计并实现了 云管平台（CloudManagementPlatform）软件，并且在后来的数年间不断地改进和升级这款产品。FIT2CLoUD云管平台（后来被更名 为CloudExplorer多云管理平台）是一款采用闭源方式开发的企业级软件。从2014年到2020年的六年多时间里，我们的研发团队都在用 相对传统的方式去研发这款软件。目前这款软件仍然在升级和优化，在金融、制造、能源、交通、物流、房地产等行业拥有接近200家企业用户。 2021年的2月，DataEase开源项目组成立。在闭源的世界里沉浸式体验了多年的我尝试去拥抱开源软件的世界。在开源领域有本著名的 畅销书叫《大教堂与集市》，从2021年2月到今天，我们这些从闭源世界走向开源世界的软件并发者可能还没有体会到从“大教堂 到“集市”的剧烈反差，但是也的确收获了与以往裁然不同的开发体验。 首先就是大呈社区用户的使用反馈让我们在短时间内就拥有了庞大的产品需求池。事实上，由于云管平台软件是云计算时代的产物，我们 在早期设计时同样也会大量收集用户的需求，从中快速提炼出通用的需求，并付诸实现。因此，对于用户现实需求的采集、识别、规划和实现， 早已经是我们日常工作的组成部分。但是DataEase项目组还是被开源社区的力所震撼。 记得在DataEase开源数据可视化分析平台v1.0版本发布后的第三天，DataEase开源项目就进入了GitHub趋势榜的主榜，并且在Java 趋势榜中位列第一；项目发布一个月后的7月30日，DataEase项目的GitHubStar数突破1000个；8月6日，GitHubStar数突破2000 个；8月30日，GitHubStar数突破3000个。 在开源社区被广泛关注的直接结果便是我们收获了很多用户。DataEase项目累计下载次数超过10000次是在11月24日，距离这个项目 被大众所知道仅仅过去了五个月。快速积累的用户群体催生出大呈的使用反馈和产品需求。我们每天都会收到大呈的建议，我们从其中筛 选出优先级别最高的需求，将其规划到下一个版本的研发工作中。DataEase项自的需求池从来不会干凋，每关从海量的需求中识别进入 下一版本规划的部分，成为了一种幸福的烦恼。 第二，为了满足用户的期待，我们加快了软件发布的频率，而双方的高效互动让我们彼此找到了共同促进的节奏。对于闭源软件来说，三 个月、半年，甚基至一年发布一个版本都是很常见的。但是开源的世界不容懈，你必须对用户的反馈做出快速的回应；必须满足用户的期待。 和FIT2CLOUD飞致云旗下的JumpServer、MeterSphere等开源项目一样，DataEase项目也保持若每月一个版本的发布频率。这可以说 是我们与开源社区用户交互的一种“约定”。要打造一款成功的开源产品，就需要给用户以强大的信心。而保持快速、稳定的送代周期 正是我们尚社区用户传递信心的方式。有些功能即便当前的版本个满足、有缺陷，但是项自本身能够用自已的送代节奏去优化和弥补，我 们也从这一过程中坚定了自已做好产品的信念。这种不断强化的信念感是在闭源软件的世界里体会不到的。 第三，研发团队直面用户让我们的成就感和挫败感都来得更直接。在开发云管平台这款产品时，虽然它的应用场景是在云的环境中，但是 软件的研发和交付方式却是相对传统的。在这款软件开发的早期，我们会直接与用户沟通需求，但是随着用户数量的增多和使用场景的干 PREFACE 序言 差方别，软件产品的研发和软件产品的交付会在两个组织内展开。其中，研发团队专注于通用功能的演进和优化，而交付团队则会深入理 解用户的具体需要，并在通用软件落地企业环境的过程中附以客制化的功能实现。 的环境中获得了成功的使用，例如帮助用户节省了大量的计算资源，或者帮助用户大幅度地提升了IT资源交付的效率，研发团队所收获的 悦可能运不如交付团队那么多。找们深知，我们所开发的通用软件能够成功地被用户所使用，有赖于交付团队与用户在需求面的大量对接： 以及交付团队在功能面对于软件产品的完善和补充。 开源的世界则截然不同。DataEase这款软件的亮点和短板我价们第一时间就能够从用户侧获取反馈。这其中有很多的鼓励与期待，也不乏抱 想和吐槽。当用户提及DataEase与之前所使用的闭源产品相比较的优点时，我们感到非常开心。而用户在社区交流中所表达的负面情绪， 我们也能欣然接受。社区用户对项目表达负面情绪，也可以理解为一种期待。通常情况下，在社区群中提出负面反馈的用户或多或少都会 给我们的产品设计提供一些思路，我们也会尝试去理解和识别。 如果说闭源的世界是一面湖水，那么开源的世界就是一条弃涌的河流。 在开发云管平台软件时，版本发布的间隔时间会比较长，很长的一段时间内产品的功能、架构都是固定的。当这款软件经过足够长时间的 迭代，其形态会进一步固化，而开源软件似乎总是处在变化之中。因为用户的需求是动态变化的，同时产品的Bug也需要及时修复。所以 除了每个月发布的版本，我们也会根据需要发布小版本。可以说开源软件是被整个社区推动着进步，用户的需求便是其蓬勃成长的沃土。 两者之间是“独自成长”和“开放成长”的区别，开源让软件产品拥有了更多的可能性。 前面谈的都是闭源与开源的话题，最后来谈谈我们为什么要用开源的方式来开发DataEase这款数据可视化工具。原因有两个： 首先，创立DataEase项目出于一家软件公司自身的需求。FIT2CLOUD飞致云旗下的CloudExplorer多云管理平台、JumpServer开源堡 这些数据进行可视化展示的实际需求； 其次，数据可视化市场广阔。作为一种跨领域、跨平台的产品，数据可视化软件具有强大的通用性，受众群体广泛，可以说是人人需要。 如此庞大的市场发展了数十年，孕育了众多优秀的软件产品，通过开源模式进行研发和交付的软件却很少。我们尝试去用先进的设计思路、 升源的软件分发方式，以灵活的软件架构去打造一款数据可视化平合，不断向先行者学习，根据用户需求持续改进，相信在红海中 DataEase项目也能找到自己已的市场空间。 FIT2CLOUD飞致云在2021年提出了一个口号一“广阔天地，大有作为”。无论是开源，还是数据可视化，对于DataEase项目来说都是 番广阔天地，我们会努力在其中有所作为。 DataEase产品总监徐伟 新一代数据可视化分析平台建设指南 HOW TO BUILD YOUR VISUAL ANALYTICS PLATFO RM CONTENTS 目录 1.引言 4.3.1简单易用的操作方式 1.1编写本白皮书的目的 4.3.2开源开放的运营模式 17 1.2如何组织、发布和维护本白皮书 4.3.3大数据下的秒级响应 .19 1.3本白皮书给企业带来的价值 4.3.4安全分享 -19 2.数据可视化概述 5.DataEase仪表板案例集 20 2.1数据可视化的作用 2.2数据可视化的价值 -3 2.2.1数据可视化对企业的价值 6.参考资料 23 2.2.2数据可视化对不同人员的价值 2.3数据可视化的发展 2.3.1可视化简史 2.3.2现代可视化发展 3.新一代数据可视化分析平台的内涵 3.1简单易用 3.2开源开放 3.2.1开源模式更好地推动软件产业发展 3.2.2开源生态发展现状 -8 3.3高性能数据引擎 10 3.4快速分享 11 4.基于DataEase构建新一代数据可视化分析平台 12 4.1DataEase概述 12 4.1.1DataEase架构设计 -12 4.1.2DataEase核心概念 4.2DataEase的功能列表 -15 4.3DataEase的核心优势 17 1. 引言 1.1编写本白皮书的目的 数据的采集、提取和理解是人类感知和认识世界的基本途径之一。相对于数字、文本等非图像化信息，人类对图像化信息有若更好的 析的发展史已逾数百年。自个人计算机问世以来，可视化基础平台和架构、常用可视化分析软件就在不断被研究开发，研究的领域包 拮医学可视化、科学可视化、信息可视化等。 目前国内很多企业的数据可视化和报表制作流程，是以业务部门提出需求后IT部门再进行开发的方式为主，这就需要多部门间的配合， 存在若效率任下的问题。也有一些企业选择了内部研发，或者从外部引进可视化分析项目的方式。但事与愿违的是，很多可视化分析 使用的文档类工具。 DataEase开源项目（www.dataease.io）在成立之初就致力于构建一个人人可用的开源数据可视化分析平台。正是带着这样的目标， DataEase开源项目选择了不断地听取社区声音、持续地进行改进与达代的路线。在这一过程中，DataEase开源项目逐步有所收获， 并快速成长。希望本白皮书可以为正在或即将建设数据可视化分析平台的企业提供一些实际的帮助。同时，DataEase开源项目也希望 能够通过白皮书的方式和大家进行更多的沟通和交流，共同探讨应该如何更好地建设新一代的数据可视化分析平台。 1.2 如何组织、发布和维护本白皮书 本白皮书由DataEase开源项目组联合编写而成。编写团队从数据可视化分析领域技术发展的角度出发，站在用户的视角，积极吸取行 业内成熟产品的经验和专家的建议，在此基础上完成了本白皮书的编写工作。 本白皮书采用线上渠道（网站、微信公众号等）为主的分发模式。在第一版线上发行后，编写组将通过线上渠道广泛收集用户反馈并定 期更新白皮书内容。更新版本的白皮书仍将通过线上渠道再次对外开放下载。欢迎广大用户及各位业界同仁积极提交修正和改进意见， 协助编写组对本白皮书进行持续完善，使之更加准确、全面和深入。 1.3本白皮书给企业带来的价值 本白皮书面向的人群为广大需要使用或建设数据可视化分析平台的团队，包括但不局限于业务部门、运营部门、产品部门、IT部门等。 编写组希望通过本白皮书为企业建设数据可视化分析平台提供方向上的指引：并希望更多的数据可视化分析工具能够