迈向智能世界白皮书 数据存储 构建多样化数据 应用的可靠 存储底座 数据存储 序言 人类社会的文明史，就是一部信息存储方式和 相对应的，新的IT数据应用也将更加丰富多 传播方式变革的历史。从结绳记事到刻画在岩 样。同时随着新的数据应用规模进入生产系 石上的象形文字，再到甲骨文的出现；从竹 统，对数据的高可靠、高性能、经济高效保存 简、纸张的发明，再到打孔卡、硬盘、闪存的 将提出更加严苛的要求。 科技进步，信息技术革命的到来革新了古老的 信息保存方式，数字化的数据存储替代了传统 华为公司在数据存储产业上的大规模投入超 的纸张成为文明传承的新方式，有数据的地方 过十年，产品已进入全球超过150个国家和地 就需要数据存储。 区，广泛服务于运营商、金融、政府、能源、 医疗、制造、交通等多个行业超过18000家客 上世纪九十年代诞生至今，高可靠、高性能的 户。通过与业界专家、客户和伙伴深入交流， SAN存储一直是核心数据库应用的首选。2000 编写了这份《迈向智能世界-数据存储》白皮 年左右，互联网的兴起让存储进入千行百业， 书报告。报告详细阐述了数据存储的发展趋势 同时为实现文档类数据的高可靠保存、高效共 与行动建议，我相信这是一次非常有意义的探 享，NAS存储应运而生。2010年左右以虚拟机 索，将凝聚更多的产业力量共同推进数据存储 为代表的“云计算”概念兴起，资源池化成为 产业的发展。 数据中心建设的主流架构，将SAN、NAS融合 在一起的统一存储成为那个时代的新宠，一套 过去三十年，数据存储一直是高价值数据的最 存储同时支撑各种各样的虚拟机应用。2015年 佳底座，并伴随着数据应用的发展而发展。我 左右，全闪存存储以其高性能、高可靠、绿色 们正在迎来YB数据时代，数据应用蓬勃发展， 节能的优势，开始大规模代替机械盘存储，满 华为数据存储愿与产业各方更加紧密携手努 足了移动化时代应用性能的10倍增长。同时， 力，汇聚产业力量，共创数据存储美好未来。 视频、大数据、AI等以海量非结构化数据为基 础的新兴应用，催生了以扩展能力见强的分布 式存储的快速发展。 数字化、智能化的未来，正在加速到来，千行 周跃峰 百业的数字化转型将进入快速发展的深水区。 华为数据存储产品线总裁 1 数据存储 目录 展望三 14 全场景闪存普惠 执行摘要 04 展望四 18 防勒索保护 展望一 6 非结构化数据 展望五 数字化韧性 展望二 10 多样化数据应用 2 22 数据存储 展望九 37 存储绿色节能 展望六 26 AI 赋能存储 展望十 42 边缘数据中心 展望七 30 多云IT架构 以数据为中心， 45 构建可靠存储底座 展望八 34 存储商业模式 附录 3 48 数据存储 执行摘要 随着以5G、IoT、云计算、大数据、AI为代表的新技术在数字化转型中的深入应用，企业IT架构 走向“传统IT+私有云+公有云+边缘”的混合架构。存储作为IT堆栈的底座，存储的读写性能决 定了上层应用的性能和用户的体验，企业的长期发展需要稳定的数据存储平台。 智能世界拥有无限可能，本报告从未来发展趋势入手，对存储产业进行了如下展望： 1 数据量爆发式增长，到2025年全球数据量将达180ZB，其中80%以上都是非结构化数据， 非结构化数据在企业广泛应用，正在成为生产决策数据。 2 数据应用日新月异，从传统的数据库应用到分布式数据库、大数据、AI等新兴的多样化数据 应用蓬勃发展。 3 全闪存存储在主存储市场占比已超过50%，全球加速进入闪存普惠时代。 4 勒索软件攻击对企业构成重要威胁，数据存储的职责从数据存取扩展到数据安全，成为 防勒索的最后一道防线。 5 自然灾害、非法入侵等数据安全事故频发，提升企业数字化韧性迫在眉睫。 6 AI应用推动存储智能化程度越来越高，存储管理从传统的设备管理扩展到数据管理。 7 多云成为新常态，有89%的上云企业选择多云战略，数据集中共享存储、应用部署在多云成为 未来最优IT架构。 8 公有云带来的基于消费的新商业模式，正在推动存储新的商业模式孵化，灵活的存储商业 模式是应对数据爆发式增长和经济不确定性的有效手段。 9 存储1TB数据每年能耗达300千瓦时，随着数据量持续增长，数据存储绿色节能对于促进数 据中心零碳排至关重要。 10 边缘成为新的数据爆发源头，超融合基础设施成为边缘数据中心建设最优解。 4 数据存储 对于企业基础设施与运营领导者（I&O Leaders）来说，为了更好的进行IT演进，满足企业业务 发展需求，我们建议： 1 企业IT人员和组织从以结构化数据为中心的团队向能够设计、规划、管理海量非结构化数据 团队进行转型。 2 为了提升海量非结构化数据作为生产数据的效率，优先部署支持文件/对象/大数据多协议 互通，业务混合负载、数据缩减技术、高密硬件等能力的分布式存储系统。 3 部署新兴的多样化数据应用，采用计算存储分离架构，增加可靠性，实现降本增效，同时 通过多样化数据应用加速引擎，实现近数据处理，提升数据处理效率。 4 抓住存储生命周期更迭以及新建机会，持续加速全闪存存储应用。 5 存储团队要保障数据安全，建立更加全面的数据安全防护体系，并构建全面的存储防勒索 解决方案，夯实数据安全最后一道防线。 6 提升企业数据保护水平，实现数据不泄露、数据不被篡改、数据不丢失、业务永远在线、 访问永远合规，增强企业数字化韧性。 7 企业积极制定存储AI管理软件的评价要素，同时加强企业AI能力 建设，重塑团队人员技能。 8 企业从不确定性的创新业务、OA办公为代表的外围业务入手 切入公有云，核心竞争力业务保留在自有数据中心。 9 企业多云建设采用数据集中共享存储、应用部署在多云的IT 架构，并规划跨云的统一数据管理平台，以实现数据的最大共享。 10 企业结合自身业务实际需求以及未来战略，合理规划IT资 源的获取方式，选择最合理的商业模式。 11 除了降低PUE之外，企业还可以通过部署具备高密设计、 融合系统和数据缩减等能力的存储产品进一步降低数据 中心能耗。 12 对于边缘IT建设，企业优先部署超融合，提升本地数据 实时处理能力。 5 展望一 非结构化数据 6 数据存储 企业新增数据 80% 以上是非结构化数据，非结构化 数据正在成为生产决策数据 非结构化数据是指没有预定义的数据模型，不方便用数据库二维逻辑表来表现的数据，包括文本、 图片、各类报表和音频/视频信息等。根据华为GIV报告，2025年全球数据总量将达180ZB，其中 80%以上都是非结构化数据。 趋势解读 大数据、AI、HPDA等新技术、 析处理的。而随着企业数据治理能力提升，数 新应用催生了海量的非结构化数据 据驱动业务增长成为可能，非结构化数据开始 走向生产决策系统。 随着5G、云计算、大数据、AI、高性能数据分 在金融行业，为了实现在线实时授信，银行利 析（HPDA）等新技术、新应用的蓬勃发展， 用金融大数据平台，支撑大数据实时分析、交 企业非结构化数据快速增长，如视频，语音， 互式分析、离线处理、实时查询等场景，及时 图片，文件等，容量正在从PB到EB级跨越。 洞察和决策新的机会与风险，开卡征信时间 例如，1台基因测序仪每年产生数据达到 从1周左右缩短到实时，打造即用即享的极致 8.5PB，某运营商集团每天平均处理数据量达 体验。在医疗行业，历史影像归档文件由冷 到15PB，1颗遥感卫星每年采集数据量可以达 变热，通过AI阅片辅助诊断调用，提升了放射 到18PB，1辆自动驾驶训练车每年产生训练数 科、介入治疗科和病理科医生工作效率，减轻 据达到180PB。 医生工作负荷，并且诊断时间15分钟缩短到20 秒钟，诊断准确率从40%提升到95%。在电商 行业，为了精准营销，海量网上购物日志被用 于查询检索引擎，机器学习引擎，交互式分析 非结构化数据正在进入企业的生产 引擎，从而实现产品广告精准推送。 决策系统 非结构化数据已经在企业得到广泛应用，以 AI为例，56%的企业至少把AI用于一个企业功 能，其中大量场景是基于非结构化数据进行分 7 数据存储 高效、可靠的海量非结构化数据存储 服务器，节省机房空间，并降低能耗和运维复 成为企业数据治理的基础 杂度，达到TCO最优。同时，业界通过软件和 硬件一体的专业分布式存储，为企业客户提供 根据预测，企业数据中心的非结构化数据以每 端到端的高可靠、高性能、高扩展解决方案， 年增长18%的速度快速增加，预计在2025年将 降低了企业在部署、管理和服务等方面的复杂 超越公有云中非结构化数据的总量，占比达到 性。 51%。在企业数据中心中部署非结构化数据存 其次要让数据“流得动”。通过专业分布式存 储，成为越来越多企业的选择。 储的热、温、冷数据分级技术，并自动按需在 为了高效、安全存储企业数据中心的非结构化数 不同介质迁移，从而实现投资最优。庞大的非 据，越来越多的行业期望使用专业的分布式存储 结构化数据带来管理越来越复杂，难以依靠人 解决方案。在金融行业，采用分布式存储保存图 力将数据及时灵活地分配至合理的存储空间， 片、语音、视频数据；在教育行业，分布式存储 数据管理效率低下，运维成本高。通过热、 是支撑海量数据高性能分析的有效手段；在制造 温、冷数据分级技术，根据策略，将数据存放 行业，随着自动驾驶、工业互联网、工业仿真等 到合适的存储空间中，自动完成数据的迁移， 快速发展，带来非结构化数据暴增，对分布式存 很好地解决了企业客户遇到的问题，越来越广 储的使用也呈现规模增长。 泛地被应用在各行各业。 与此同时，我们也看到企业原有IT投资的存储 最后还需要让数据“用得好”。在海量数据使 已经不足以支撑非结构化数据爆发式增长，首 用场景下，由于各种非结构化数据利用技术的 先需要让数据“存得下”。传统的数据多副本 进步，在多种业务场景下，一次数据处理大概 技术已经满足不了非结构化数据的存储需求， 率会涉及到文件、对象、大数据等多种访问协 需要通过专业分布式存储的数据缩减技术，优 议的数据，希望专业分布式存储实现协议互通 化存储利用率，比如大比例弹性EC算法，重 和免拷贝，减少数据冗余，比如（图1 自动驾 删压缩算法，并且使用高密存储硬件替换通用 驶数据处理流程） 数据采集 AI 训练 数据提取和预处理 数据预处理 数据导入 S3/NFS HDFS 百PB级 AI 训练