1 统一的以太无损网络 测试技术白皮书 （2020年） 中国移动 通信有限公司 研究院 随着近年高性能计算、 存储和人工智能等技术的高速发展，伴随 着应用和介质性能的大幅提升， 网络的 性能已经逐渐成为制约应用和 系统性能进一步提升的重要瓶颈， 通过 以太无损网络技术发展来提升 特定应用场景下的网络性能已成为业界共识。而在 该领域，测试是技 术应用、研究以及演进发展必不可少的重要组成部分 。 本白皮书旨在 针对以太无损网络 应用及测试 的重点、 难点和当前 存在的问题 ，创新性的提出中国移动 基于当前开展的 测试方法 研究和 测试仪表， 构建的 易获得、 高精度、 标准化的以太无损网络测试技术 。 希望能够为 产业在部署以太无损网络 、产品和解决方案时提供参考和 技术指引。 本白皮书的版权归中国移动所有，未经授权，任何单位或个人不 得复制或拷贝本建议之部分或全部内容。 前 言 中国移动 统一的以太无损网络测试技术白皮书 （2020） 1 目 录 1 技术背景 ................................ ................................ 1 2 中国移动对以太无损网络的需求 ................................ ............ 3 3 以太无损网络关键技术与测试 ................................ .............. 6 3.1网络流量控制 ................................ ......................... 6 3.2以太无损网络测试现状和难点 ................................ ........... 7 4 统一的以太无损网络测试 ................................ ................. 10 4.1测试思想变革 ................................ ........................ 10 4.2关键参数 ................................ ............................ 11 4.3 RoCE 性能指标 ................................ ....................... 12 4.4通用测试仪表 ................................ ........................ 17 4.5测试实践 ................................ ............................ 18 5 结束语 ................................ ................................ . 19 6 缩略语列表 ................................ ............................. 20 联合编写单位及作者 ................................ ......................... 22 1 技术背景 为了降低数据中心内部网络延迟，提高处理效率， RDMA技术(Remote Direct Memory Access ，远程直接内存访问 )的出现为新兴 业务系统（如高性 能计算HPC、数据库 RAC、一体机 等）的高效应用提供了新的机遇。 RDMA允许 用户态的应用程序直接读取和写入远程内存，无需 CPU介入多次拷贝内存，并 可绕过内核直接向网卡写数据，实现了高吞吐量、超低时延和低 CPU开销的效 果。 图1 RDMA基本原理 相应地，RDMA技术也对网络性能提出了更高的要求。而传统 以太网这种 尽力而为转发，容忍拥塞和丢包的特点是无法满足 RDMA的性能需要的， 因为 拥塞和丢包会极大的影响 RDMA性能。所以在2015年以前，RDMA技术主要通 过Infiniband （IB）网络来承载。 基于IB的RDMA无损网络， 通过基于credit 的链路层流控 、简化传输层协议、 通过HCA网卡卸载传输层 功能等技术手段， 可以达到高带宽、低时延和无丢包的高性能网络 效果，也因此获得了一定的市 场商用。但IB作为高性能专用网络 ，与以太网完全不兼容，技术小众化 导致 其网络建设 成本和运维 成本较高。 如今数据中心的一个重要转变是基础架构的融合 ， 而以太网又是最核心 的 数据中心网络 承载技术，因此将各类专用网络 技术与以太网进行融合，降低网 络的建设和运维成本是当前数据中心 网络发展的重要趋势。 随着近年 IETF发 布DCB(Data Center Bridging) 标准，基于RDMA/Infiniband 的无损链路得以 解决，以太网终于在专有网络领域内拥有了自己的标准，同时也提出了 RoCE(RDMA over Converged Ethernet) 的概念。经过版本的演进 ，当前RDMA 2 技术在以太网上的传输协议是 RoCEv2。RoCEv2在RoCEv1基础上，将GRH(Global Routing Header) 换成UDP Header和IP Header ，扩展后的帧结构如 图1所 示。 图2 RoCEv2帧结构 支持三层路由的 RoCEv2使得RDMA技术彻底与以太网实现兼容 ， 以太无损 网络应用而生。 得益于与数据中心以太网络架构的兼容性，以及较低的 TCO （Total Costs of Ownership ）， 以太无损网络 已经在微软Azure、 亚马逊AWS、 阿里云、 百度、字节跳动等国内外大型互联网公司获得了 大规模商用。 微软是在数据中心大规模部署 以太无损网络 的第一家 HyperScale 公司， 其为了Azure云环境的低延时网络 ，在2015-2018年的Sigcomm 会议上发布 了大量的论文来介绍以太无损网络 在数据中心的部署。 国内阿里云从 2016年 起投入专项研究 以太无损网络 ，从网卡底层 设计开始提升传输性能 ，使得服务 器集群极大地突破了传输速度瓶颈，并将时延显著降低 90%。以2019年天猫 双11为例，基于 以太无损 网络技术的云存储和电商数据库服务器可以从容地 应对峰值流量考验。 而百度则建设了国内最大的以太无损网络，集群总体规模 达到600台，用于承载了深度学习、 语音识别和自然语言处理等 人工智能系统 相关的机器学习任务。 3 2 中国移动对 以太无损网络 的需求 2017年以来，越来越多的高性能应用 与各类业务系统 的结合愈发 紧密。例 如在中国移动的 IT线条，IT私有云资源池 、计费账务 、BOSS、经营分析 和用 户关系管理 （CRM）等重要的业务支撑 系统均开始大规模 应用分布式存储、一 体机、数据库 RAC、大数据 和人工智能等技术。一方面这些高性能技术 ，例如 内存数据库， 使用内存分布数据的大数据运算大幅度提高了应用的响应速度， 特别是通过RDMA技术，大幅降低了应用在服务器内的传输时延 ；另一方面越 来越高的硬件介质性能， 比如应用全闪存磁盘、 NVMe接口的存储系统、 使用高 性能GPU的服务器 等，也极大的提高了存储和计算的系统 性能，这些最终导致 网络已经成为了制约 应用系统整体性能提升的瓶颈。 以这两年在中国移动规模商用的分布式存储为例， 在以HDD为主的分布式 存储体系内网络时延并不突出，介质时延占据了总体时延的 90%。而要提高分 布式存储系统的 IOPS性能， 通常只有通过提升系统并行度和降低单次 IO时延 两种手段。对于一定的分布式架构，系统并行度又是固定的 ，使得降低单次 IO 时延成为了提高系统性能的 主要手段。为了提高分布式系统的性能，高性能的 SSD闪存占据了越来越多的市场，而随着 NVMe这种高性能存储接口的出现， 数据表明 网络时延 占到了整体时延的 65%，成为了系统整体性能提升的最大 瓶 颈。而降低网络时延，过去往往更注重网络设备的静态转发时延，然而实际情 况是由拥塞和丢包带来的动态时延会极大的恶化网络的性能， 而这种拥塞和丢 包在高性能应用场景又是非常常见甚至无法避免的。 图3 存储网络时延影响和组成 4 以人工智能场景 TensorFlow PS架构的AI训练系统为例，网络流量模型 存在着周期性的 “多打一”爆发式的流量，而对于传统以太网来说，大流量的 “多打一”显然会导致拥塞和丢包，而一旦产生拥塞和丢包就会极大的降低整 个系统的性能。对于这种拥塞和丢包，是由于其架构和传输模式本身决定的， 无法通过网络扩 容解决。 图4 TensorFlow PS 架构流量示例 为了满足 高性能应用 的网络性能需求 ，中国移动已开始逐步引入 基于RoCE 的以太无损网络 。使用以太无损网络一方面能提高系统的整体性能，提高了单