2022.11 中兴通讯 液冷技术白皮书 中兴通讯 液冷技术白皮书中兴通讯液冷技术白皮书 本白皮书作为数据中心液冷技术的参考文献，内容解释由中兴通讯股份有限公司负责。 在应用过程中如有修改和补充的建议，请将有关资料 Email 至： zhang.junfan@zte.com.cn 。 课题技术负责人： 翁建刚 主要起草人： 范浩龙、李伟波、林 智、吴炎新 参编人： 刘 帆、汪尔敏、许 璐、张俊凡 主要审查人： 石 瑜、杨立新、王 伟 序 言 目 录中兴通讯液冷技术白皮书 液冷技术应用背景 功率密度持续升高 数据中心 PUE 指标不断降低 液冷技术优势 2.1. 低能耗 2.2. 高散热 2.3. 低噪声 2.4. 低 TCO 液冷技术方案 3.1. 冷板式液冷 3.2. 浸没式液冷 3.3. 喷淋式液冷 3.4. 液冷趋势分析 中兴通讯液冷技术方案 4.1. 总体方案 4.2. DC 液冷方案 4.3. IT 液冷方案 4.4. CT 液冷方案 中兴通讯液冷技术实践 5.1. 滨江液冷实验局 5.2. CT 液冷实验局 展望01 01 02 04 04 05 05 05 06 07 08 10 10 11 11 12 17 18 20 20 22 24液冷技术应用背景 算力的持续增加促进通讯设备性能不断提升，芯片功耗和热流 密度也在持续攀升，产品每演进一代功率密度攀升30~50%。 当代X86平台CPU最大功耗300~400W，业界最高芯片热流 密度已超过120W/cm2；芯片功率密度的持续提升直接制约着 芯片散热和可靠性，传统风冷散热能力越来越难以为继。 图 1-1 机柜功率密度与制冷方式 芯片功率密度的攀升同时带来整柜功率密度的增长，当前最 大已超过30kW/机架；对机房制冷技术也提出了更高的挑战。 不同机柜功率密度对应的机房典型制冷方式如图1-1所示， 液冷作为数据中心新兴制冷技术，被应用于解决高功率密度 机柜散热需求。功率密度持续升高 随着云计算、大数据、人工智能、元宇宙等信息技术的快速发展和传统产业数字化的转型，数据呈现几何级增长， 算力和硬件部分能耗也在持续增加，而在“双碳”政策的持续推进下，国家、地方政府、企业层面均在积极推动 绿色低碳转型和可持续发展，通讯领域对数据中心节能降耗要求越来越严格。 101中兴通讯液冷技术白皮书02 城市 年平均气温℃ 数据中心 PUE 要求 北京 12.3年能源消费量小于 1 万吨标准煤的项目 PUE 值不应高于 1.3；年能源消费量大于等于 1 万吨标准煤 且小于 2 万吨标准煤的项目，PUE 值不应高于 1.25；年能源消费量大于等于 2 万吨标准煤且小于 3 万吨标准煤的项目，PUE 值不应高于 1.2；年能源消费量大于等于 3 万吨标准煤的项目，PUE 值不 应高于 1.15； 1.4 ＜ PUE ≤ 1.8，每度电加价￥0.2； PUE>1.8，每度电加价￥0.5 上海 16.6到 2024 年，新建大型及以上数据中心 PUE 降低到 1.3 以下，起步区内降低到 1.25 以下。推动数据 中心升级改造，改造后的 PUE 不超过 1.4。 广东 22.6新增或扩建数据中心 PUE 不高于 1.3，优先支持 PUE 低于 1.25 的数据中心项目，起步区内 PUE 要 求低于 1.25 浙江 16.5到 2025 年，大型及以上数据中心电能利用效率不超过 1.3，集群内数据中心电能利用效率不得超过 1.25 江苏 15.5到 2023 年底，全省数据中心机架规模年均增速保持在 20% 左右，平均利用率提升到 65%，全省新 型数据中心比例不低于 30%， 高性能算力占比达 10%， 新建大型及以上数据中心电能利用效率 （PUE） 降低到 1.3 以下，起步区内电能利用效率不得超过 1.25 山东 14.7自 2020 年起，新建数据中心 PUE 值原则上不高于 1.3，到 2022 年年底，存量改造数据中心 PUE 值不高于 1.4。到 2025 年，实现大型数据中心运行电能利用效率降到 1.3 以下。 优先支持 PUE 值低 于 1.25，上架率高于 65% 的数据中心新建、 扩建项目 青岛 12.7 新建 1.3，至 2022 年存量改造 1.4 重庆 18.4到 2025 年，电能利用效率（PUE）不高于 1.3。集群起步区内 PUE 不高于 1.25。 甘肃：到 2023 年底 , 大型及超大型数据中心的 PUE 降到 1.3 以下 , 中小型数据中心的 PUE 降到 1.4 以下；到 2025 年底 , 大型及超大型数据中心的 PUE 力争降到 1.25 以下 , 中小型数据中心的 PUE 力 争降到 1.35 下 四川 15.3到 2025 年，电能利用效率（PUE）不高于 1.3。集群起步区内 PUE 不高于 1.25。各市（州）要充 分发挥已建在建数据中心作用，除天府数据中心集群外，区域内平均上架率未达到 60%、平均 PUE 值未达到 1.3 及以下的，原则上不得新建数据中心。 内蒙古 4.3到 2025 年，全区大型数据中心平均 PUE 值降至 1.3 以下，寒冷及极寒地区力争降到 1.25 以下，起 步区做到 1.2 以下 宁夏 9.5到 2025 年，建成国家（中卫）数据中心集群，集群内数据中心的平均 PUE ≤ 1.15,WUE ≤ 0.8，分 级分类升级改造国家（中卫）数据中心集群外的城市数据中心，通过改造或关停，到 2025 年，力 争实现 PUE 降至 1.2 及以下。 贵州 15.5引导大型和超大型数据中心设计 PUE 值不高于 1.3； 改造既有大型、 超大型数据中心， 使其数据 中心 PUE 值不高于 1.4。 实施数据中心减量替代， 根据 PUE 值严控数据中心的能源消费新增量， PUE 低于 1.3 的数据中心可享受新增能源消费量支持。数据中心 PUE 指标不断降低中兴通讯液冷技术白皮书03 算力的持续增加，意味着硬件部分的能耗也在持续提升；在 保证算力运转的前提下，只有通过降低数据中心辅助能源的 消耗，才能达成节能目标下的PUE要求。典型数据中心能耗 占比如图1-2所示，其中制冷系统占比达到24%以上，是数 据中心辅助能源中占比最高的部分，因此，降低制冷系统能 耗能够极大的促进 PUE 的降低。 近年来，为了降低制冷系统电能消耗，行业内对机房制冷技 术进行了持续的创新和探索；各制冷技术对应PUE范围如图 1-3所示。间蒸/直蒸技术通过缩短制冷链路，减少过程能量 损耗实现数据中心PUE降至1.15~1.35；液冷则利用液体的 高导热、高传热特性，在进一步缩短传热路径的同时充分利 用自然冷源，实现了 PUE 小于 1.25 的极佳节能效果。 图 1-2 典型数据中心能耗占比 图 1-3 数据中心制冷技术对应 PUE 范围 传热路径短： 低温液体由 CDU（冷量分配单元）直接供给通讯设备内； 换热效率高： 液冷系统一次侧和二次侧之间通过换热器实现液液换热；一次侧和外部环境之间结合风 液换热、液液换热、蒸发汽化换热三种形式，具备更优的换热效果； 制冷能效高： 液冷技术可实现40~55℃高温供液，无需压缩机冷水机组，采用室外冷却塔，可实现全 年自然冷却； 除制冷系统自身的能耗降低外，采用液冷散热技术有利于进一步降低芯片温度，芯片温 度降低带来更高的可靠性和更低的能耗，整机能耗预计可降低约 5%。液冷散热技术传热路径短、换热效率高、制冷能效高的特点促成液冷技术低能耗优势：低能耗 液冷技术优势 2 液冷是一种采用液体带走发热器件热量的散热技术，适用于需提高计算能力、能源效率、部署密度等应用场景； 液冷利用了液体的高导热、高热容特性替代空气作为散热介质，同传统强迫风冷散热对比，液冷具有低能耗、高 散热、低噪声、低 TCO 等优势，是解决数据中心散热压力和节能挑战的必由之路。04中兴通讯液冷技术白皮书05 液冷散热技术利用泵驱动冷却介质在系统内循环流动并进行散 热，解决全部发热器件或关键高功率器件散热问题；能够降低 冷却风机转速或者采用无风机设计， 从而具备极佳的降噪效果， 提升机房运维环境舒适性，解决噪声污染问题。低噪声液冷系统常用介质有去离子水、醇基溶液、氟碳类工质、矿物 油或硅油等多种类型；这些液体的载热能力、导热能力和强化 对流换热系数均远大于空气；因此，针对单芯片，液冷相比于 风冷具有更高的散热能力。 同时，液冷直接将设备大部分热源热量通过循环介质带走；单 板、整柜、机房整体送风需求量大幅降低，允许高功率密度设 备部署；同时，在单位空间能够布置更多的ICT设备，提高数 据中心空间利用率、节省用地面积。高散热 如上所述液冷技术具有极佳的节能效果，液冷数据中心PUE 可降至1.2以下，每年可节省大量电费，能够极大的降低数据 中心运行成本。相比于传统风冷，液冷散热技术的应用虽然会 增加一定的初期投资，但可通过降低运行成本回收投资。以规 模为10MW的数据中心为例，比较液冷方案（PUE1.15）和 冷冻水方案（PUE1.35），预计2.2年左右可回收增加的基础 设施初投资。下图给出了传统风冷、冷板式液冷和单相浸没液 冷每年的能耗和电费对比。低 TCO图 2-1 液冷同比风冷散热能力（2MW 机房） 图 2-2 液冷同比风冷每年收益（2MW 机房） 液冷技术分为接触式及非接触式两种，接触式液冷是指将冷却液体与发热器件直接接触的一种液冷实现方式， 包括浸没式和喷淋式液冷等具体方案。 非接触式液冷是指冷却液体与发热器件不直接接触的一种液冷实现方