数据中心的持续制冷

随着IT设备耗电量的不断提提高，数据中心基础设施技术的发展和设计理念的发展，近年来数据中心的功率密度不断提高。与此同时，由于空间布局的优化，数据中心模块的热负荷与机房模块的容积之比也在上升。制冷系统因停电、设备故障等原因中断或供配电系统切换过程中，机房模块的温升速度加快，IT设备的超温停机事故有可能发生。因此，对于系统运行中断造成严重损失的a级数据中心，在设计阶段必须考虑持续冷却。

一、持续制冷的必要性分析

制冷系统失效后，机房模块的温升速度可以大致估算。例如，如下:

模块物理空间：长17米、宽10米、层高4.5米，模块整体容积为765立方米（含独立空调间、静电地板下空间）；

热负荷：模块内部署15个网络机柜和45个服务器机柜，其中网络机柜平均功耗0.8kW，服务器机柜平均功耗5.8kW，IT设备总功耗270kW，忽略围护结构、照明、运维人员等其他热负荷；

制冷系统：采用三台显冷量为160kW的房间级精密空调，送风方式为地板下送风侧墙回风。机柜布局形成冷热通道，但未采取封闭措施。正常运行情况下冷通道平均温度（服务器进风温度）为22℃；

IT设备进风温度上限（服务器超温告警阈值）按38℃考虑；

综合上述条件，该机房模块制冷系统全部失效情况下，服务器进风温度由22℃上升至38℃的时间可由以下公式计算：

时间 = 机房容积×空气密度×空气比热容×温升÷机房热负荷

其中空气密度按1.293kg/m3取值，空气比热容按1.03kJ/kg/K取值，代入数据后可得：

t = 765×1.293×1.03×（38-22） / 270 = 60.4s

即机房模块制冷系统全部失效情况下，60秒后，IT设备进风温度将达到38度，设备内部产生超温报警。上述计算仅为理想状态下的粗略估算，仅能作为参考，实际的超温告警时间还会受到各项因素的影响：若机柜空余U位未设置盲板而造成热风回流，或机房日常温度保持值偏高，或高功耗机柜的分布过于集中，或IT设备的温度告警阈值更低，都会使得设备超温告警的时间更加提前。针对某一特定机房，可通过计算机建模并通过CFD（计算流体动力学）进行各种运行工况下的仿真，从而取得更加准确的测算结果。但无论如何，A级数据中心的设计应避免制冷系统出现全局性中断的情况，并且在系统的切换过程中，应实现持续制冷。

二、持续制冷的实现

对于不同的数据中心制冷系统，持续制冷的实现方式也不同。数据中心最常见的制冷技术包括风冷直膨系统、冷冻水系统等。

（1）风冷直膨系统的持续制冷

A级数据中心若采用风冷直膨式系统，常规的设计是为机房模块设置若干台精密空调，采用N+X冗余备份，每台精密空调均采用不同源的双路电源，并配置独立的双电源切换装置ATS以消除单故障点。由于各台精密空调之间相互独立，所以单台空调故障不影响机房整体制冷。

风冷直膨系统面临的全局性故障风险主要是市电停电，单路市电停电时，房间内所有精密空调的ATS同时发生切换动作，虽然ATS的切换时间仅为1-10秒（考虑多台延时切换），但是风冷直膨空调压缩机的重启时间要30-50秒，很容易产生机房整体的温升。

双路市电全部中断，后备柴油发电机启动，低压发电机完成启机和送电动作需要约10秒，叠加空调重启时间后，制冷恢复时间将接近1分钟。由于机房内温升的程度取决于机房热负荷与机房空间（蓄冷空气体积）的比例，如果机房功率密度更高，则有可能会发生IT设备宕机事故。

而如果数据中心选用了10kV发电机、且运维策略采用手动切换。在双路市电停电后，10kV发电机启机、并机、具备送电条件需要约15秒，若受数据中心所在地供电管理要求，运维策略为手动投入，则制冷系统的恢复至少要5-10分钟，机房内剩余的冷空气显然无法支撑如此长的时间。

为避免此以上意外情况发生，可采用两种方式：

一是风冷直膨空调由UPS系统供电。此方式能够一举解决机房内温升问题，但风冷直膨空调的运行功耗和启动电流均太大，可以预见UPS容量将明显过配，经济性很差。

另一种形式是对空调配电架构进行调整。可将该模块机房空调分为两组，第一组空调的ATS主路引自A路电源，另一组空调ATS的主路引自B路电源，则在市电停电时，最多只损失一半的制冷量，机房内温升速度将至少减缓一半（考虑N+X冗余以及空调制冷量的富余，温升减缓效果会更好）。如果有多组不同源的电源，机房空调可以分为更多小组，更大程度的降低温升，但代价是配电系统架构更复杂，不利于管理。若采用此种方式，设计单位须仔细评估机房功率密度和温升情况。

（2）冷冻水系统的持续制冷

冷冻水系统的基本设备包括冷水机组、冷冻水泵、机房末端空调等，相关设备均应采用N+X冗余备份，避免单台设备故障引发业务影响。由于冷水机组的功耗过大，无法配置不间断电源或静态转换开关STS，因此在市电切换或发电机启动并送电期间，必须通过冷冻水蓄水方式维持机房空调所需的冷源供应。

常规冷水机组的启动时间一般在10分钟左右，近年来具备快启功能的冷水机组启动时间能够达到5分钟以内，结合10kV后备发电机的并机送电及手动切换时间，机房空调失去冷源的时间也将达到10-15分钟。冷冻水管道及蓄冷罐内储存的水量应能够支持15分钟以上，同时不宜低于UPS系统蓄电池的后备时间。冷冻水泵、机房末端空调风机应由UPS系统供电。上述各类措施综合配置，才能够保持机房的持续制冷效果。

 

图一：冷冻水系统持续制冷不同控制策略下机房温升效果

（3）其他制冷方式

目前数据中心制冷技术组合多变，难以枚举。原则上达到持续制冷要求仅应考虑关键制冷设施的冗余和保障措施，对于制冷系统的节能模块可以不做要求。

以下仅举两例：

间接蒸发冷却技术近年来受到较多关注。数据中心若采用间接蒸发冷却机组，间接蒸发模块与风冷直膨补冷模块同属于关键基础设施，因此除参照风冷直膨系统的持续制冷措施以外，还应配置喷淋用蓄水罐并签署供水协议，水处理设备和喷淋泵组均应采用双路供电，喷淋泵组应配置UPS。

液体冷却技术至少包括冷板式、浸没相变式、浸没非相变式、喷淋式等多种路线，目前行业尚未形成较为统一的标准。原则上，冷源设备应按N+X冗余并配置双电源切换，冷却液的泵组应按N+X冗余并采用UPS供电，系统应设置冷却液储液装置并满足电源切换和冷源设备重启的时间要求。

三、持续制冷对运维的要求

供配电系统切换模式：数据中心持续制冷的最大挑战在于双路市电停电、发电机启动及冷水机组重启的这一段时间。从运维角度，压缩可行性最高的是发电机的投入时间。对于当前负载率不高的数据中心，冷冻水的蓄冷时间可能很长，10kV发电机手动投入也是可以接受的，但应考虑到负载率达到高位后，运维人员跑位、唱票、操作的时间是否足够充裕。在建成投产初期，应对值班室位置、值班人数进行规划。

发电机停机时间：在双路市电中断、发电机带载后，发电机应持续运行至蓄冷罐完全充冷、UPS蓄电池完全充电后再停机，以确保若短时间内再次发生双路市电停电事故，蓄冷及蓄电容量能够满足数据中心持续运行要求。

四、总结

为保障IT系统的持续稳定运行，A级数据中心应根据机房设计功率密度、后备电源投入时间、制冷设备重启时间等因素设置蓄冷装置，并在系统切换过程中维持关键制冷设施的持续运转。数据中心的运维制度和策略也要围绕基础设施的特点制定，实现机房的持续制冷。

如果您在海外有分支机构，或在海外有服务器需要传输大量的数据，要实现高清视频会议或电话会议，可以考虑使用MPLS VPN解决方案。    国际线路咨询热线：185-1068-0975