如果按照形态来分:液冷机柜分成了卧式机柜和异构式。
由于超算通常采用的是异构形态的服务器,因而机柜采用了定制化的解决方案,如上述ob欧宝超算中心来自于同集团的ob欧宝曙光,由ob欧宝曙光提供服务器,曙光数创提供基于系统(包含机柜)和部署服务。
浸没液冷机柜结构由哪几部分组成?
故此,不妨以更具普适性,更具规模体量部署前景,更具典型性的单相液冷卧式机柜式架构,作为浸没液冷机柜(Tank)的剖析基础,穿插相变液冷的独特单元或功能模块的说明。
整个浸没液冷机柜(系统),大体可以分为以下几个组成部分:
一、主机柜柜体
如果把竖着的Rack理解为冰箱,那么倒下来的Tank就是机柜。典型的机架式服务器,以不同于Rack的横置,而改为竖直部署。
正常来说,服务器的维护面朝上,电源面在下。但这样的问题是,服务器进出机柜,电源线的插拔,都异常困难。对调过来,显然维护调试又是问题。因此浸没液冷服务器,需要重新优化,实现同侧(顶面)维护,底面只负责输送冷液。如阿里在《ODCC浸没液冷规范》所列出的:
假如部署体量,不足以进行高度定制,需要对标准的机架式服务器进行改造,实现同侧运维及电气连接。
通常的做法是,管里面朝上,电源至于底端,但是被转接到上部。如下图所示的转接方式:
柜体的大小,按照通常的要求是参考Rack尺寸定义,即长度为42U-54U之间;高度取决于服务器尺寸三围中的长度数据,通常以800mm为标准的话,会增加额外的400-500mm用于线缆转接口、进液和出液口、固定结构等;Tank的深度,以19英寸或21寸服务器的宽度为基础,增加300-400mm。
Tank高度示意图
因而Tank的尺寸通常为:
长:2200-2800mm
宽(深):850-1200mm
高:1100-1350mm
典型52U浸没液冷Tank参考尺寸如下:
A类标准单机柜布局示意图
柜体材料,采用常规304,两面焊接,并作保压测试,根据尺寸大小,和冷媒种类,选择不同的材料厚度,以及密封材料。
主机柜通常会采用包含可视视窗的上盖,一方面用于可是观察,一方面也可减轻采用全金属上盖的重量。在单相架构中,多采用锁扣铰链做密封紧固。相变架构,则需要法兰式密封机构。
单相架构密封机制示意图
相变架构密封机制示意图
问题与思考:
针对19英寸和21英寸的兼容性要求,需要机柜需要一定的灵活度
通常采用冷液下进,热液上出的方式。电源从下至上调整后,电源处在相对温度最高的区域。应当注意适当的选型,并设定合理的冷却条件。
Tank底部应针对IT设备的流道分配设计和优化,以确保冷液进入Tank后,把有限的扬程和流量,优先给予发热器件,并尽量减少压降损失,直至回液给CDU。
二、配电柜
配电柜通常依附于主机柜,也可列装部署于机房一侧。区别于动力柜单元,配电柜通常采用1对1的架构,内置PLC和控制器。
因主体功能不同,又分为2个部分。既负责高压电气部分的连通或短路控制,也负责传感器数据采集、控制和负载设备的供电管理。
问题与思考:
机柜的配电柜,也可以理解为控制柜。提供Tank自身及内置IT设备的电力输入通道,不提供CDU的动ob欧宝。但需要收集CDU的传感器数据。
能够接入机房的大动环
三、换热单元
这部分就是本文初定义的CDU,也是核心换热单元。其中主要器件为循环泵和板式换热器,辅以必要的阀门、管路、传感器。
基本的换热效能,固然经过严格的传热仿真计算。除此之外,为了进一步降低PUE,在低负载的情况下,通常ob欧宝过变频器控制泵的转速和流量,进一步节约能耗。
为满足A/B/C不同等级的需要,主机柜跟CDU的配比,可以选择1+2、1+1或N+1的不同组合方式。通过预设的逻辑控制程序,可以停止、调换不同的应急、冗余泵组。
在CDU的布局空间中,通常还会在管路上设置旁路过滤系统,主要处理3种目标过滤对象,分别为水汽(液态)、杂质、塑化剂等有机物。根据过滤对象的不同,选择不同的滤芯,并设定合理的监测手段(如压降监测),实现人工或自动的过滤启动及替换机制。
CDU的供电来自于独立的暖通系统供电,独立于设备主机,也不接入UPS。
问题与思考:
相比于对标准品CDU的改造,定制化的CDU更适合系统的整体架构
如果选用油类物质作为冷媒,油泵的选型主要考虑安全性和噪音指标;采用氟化物为冷媒,主要考虑泄露密封情况
考虑到运维的便捷,相变架构案例中,有不少采用的是分体式设计,如曙光的“硅立方”解决方案,蒸汽从刀片组集中到CDU进行集中冷凝,再回流并分配至各个刀片。CDU内置集群冷凝器,用于冷媒蒸汽的冷凝。冷凝器的内部供水依然来自外部冷却塔。此时的难点,将是如何控制并分配到各个刀片的流量。过快造成刀片堵塞气路,影响蒸汽排出;过慢液位持续下降,烧毁器件。如果刀片内计算节点的负载发生变化,情况会更复杂。
减少有机物的污染,是确保冷媒(无论油还是氟化物)长期稳定运行的关键。CDU的过滤系统,起到了至关重要的作用。由于设备端材料成分的复杂性,针对可能析出的不同有机物的吸附,需要根据实际情况,反复实验。但这类滤芯的有效性实时监测会很困难,因而通常是模拟测试并设定额定的维保周期。
四、电气连接
存在着两种典型的电气连接处理方式,PDU位于主机柜内,液面之上;或PDU位于主机柜背后,根据IT设备的电气性能要求,选用适配的穿壁连接器。
一般尽量不采用单纯的格兰头作为线束穿壁连接,其密封性无法满足密封要求,哪怕是单相架构中,高沸点的冷媒。也会在长期高温(50℃±5℃)下,挥发出气态冷媒,其饱和蒸汽压会驱动其他从穿壁处渗漏。如选用格兰头,应当达到气密级别。
问题与思考:
市电和高压直流供电,有时同时被需要。因此要根据情况,预留足够的接口空间。
由于无法实现全铜排连接,ob欧宝的使用要特别主要避免采用PVC材质的线缆皮,并且需选择不含塑化剂的材料。塑化剂容易被萃取,因而造成线缆的硬化,长期运维操作,可能导致泼皮、短路。
五、弱电连接
服务器和交换机需要应对的弱电转接,主要是光纤(或RJ45),VGA(或HDMI),USB这3类。同样的原则都是需要采用气密性的穿壁连接器作为中转连接器,而非线缆式直接走格兰头收紧。
问题与思考:
处理光纤的主要手段是穿壁式Pigtail连接。适合运维。
针对高速传输要求的数据接口,需要注意连接器的选型适配。
各种传感器数据,也需要密封转接进出,可以考虑采用集成式的控制板,或者无线传输。
六、压力控制
在5.4.3条目中,已经有说明。即使是单相架构中,并没有利用冷媒的两相态换热。但是依然有持续的液态冷媒气化的过程,在没有达到饱和蒸汽压之前,Tank内部始终处于对外的持续压力增加状态。因而需要做一定的压力控制。
单相架构的压力控制,主要是密封结构为主的结构压力控制。设定一定的承压点作为设计基础。
问题与思考:
相变架构比较复杂。既有机械结构上的密封控制,又要做后台软件上的压力控制。从部件看,既有法兰密封结构,又有电磁阀和泄压机构。既要满足正常运行中的承压,又需要在系统运行中出现意外失效(失控)后,压力的主动释放,以保护柜体和元器件。持续的压力增加,会急速拉升冷媒的沸点,如果保护断电机制和急速制冷机制没有生效,不做主动压力释放,将引起元器件的大批量烧毁。
要注意的是机柜断电后,由于负载还存在余热,CDU通常会持续运转一段时间,直至完全冷却。这个过程,应注意保持负压阀的开启。
从压力控制的角度来看,曙光“硅立方”是目前做到比较好的解决方案。CDU集中冷却并控制压力。刀片独立实现,通过快接连接器,液进气出,运维过程不影响CDU的整体平衡。
七、总控系统
控制系统的数据来自于传感器的数据反馈,通过PLC进行收集及模数转换,做出预设策略下的系统状态判断,并实施干预和控制。
包含并不限于以下传感器:
温度传感器
数字式压力计
浮球感应器
电导率传感器
流量计
八、冷量自动调节
冷量根据液体温度来调节,满足负载工况波动下的最优配置。
九、安全告警功能
温度过高警报
液位过低警报
压力过低警报
电导率异常警报
漏液警报等等
十、主动控制策略
超温主动宕机
液位过低宕机
强制过滤
开启备用CDU(泵组)
问题与思考:
实际上,基于以上硬件及软件上的总控架构,配ob欧宝次侧的数据采集,以及必要的泄露检测机制,这已经肩负了传统风冷机房中动环系统的很大一部分工作。这也是液冷机柜最大的特点之一。
其他组件
在大机柜系统范围内,配合运维所需要的部件和工装,亦应当被纳入。比如,补液系统,行吊系统。
十一、补液系统
由于运维的需要,部件的更换,以及系统级密封存在的长期微渗透,无论单相还是相变架构,都需要定制给机柜进行适当的冷媒补充。
另外,在长期停机检修阶段,机柜内的液体,也需要全部抽出来进行密封保存。
因而有了补液系统的存在。抽补液的过程,可以进行手动,也可以进行自动控制。补液系统,以可充电移动车的形态存在,内置过滤和压力平衡装置。能够实现跟机柜的无缝对接,并实施抽补液动作。
十二、行吊系统
液冷部署,如果采用非异构形态,而是普通的卧式Tank状态,服务器的垂直进出机柜、取放、运维,都将是兼具的任务。相比于风冷的横置状态,会更加艰难。
典型数据是,1U服务器的平均重量为18.5kg,2U为43kg,4U要超过65kg。这个重量,要确保设备垂直形态下,高出1米2-1米3的机柜上盖而提出。几乎是单人不可能完成的任务。而且一旦控制不稳,发生撞击,势必造成非常严重的后果。
行吊系统,顾名思义,可以通过机械吊臂,辅助人工操作,减轻操作难度,降低操作风险。因布置位置的不同,可以是单独的行吊车,也可以集成于机柜内部。
下面是几种行吊系统典型案例:
移动行车
内置隐藏式抬升
外置式折叠吊臂
本文标题:浸没液冷机柜结构由哪几部分组成?
本文链接://i-camp.net/faq3/151.html [版权声明]除非特别标注,否则均为本站原创文章,转载时请以链接形式注明文章出处。