Oktober 2022
Goed scheiden warme en koude lucht datacenters biedt veel kansen
Minder energiegebruik, lagere kosten, betere kansen op hergebruik van restwarmte
Door warme en koude lucht goed van elkaar te scheiden ontstaan tal van mogelijkheden om het koelproces in datacenters en serverruimtes te verbeteren. De warmte kan veel beter worden weggekoeld of juist worden hergebruikt. Tegelijkertijd kan er dan flink worden bespaard op energie en dus op kosten. Het is daarbij wel cruciaal dat we goed begrijpen hoe het koelproces in een rack nu precies verloopt.
In 2005 bouwde Getronics de eerste zogeheten koude gang in een datacenter. Het idee was toen al om door warme en koude lucht in een datacenter van elkaar te scheiden, tot flinke kostenbesparingen te komen. De uitvoering was destijds nog niet erg hightech: een timmerman maakte van plaatmateriaal wanden om een aantal IT-racks en sloot de gang af met gewone deuren.
Inmiddels zijn we zeventien jaar verder en zitten we midden in een energietransitie. Zuinig en efficiënt omgaan met energie is – naast uiteraard lagere kosten – zeer belangrijk geworden. Om het koelproces in een datacenter te kunnen optimaliseren, is het cruciaal om exact te weten hoe koelen in een rack plaatsvindt. Getronics toonde met zijn experimenten al aan dat het van elkaar scheiden van koude en warme lucht hierbij een belangrijke rol speelt. Een schaalmodel van een rack gaat nu helpen om die kennis verder te verbeteren.
IT-apparatuur koelen
In een datacenter of serverruimte produceert IT-apparatuur veel warmte. Om de temperatuur in de racks binnen de operationele grenzen van de IT-apparatuur te houden, moet die warmte dus worden weggekoeld. Hiertoe wordt koude lucht met hulp van ventilatoren door de racks geleid. De koude lucht warmt hierbij op. Deze opgewarmde lucht dient na het verlaten van de racks verder te worden afgevoerd.
In oudere datacenters zien we dat de koude lucht voor de racks en de warme lucht achter de racks gemakkelijk met elkaar kunnen vermengen. Bijvoorbeeld doordat opgewarmde lucht tegen obstakels botst, van richting verandert en weer in aanraking komt met de koude lucht voor het rack. Hierdoor wordt de aangevoerde koude lucht warmer en verloopt het koelproces minder efficiënt.
Fysieke scheiding voorkomt dit. Denk hierbij aan metalen of kunststof platen die gaten in een rack afsluiten. Deze gaten zijn bijvoorbeeld het gevolg van lege rackposities (posities waar geen IT-apparatuur is geplaatst) of van racks met afwijkende hoogtes doordat meerdere racks met verschillende afmetingen door elkaar heen worden gebruikt. Door dit soort gaten met fysieke scheiding (ook wel blindplaten genoemd) af te sluiten, kunnen koude en warme lucht niet vermengen.
Het voordeel hiervan is dat de aangevoerde koude lucht voor het rack dus niet onbedoeld opwarmt nog voordat deze door het rack stroomt. Bovendien zijn er steeds meer datacenters die de opgewarmde lucht aan de achterkant van het rack willen hergebruiken. Bijvoorbeeld voor de verwarming van een gebouw of een warmtenet. Hoe hoger de temperatuur van deze zogeheten restwarmte, hoe efficiënter dit hergebruik kan plaatsvinden. Vermenging met koude lucht is dan dus niet de bedoeling.
Willem van Smaalen bij de GlassDC, een schaalmodel van een server-rack.
Veel vragen
Blindplaten zijn dus belangrijk. Maar kan er nog meer worden gedaan om het koelproces in een rack te verbeteren? En begrijpen we goed wat er in een rack gebeurt? Wat is bijvoorbeeld de impact als we koude lucht met een wat hogere temperatuur gebruiken? Kunnen we de luchtstromingen in het rack wellicht verder verbeteren? En wat gebeurt er als we meer of juist minder koude lucht aanvoeren?
Om het antwoord op al deze vragen te vinden, heeft Adviesbureau WCooliT een schaalmodel van een rack gemaakt in de vorm van een transparante kast waarin een server is geplaatst. Dit zogeheten ‘GlassDC’ bestaat uit een 3U rack-module met een fysieke scheiding (een blindplaat) die open en dicht kan, zodat we vermenging van warme en koude lucht kunnen voorkomen of juist toestaan. De server is een HP DL380-GL7 (2U-model, 500 W, 2 x 6 cores, 8 HDD’s) met regelbare workload. Het schaalmodel is voorzien van flow-indicatoren en temperatuur- en drukmeters. De voor- en achterdeur van het schaalmodel is, net als de deuren van veel racks, voorzien van gaasprofiel. Met een choke-module kan lucht worden afgeknepen. Met de fan/heater kan extra lucht – ‘voordruk’- en hete lucht worden geregeld. Met de air collector-module kan de luchttemperatuur aan de achterkant van de kast worden gemeten. In de kast kunnen luchtstromingen, drukverschillen en dergelijke zichtbaar worden gemaakt zoals deze zich in de praktijk ook daadwerkelijk voordoen.
In het transparante schaalmodel GlassDC kunnen luchtstromingen, drukverschillen en dergelijke zichtbaar worden gemaakt
Luchtstromingen
Met de GlassDC kijken we eerst wat er gebeurt in een server in een rack dat zich bevindt in een ruimte zonder extra ventilatie. De cpu’s zijn bezig, de fans blazen lucht van voor naar achter door de server. De voorkant van de server, die gedeeltelijk luchtdoorlatend is, vormt een fysieke scheiding tussen de lucht vóór de server en de lucht in de server. Racks kunnen aan zowel de voor- als achterzijde voorzien worden van een deur, maar dat hoeft niet. Hoe stroomt de lucht nu in een rack zonder deuren? Wat als er maar één deur wordt geplaatst? En wat gebeurt er als er zowel een voor- als een achterdeur is?
In het GlassDC zien we dat zonder deuren de flow-indicatoren nauwelijks bewegen. Het toepassen van de achterdeur zorgt voor een flow door de fysieke scheiding naar voren. De voordeur zorgt ook voor een flow naar voren. Natuurkunde leert ons dat een luchtstroom ontstaat als er een drukverschil is over een weerstand (opening/raster/gaas). Andersom: is er door een weerstand een luchtstroom, dan moet er ook een drukverschil zijn. Maar ook: geen drukverschil, dan ook geen luchtstroom. Als we door deze ‘natuurkundige bril’ naar de kast kijken, is duidelijk dat het effect van twee deuren elkaar versterkt, dus dubbel naar voren.
De druk in een gesloten ruimte (figuur 1) is overal gelijk (‘0’). Als er geen deuren zijn, is de druk aan beide zijden van de fysieke scheiding ‘0’. Is een achterdeur aanwezig, dan stroomt lucht door die deur en dus moet er een drukverschil zijn over die deur (‘+’). Vóór de fysieke scheiding is een druk ‘0’ en erachter een druk ‘+’. Er zal dus lucht gaan stromen van ‘+’ naar ‘0’, dus van achteren naar voren. Met een druk vóór de voordeur van ‘0’ en een flow door de deur, moet er achter de voordeur een lagere druk zijn (‘-’). Zonder achterdeur is de druk achter de fysieke scheiding ‘0’. Er zal dus lucht gaan stromen van ‘0’ naar ‘-’, dus ook van achter naar voren. Met een luchtstroom door beide deuren zal er over beide deuren een drukverschil zijn, hetgeen resulteert in een dubbel zo groot drukverschil over de fysieke scheiding. Er zal dus tweemaal zoveel lucht gaan stromen van ‘+’ naar ‘-’, dus van achter naar voren. Tenslotte is het belangrijk om te constateren dat als de fysieke scheiding is gesloten, er weliswaar sprake is van een drukverschil, maar omdat er geen opening is (de fysieke scheiding is immers dicht) er dus ook geen sprake van een luchtstroming is.
Tegenwoordig staan IT-racks in datacenters in afgesloten ruimtes met goed geïsoleerde koude gangen.
Temperatuureffecten
Willen we het koelproces optimaliseren, dan moeten we ook meer weten over de temperaturen van de luchtstromingen in een rack. Wat is het temperatuurverschil tussen aan- en afvoerlucht bij IT-apparatuur? Ook belangrijk: wat is het effect van recirculerende lucht (dus vermenging van warme lucht achter de server met koude lucht voor de server) op de inlaattemperatuur van de server? En hoe groot is het temperatuureffect van recirculerende lucht?
Aangezien er in veel racks deuren zitten, gaan we van die situatie uit. De eerste stap is om de temperatuur van de lucht vóór de server, evenals de luchttemperatuur achter de server te meten. Bij een gesloten fysieke scheiding wijzen de thermometers vóór en achter de server respectievelijk 22,5 °C en 35,5 °C aan. De lucht wordt door de server dus 13 °C opgewarmd. Met de fan/heater kunnen in het GlassDC verschillende inlaattemperaturen worden ingesteld. Dan blijkt dat de opwarming van de lucht door de server (ΔT) niet constant is. Deze varieert – wordt vooral kleiner – met het toenemen van de cpu-belasting en met het toenemen van de inlaattemperatuur. Bij het herhalen van het eerste experiment zonder de fan/heater en met constante cpu-belasting herhalen, loopt de temperatuur van de inlaatlucht, nadat de fysieke scheiding is geopend, ongeveer 1,5 °C op tot 24 °C. Ook de uitlaatlucht loopt op met ongeveer 3 °C (38,5 °C).
Recirculatie van eigen warme uitlaatlucht van apparatuur komt niet alleen door gaten in de fysieke scheiding. Een eerdere testopstelling met rook liet al zien dat warme lucht gedeeltelijk recirculeert door de extra ventilatiegaten die sommige servers hebben achter het front en dus achter de fysieke scheiding. Zware routers zuigen bovendien vaak lucht aan de zijkant aan. Bovendien worden routers en switches nogal eens aan de achterkant van het rack geïnstalleerd en draaien daar volledig in warme lucht.
Tijdens discussies blijkt dat koelexperts het effect van gedeeltelijke recirculatie vaak groter inschatten dan de gemeten 1,5 à 3 °C. Maar los daarvan mag het effect op IT-apparaten die volledig in warme lucht functioneren – door constructie of door installatie – gerust groot worden genoemd. Die krijgen een 13 °C warmere lucht te verwerken dan aan de voorkant van het rack wordt aangeleverd.
De hoeveelheid lucht bepaalt mede de ΔT van die lucht. Meer lucht betekent lagere opwarming, minder lucht maakt een hogere ΔT. De hoeveelheid lucht wordt door de IT-apparatuur zelf geregeld. Uit verdere metingen blijkt dat dit afhankelijk is van de inlaattemperatuur en de cpu-belasting. Blijkbaar ‘kiest’ de server ervoor om aan de veilige kant te blijven door bij hogere inlaattemperatuur en cpu-belasting relatief meer lucht te blazen.
In het GlassDC wordt niet de hoeveelheid recirculerende lucht gemeten. De opening in de fysieke scheiding komt ongeveer overeen met een rack zonder zijafdichting tussen bevestigingsstijlen en kast, maar met alle benodigde blindplaten. Daarmee is de meting ‘ordegrootte’ representatief voor een operationeel rack onder overeenkomstige omstandigheden.
Er is alle aanleiding om ‘net genoeg’ lucht aan te bieden
Nauwkeurig regelen
Binnen een rack nemen de fans van de IT-apparatuur ‘wat ze nodig hebben’. Wat nu als we die luchthoeveelheden gaan variëren? Minder lucht in het GlassDC is te realiseren met het ‘afknijpen’ van de lucht met de choke-module. De recirculatie neemt dan toe. Ook neemt de inlaattemperatuur van de server toe, evenals de uitlaattemperatuur. Er kan ‘net genoeg’ lucht worden geraliseerd door met de fan/heater extra lucht te blazen, zodat de flowindicatoren voor de opening recht naar beneden hangen. Dan gaat alle aangeboden lucht door de server en komt alle lucht van voor de fysieke scheiding. Er is dan dus geen recirculatie. De inlaattemperatuur van de server daalt nu tot aan de temperatuur van de aangeboden lucht.
Méér lucht is te realiseren door met de fan/heater extra lucht te blazen. De recirculatie slaat nu om in ‘bypass’: koude lucht stroomt ‘ongebruikt’ langs de server. De inlaattemperatuur van de server daalt nu niet (veel) verder en is gelijk aan de temperatuur van de aangeboden lucht. De uitlaattemperatuur van de kast daalt dan wel verder.
Met een luchtstroom door beide deuren zal er over beide deuren een drukverschil zijn, wat resulteert in een dubbel zo groot drukverschil over de fysieke scheiding. Er zal dus lucht stromen van ‘+’ naar ‘-’, dus van achter naar voren (figuur 3). Als minder lucht wordt aangeboden, wordt de druk vóór het rack lager. Daardoor vermindert de druk achter de voordeur en in de server. De achterdeur zorgt voor de bekende ‘+’ achter de fysieke scheiding. Het drukverschil over de fysieke scheiding is in totaal dus toegenomen (tot ‘+’/‘-’) en daarmee de recirculatie. Die extra hoeveelheid warme lucht zorgt voor een hogere inlaattemperatuur. Doordat de opwarming door de server constant is, is de uitlaattemperatuur daarmee ook hoger.
Bij ‘net genoeg’ lucht stroomt alle aangeboden lucht één-op-één door de server en mag geen lucht langs de server heen- of terugstromen. Dat is bij een opening in de fysieke scheiding alleen als er geen drukverschil is, dus vóór de fysieke scheiding ook een ‘+’. Externe fans moeten daarvoor vóór de voordeur een ‘++’ voordruk maken. Omdat er geen recirculatie is, is de inlaattemperatuur gelijk aan de ruimtetemperatuur en dus lager dan de recirculatie van het standaard rack zonder voordruk. De uitlaattemperatuur is daarmee ook minder, omdat de opwarming door de server constant is.
De LBK’s van het ventilatiesysteem van een datacenter.
We zien dus dat te weinig lucht slechtere koeling voor de IT-apparatuur oplevert. Teveel lucht daarentegen helpt niets (extra) voor de koeling. Het heeft wel consequenties voor de uitlaattemperatuur van de kasten en daarmee voor het overall-koelproces en de kosten daarvan. Alleen apparaten die volledig in de warme lucht draaien, profiteren (iets) van te veel lucht. Er is dus alle aanleiding om ‘net genoeg’ lucht aan te bieden.
Het is cruciaal om dit soort effecten goed te begrijpen. Als we namelijk rond ‘net genoeg lucht’ de druk over de fysieke scheiding meten, dan zien we dat we in het sub-Pascal-gebied zitten: 0,1 Pa tot 0,4 Pa. Daarmee zitten we binnen de onnauwkeurigheid van de drukmeters die in datacenters worden gebruikt. Hetzelfde geldt voor de gangbare flowmeters, waarvoor de te meten flow te gering is voor de meter.
Temperatuurmetingen
Tenslotte nog een ander aspect dat genoemd moet worden. Serverfabrikanten voorzien hun apparatuur van temperatuursensoren, waaronder één voor het meten van de temperatuur van de inlaatlucht. Adviesbureau WCooliT heeft de temperatuurmetingen door de inlaatsensor van de server en een analoge thermometer vlak voor de server met elkaar vergeleken. Daar blijken flinke verschillen tot wel 7 °C tussen te bestaan. Wie heeft er dan gelijk?
Die vraag is niet met een technisch experiment te beantwoorden. Moderne servers beschikken over een hard- en softwarematig subsysteem voor monitoring en beheer op afstand: Out-of-Band management (OoB), ook wel Integrated Lights Out (ILO) genoemd. Beheer kan zo plaatsvinden via een fysiek gescheiden netwerk en zo kunnen dus ook de meetwaarden van de interne temperatuursensoren van de server worden uitgelezen. Twee temperatuurmeters zullen altijd wel wat van elkaar afwijken, maar het is merkwaardig om te zien dat de door de server zelf gemeten temperatuur van de inlaatlucht fors kan afwijken van de extern gemeten temperatuur. Dit effect is niet goed te verklaren. De sensor is niet defect, want kijkend naar alle andere temperatuursensoren, blijken die allemaal keurig ‘in range’, zelfs bij 37 °C inlaattemperatuur en volle belasting van de cpu.
Tot slot
Deze en andere experimenten met het GlassDC worden met regelmaat samen met koelexperts gedaan. Hierbij wordt hen gevraagd om vooraf effecten in te schatten. Die voorspellingen zijn soms correct, maar zeker niet altijd. Wat duidelijk aangeeft dat we nog lang niet alles weten van wat er nu precies in een rack gebeurt. Dit betekent ook dat er aan het ontwerpen en installeren van koelinstallaties en racks in serverruimtes nog veel te verbeteren valt. In het kader van energiegebruik en restwarmtegebruik niet onbelangrijk.
Informatie
Wilt u meer weten? Neem dan contact op met w.vansmaalen@wcoolit.com.
Tekst: Willem van Smaalen, WCooliT, Robbert Hoeffnagel
Fotografie: iStock, WCooliT
Meer weten over innovatieve technieken en ontwikkelingen?
Meld u dan nu aan voor onze gratis nieuwsbrief.