Nu de internethype weer bloeit, stijgt de vraag naar krachtige en ruimtebesparende computers, zoals bladeservers. De koelcapaciteit van de meeste datacenters is hier niet klaar voor. Het is tijd voor een nieuwe koelmethodiek, maar welke?
De nieuwste generaties bladeservers zijn energiezuiniger én krachtiger dan de voorgaande generatie. Maar door de stijgende vraag naar it wordt er zoveel extra apparatuur bijgebouwd, dat de meerderheid van de datacenters een probleem met de koeling hebben. Soms zijn er lapmiddelen mogelijk, zoals het scheiden van warme en koude paden en het blinderen van kasten. Als de vraag naar it-apparatuur echter doorzet, is het vroeg of laat tijd voor een high-density oplossing. Er zijn verschillende methodes, van waterkoeling tot Hot Corridor en Hot Aisle Containment.
Traditionele koelmethodiek
Het oerontwerp van koelmethodiek voor datacenters is gebaseerd op verticale koeling. Koude lucht wordt onder een verhoogde vloer ingeblazen, waarna deze via ventilatoren in de bovenkast de systeemkasten ingezogen wordt. De servers in een rek worden dus na elkaar gekoeld door stijgende lucht – dit wordt ook wel seriële koeling genoemd. Terwijl de lucht via de apparatuur naar boven stijgt, wordt deze dus constant warmer. De bovenste server wordt dus het slechtst gekoeld en dus het warmst. Een verbeterde versie van de traditionele koelmethodiek is gebaseerd op hetzelfde principe, maar dan met een horizontale luchtstroom door de servers (parallelle koeling). Via gaatjes in de vloertegels wordt de koele lucht omhoog geblazen en aan de voorkant van de systeemkasten (via ventilatoren aan de achterzijde) de kast ingezogen. De verwarmde lucht verlaat de kast weer aan de achterzijde, waarna het in de zaal wordt weggezogen. De systeemkasten kenmerken zich door de geperforeerde deuren aan de voor- en achterkant.
“De meeste datacenters zijn eind jaren negentig opgebouwd tijdens de internethype”, zegt Andries den Uijl, manager Industrie Standaard Servers van HP. “Bedrijven hadden geïnvesteerd in datacentra, maar na het barsten van de dotcom-bubble bleven ze leeg. Hierdoor was er jarenlang sprake van overcapaciteit, waardoor het koelprobleem pas laat aan de oppervlakte kwam. Deze datacenters voldoen niet meer aan de eisen die nu worden gesteld, zeker niet als je het hebt over high density-computeromgevingen. Dat is de uitdaging waar veel bedrijven momenteel mee te maken hebben.”
Volgens Mees Lodder van Uptime Technology speelt het koelprobleem vooral op lokaal niveau. “Een zaal kan gemiddeld over voldoende koelcapaciteit beschikken”, zegt Lodder, “maar is vaak niet berekend op een vol rek dat de limieten van de ontwerpspecificaties overschrijdt. Dit kan leiden tot lokale hotspots. Dit is te voorkomen met spreiding, wat niet altijd mogelijk is.”
Volgens Bret W. Lehman, offerings development executive bij IBM Global Site and Facilities Services (VS) werden de koelproblemen medio 2003 voor het eerst zichtbaar. “We spreken dan over koeling van 1 tot 3 kW”, vertelt Lehman. “In die tijd kon je in theorie 42 1U servers in een rack kwijt, maar dat vereiste twee tot drie keer zoveel koeling als gebruikelijk; een vol rek met 1U servers was daarom onmogelijk. Het koelprobleem begon dus al voordat bladeservers geïntroduceerd werden.” Volgens Lehman is traditionele koeling niet afgeschreven. “Er zijn nog steeds situaties waar deze voldoet, maar dat is afhankelijk van de situatie en het soort apparatuur dat er wordt gebruikt. Hoe meer men warme en koude lucht van elkaar scheidt, des te meer high density-apparatuur men kan gebruiken. Gescheiden warme en koude paden zijn daar een goed voorbeeld van.”
Hot en Cold Aisle (warme en koude gangen)
Het zwakke punt van traditionele koeling is dat koude lucht zich met warme lucht vermengt. Om te voorkomen dat de warme retourlucht van de ene rij kasten zich vermengt met de koellucht van de volgende rij is het aan te raden de koude en warme gangen van elkaar te scheiden. De systeemkasten worden dan in dubbele rijen met de voor- en achterzijden naar elkaar toe gepositioneerd. Vervolgens wordt de koellucht vanuit de verhoogde vloer via roosters tussen de twee voorkanten geblazen (de koude gang, oftewel ‘cold aisle’). De ventilatoren van de systeemkasten zuigen de koele lucht horizontaal door de servers heen, waarna de opgewarmde lucht de kast weer aan de achterzijde verlaat en in de hete gang (hot aisle) terechtkomt. Hier wordt de retourlucht afgezogen door recirculatiekasten. Dit levert een maximaal koelvermogen van 6 tot 8 kW op. Ook bij deze methodiek is er nog kans op vermenging van warme en koude lucht, bijvoorbeeld als er te weinig koude lucht in de koude gang wordt geblazen of door een verkeerde positionering van de vloertegels. Hierdoor gaat warme lucht van boven de kasten zich vermengen, waardoor hotspots kunnen ontstaan.
Hot Aisle Containment (high density)
Een stap verder is het volledig afsluiten van de ruimte rondom de systeemkasten, oftewel een ‘containment’. Hierbij wordt de luchtdistributie van de aangevoerde lucht volledig gescheiden van de afgevoerde lucht. De kasten staan met hun voorkant naar buiten en blazen de warme lucht aan de achterkant weer uit; de lucht komt terecht in een afgesloten unit. De hete ruimte wordt afgesloten met deuren en transparante plafondtegels. Koelers, die tussen (of op) de servers opgesteld staan, zuigen de warme lucht op en blazen koele lucht naar de voorzijde van de systeemkasten. Een Hot Aisle Containment (HAC) kan als afgesloten geheel in een bestaande serverruimte worden opgenomen, zonder dat de andere systemen hierdoor worden beïnvloed. De afgesloten ruimte is toegankelijk via een deur, waardoor voorkomen wordt dat koude en warme lucht zich vermengt, terwijl uitbreidingen aan het systeem uitgevoerd kunnen worden. Een verhoogde vloer is hierbij niet vereist. APC is een van de pleitbezorgers achter Hot Aisle (en Rack-Air) Containment en heeft al zijn high density-oplossingen op deze methode gebaseerd. Systems engineer Loek Wilden van APC stelt dat een Hot Aisle Containment probleemloos 15 tot 20 kW kan koelen. “Koelen is warmte neutraliseren. Hoe neutraliseer je warmte? Laat je het eerst mengen en koel je het dan? Of zorg je dat het niet kan mengen en pak je het aan bij de bron? Dat doet een Hot Aisle Containment. Hete lucht blijft in de afgesloten ruimte. Een verhoogde vloer is niet noodzakelijk, wat wel het geval is bij de meeste andere methodes. Bij Cold Corridor, in feite een Cold Aisle Containment, is er meer nodig om de koele lucht voor de kast te krijgen. Om een 10 kW-kast te koelen is 750 liter koude lucht per minuut nodig, die via geventileerde vloertegels met kracht omhoog wordt gestuwd. Een gevaar hiervan is dat de onderste systemen in het rek dan minder koude lucht krijgen.”
De TU Delft heeft voor de bouw van haar nieuwe datacenters gekozen voor Hot Aisle Containment. Volgens project manager Paul Booms is voor deze methodiek gekozen omdat de groei van het aantal systemen lastig was in te schatten. “Dankzij HAC kunnen we modulair én lokaal meer server- en koelcapaciteit inzetten als dat nodig is, door bijvoorbeeld een eenheid met 25 kW in de serverruimte te plaatsen. Dat een verhoogde vloer niet vereist was, was ook cruciaal. Aanvankelijk was berekend dat we een dubbele vloer nodig hadden om enkele tientallen 15 kW 19-inch racks te koelen. Dat zagen wij als een onoverkomelijk probleem. Om de dreiging van water nabij de racks te minimaliseren, zijn alle vloeistofleidingen onder de vloer gemonteerd en loopt alle elektra boven de kasten.”
Cold Corridor (high density)
Het Cold Corridor-principe richt zich op de koude gang. Per twee rijen is een luchtdichte gang gecreëerd, volledig geïsoleerd van de rest van de serverruimte. Alle systeemkasten hebben alleen maar openingen voor het aanzuigen van koele lucht. Door koude lucht in de verder luchtdichte gang te blazen ontstaat er een koude gang (de ‘cold corridor’). Hotspots zijn beter beheersbaar, omdat er effectief op de juiste plekken kan worden gekoeld. Het voordeel van Cold (en Hot) Corridor is dat thermische menging uitgesloten is; daardoor is de temperatuur van de koellucht onder- en bovenin de systeemkast constant. Ook is de positionering van de vloerroosters minder bepalend voor een optimaal koelresultaat. Een mogelijk nadeel van een Cold Corridor-contructie is dat deze meestal gepaard gaat met een verhoogde vloer om de koude lucht de gang in te blazen. Ook zijn de gangpaden breder dan gemiddeld. De warme gang, aan de achterzijde van de systeemkasten, is merkbaar warmer dan gebruikelijk in een serverruimte (26-30 °C). Een logisch gevolg, omdat de koellucht zich niet mengt met de warme retourlucht. Vanwege de constante koude luchtstroom is 10 tot 20 kW per kast mogelijk.
InterConnect, een isp voor de zakelijke markt, heeft onlangs een nieuw datacenter in ’s-Hertogenbosch in gebruik genomen waarbij de koeling gebaseerd is op Cold Corridor. “Deze keuze is gebaseerd op basis van capaciteit, flexibiliteit, efficiëntie en kosten”, zegt Igor Swinkels, marketing manager. “Door de flexibiliteit van de geperforeerde vloertegels is de koude luchtstroom goed controleerbaar waardoor hotspots niet of nauwelijks meer ontstaan. De ruimte wordt alleen gekoeld waar dat nodig is. We halen nu 10 kW per rack. Dit is alleen te overtreffen met In-Row-koeling, wat veel duurder en minder goed te controleren is.”
Volgens Swinkels is vooraf uitgebreid onderzoek gedaan naar andere koeloplossingen. “We hebben gekeken naar ‘ruimtekoeling’, In-Row-koeling en Hot Aisle Containment. Bij ruimtekoeling zijn losse airco-eenheden geplaatst. Dit is betaalbaar en schaalbaar, maar minder efficiënt omdat de gehele ruimte wordt gekoeld. Ook is de airflow slecht controleerbaar, waardoor al snel hotspots ontstaan. In-Row-koeling is relatief betaalbaar als het om een klein aantal kasten gaat, maar was met het oog op uitbreiding niet logisch. Bovendien worden de airco-eenheden tussen de apparatuur geplaatst, wat watertoevoer vereist en daardoor storingsgevoeliger is. Over Hot Aisle Containment waren we niet enthousiast omdat er in de warme gang onaangenaam hoge temperaturen bereikt worden.”
Rack-Air Containment (high density)
Een Rack-Air Containment-eenheid is een systeemkast met alles erop en eraan. Een dergelijke eenheid functioneert onafhankelijk van andere eenheden in het datacenter en zorgt zelf volledig voor de eigen koeling (op kast- in plaats van zoneniveau). Warme lucht uit de servers wordt aan de achterkant aangezogen en gekoeld. De gekoelde lucht wordt aan de voorzijde horizontaal de systemen ingeblazen. Doordat de kast afgesloten is, blijft alle lucht in de eenheid. Door het beperkte aantal te koelen kubieke meters en het ontbreken van thermische vermenging kan de koelcapaciteit oplopen tot 30 kW en hoger. Een nadeel is dat met het openen van de deur, bijvoorbeeld om nieuwe apparatuur te plaatsen, de koelcapaciteit tijdelijk afneemt.
Conclusie
Voor koelproblemen zijn incidentele en structurele oplossingen mogelijk. Warmtegenererende servers kunnen verspeid worden over meer racks of er kan op lokaal niveau extra koeling worden ingeschakeld (In-Row of In-Rack). Als de vraag naar it-apparatuur bijft groeien, lijkt een high density-omgeving vroeg of laat echter pure noodzaak.
Waterkoeling, oplossing of hype?
Een methode die al enige tijd bestaat, maar pas recent flink aan populariteit wint, is waterkoeling. Aan de achterkant van de systeemkast wordt een deur met een waterkoelingseenheid geplaatst, ook wel ‘rear-door heat exchanger' genoemd. De verwarmde lucht die uit de servers komt gaat via deze deur naar buiten en wordt door het koude water gekoeld. Op deze manier blijft de temperatuur in de serverruimte laag en zijn er minder airconditioning-eenheden nodig. Bret Lehman van IBM noemt het Georgia Institute of Technology als voorbeeld van een situatie waarin waterkoeling succesvol is. Lehman: "We hebben daar een cluster van supercomputers, gebaseerd op duizend dualcore AMD Opteron-bladeservers. Hierbij hebben we rear-door heat exchangers gebruikt; een watergekoelde oplossing om de warme retourlucht te koelen. Hierdoor is deze lucht zo'n 60 procent koeler, voordat deze weer in de serverruimte terechtkomt. Deze watergekoelde oplossing reduceerde het aantal benodigde airconditioners. Ook was er veel minder ruimte nodig voor het cluster en bleef de geluidsoverlast beperkt."
Volgens TelecityRedbus zijn watergekoelde racks echter vooral het resultaat van uitgekiende marketing. Jeroen Schlosser, operations manager bij TelecityRedbus, stelt dat zijn ervaring leert dat luchtkoeling voor een datacenter het meest kostenefficiënt is. Schlosser: "Het installeren van extra koelelementen is kostenverhogend. Voorstanders van waterkoeling stellen daar tegenover dat de koelcapaciteit een stuk hoger ligt dan bij luchtkoeling. Dat is op zich juist, maar met luchtkoeling kunnen wij racks tussen de 6kW en 10kW uitstekend koelen. Daarboven loont het zich in een datacenter om de apparatuur te spreiden over meerdere racks. De uiteindelijke kosten per server vallen dan lager uit dan bij een rack-specifieke koelinstallatie, mede omdat waterkoeling veel extra componenten vereist. Water in een datacentrum blijft een potentieel gevaar; een lek in het koelcircuit waarbij het water het rack inspuit is geen prettige gedachte."
