Een aantal jaren geleden was ik betrokken bij de bouw van een gloednieuw datacenter. Dat is een grote luxe voor een datacenterbeheerder, omdat ik het gebouw hierdoor echt volledig volgens de nieuwste technologie kon inrichten. Maar tegelijk was het ook uitdagend, want een blauwdruk voor het perfecte datacenter bestaat niet. Ik wil jullie deelgenoot maken van mijn keuzes en afwegingen. In dit deel: het koelsysteem.
Op papier lijkt de keuze voor een koelsysteem vooral een keuze voor een bepaalde koeltechniek. De ruimte waar de servers staan is echter minstens zo bepalend. Serverapparatuur werkt doorgaans het beste in een omgeving van zo’n 20 tot 22 graden. Een kleine ruimte warmt sneller op, waardoor het koelsysteem veel actiever moet koelen. Er moet bovendien zestig centimeter zitten tussen het server-rack en het plafond. Een lager plafond is niet goed geschikt, omdat de koude lucht dan niet goed worden afgevoerd waardoor de fans van de servers zelf bijzonder hard moeten werken. Ook is het belangrijk dat je van onderaf koelt en is het wenselijk dat servers op een verhoging staan. Warme lucht stijgt immers op.
Buitenluchtkoeling
Mijn inziens kun je een datacenter het beste inrichten met een hoge open ruimte. De warmte kan dan ver opstijgen. Als je wilt koelen met buitenlucht, dan is het in theorie zelfs mogelijk om serverapparatuur buiten onder een afdak te plaatsen. Intel heeft hier in het verleden mee geëxperimenteerd op een locatie met een gunstig klimaat (weinig regen en een weinig schommelende buitentemperatuur). Er zijn dan echter weer andere uitdagingen, zoals bescherming tegen brand en diefstal. Bovendien kan buitenlucht niet schoon zijn. Er kunnen bijvoorbeeld beestjes rondvliegen of pollen kunnen meegevoerd worden met de lucht.
Adiabatische koeling
De klassieke techniek voor het koelen van een datacenter is nog steeds compressorkoeling, waarbij een koudemiddel, meestal water, wordt gebruikt om de warme temperatuur af te voeren en koude temperatuur toe te voegen. Door water in de buitenlucht te leiden wordt water gekoeld. En wanneer dit niet toereikend is, wordt er gekoeld met compressorkoelers. Het water wordt vervolgens gebruikt om de koude energie te transporteren en te expanderen in de datacenterruimte die gekoeld moet worden. Op zichzelf is dit een mooi systeem, maar er zijn wel dure compressors en pompen nodig, die energie verbruiken en het risico met zich meebrengen dat ze kunnen uitvallen.
Er wordt daarom veel gekeken naar alternatieve koeltechnieken die minder techniek vereisen. Dit vertaalt zich immers direct door naar een lagere energierekening en een betere prijs voor de klant. Zo wordt er bijvoorbeeld steeds meer gebruik gemaakt van oliekoeling. De datacenterapparatuur staat dan in een bad van minerale olie. Minerale olie heeft een grotere warmteabsorptie dan lucht, waardoor de warmte makkelijker kan worden afgevoerd. Een ander koelsysteem dat al wat langer in omloop is, is adiabatische koeling, ook wel verdampingskoeling. Lucht wordt dan gekoeld door koelers in de buitenlucht te besprenkelen met water waardoor verdamping optreedt.
Platenwarmtewisselaar
Adiabatische koeling heeft als belangrijke nadeel dat je te maken hebt met waterverbruik, wat ook weer kosten met zich meebrengt. Een systeem dat momenteel meer in de belangstelling staat is indirecte adiabatische koeling. De temperatuur van de datacenterlucht wordt hierbij verlaagd met behulp van de buitenlucht en een platenwarmtewisselaar. Dit houdt in dat de datacenterlucht bij een lage buitentemperatuur indirect door de buitenlucht wordt gekoeld. Wordt het buiten warmer, dan wordt de platenwisselaar bevochtigd. Het water verdampt op de plaat in de warmtewisselaar en onttrekt de warmte uit de datacenterlucht. Het is een erg mooi systeem, omdat de buitenlucht niet het datacenter in wordt gebracht. Dit soort koeling staat echter nog in de kinderschoenen. Ik heb dit systeem wel overwogen voor het nieuwe datacenter, maar er uiteindelijk vanaf gezien. De ontwikkeling hiervan is echter wel interessant genoeg om scherp in de gaten te houden.
Intelligent free cooling
Uiteindelijk heb ik voor een andere koeltechniek gekozen dan de hiervoor behandelde varianten, namelijk ‘intelligent free cooling’. Dat houdt in dat we met sensoren de buitentemperatuur in de gaten houden en die gebruiken wanneer dat opportuun is. Als dat niet zo is, gebruiken we klassieke compressorkoeling met water als koudemiddel. Een belangrijk punt daarbij is dat we afvloeiende warmte ook gebruiken voor de verwarming van de kantoortoren naast het datacenter. Dit is een geweldige manier om onze operationele kosten verder te verlagen en een compleet flatgebouw van betaalbare verwarming te voorzien.
Het voordeel van dit systeem is dat de apparatuur in het datacenter zonder aanpassingen kan worden gebruikt. We hebben niet het nadeel dat je bij adiabatische varianten hebt dat je water moet toevoegen aan het systeem. Intelligent free cooling is een combinatie van bewezen technieken, waardoor we de zekerheid hebben dat het een betrouwbaar systeem is. Bovendien is het een erg duurzaam koelsysteem door het gebruik van de buitenlucht en het hergebruik van de restwarmte voor de verwarming van kantoren.
Heb ik hierrmee de beste keuze gemaakt? Ik denk van wel. Het punt is dat er een groot aantal verschillende typen koelsystemen zijn die allemaal verschillende afhankelijkheden hebben. Dat maakt vergelijken lastig. Je zal meerdere scenario’s naast elkaar moeten leggen. Een lage PUE (power usage effectiveness) is niet het enige dat van belang is. Je moet ook berekeningen maken met deellast. Een commercieel datacenter moet hier zeker rekening mee houden.
Interessant dat je iets deelt over de keuze van koeling, maar het zo ook goed zijn om eerst je principes te delen. Een van mijn principes voor een datacenter is dat er geen water in de ruimte mag zijn. Jij hebt die keuze wel gemaakt?
Verder denk ik dat je de PUE nog verder kunt verlegen door te koelen op 25 graden, de meeste apparatuur werkt goed tot 30-35 graden.