TU Delft vernieuwt rekencentrum

Wanneer een complete serverruimte noodgedwongen moet worden verplaatst vanwege de verkoop van het gebouw, is dat niet altijd een crime. Het biedt immers de mogelijkheid om het hele ontwerp op de schop te nemen en opnieuw uit te denken, en op zoek te gaan naar betere technologie. Voor de TU Delft heeft dat geleid tot een gloednieuw rekencentrum met de nieuwste technologie op het gebied van energie en koeling.

Paul Booms, ict-projectmanager bij de TU Delft, werd 1,5 jaar geleden geconfronteerd met flinke veranderingen. Het hoofdgebouw, waar de grootste serverruimte was, werd verkocht. Tegelijkertijd werd een omvangrijke reorganisatie gestart om efficiënter te werken. De serverruimte moest verhuizen naar een andere plaats binnen de bestaande bouw van de universiteit.

Opnieuw beginnen biedt kansen. “Een doel van de reorganisatie was het centraliseren van ondersteunende diensten, ook op ict-gebied”, vertelt Booms. “Tot voor kort was alles decentraal geregeld; iedere faculteit had zijn eigen servers, machines en applicaties. Er draaiden bijvoorbeeld tachtig mailservers. Dat aantal wordt nu teruggebracht tot ongeveer drie.” Booms is projectmanager van het ‘shared service center ict’, wat een nieuwe organisatievorm is voor rekencentrum. Als centrale dienst biedt het ondersteuning en diensten op ict-gebied voor de hele universiteit, variërend van de fysieke infrastructuur tot alle applicaties die centraal gebruikt worden.

Gespiegeld

De hoofdaanleiding voor een ander ontwerp van de computerruimte was een andere. Booms: “De brand in 2002 in het rekencentrum van de Universiteit van Twente heeft een bewustwordingsproces op gang gebracht. We vroegen ons af hoe kwetsbaar we zijn. Wat kunnen we doen als ons hetzelfde overkomt? De UT was relatief snel weer operationeel omdat ze ten tijde van de brand al bezig was met de bouw van een nieuw rekencentrum. Dat bracht ons tot het inzicht dat we een aparte backupruimte op een andere locatie nodig hebben. Later is dit idee omgevormd tot het concept van twee aparte rekencentra, die onderling gedeeltelijk gespiegeld zijn. Op die manier kan je elke ramp doorstaan.”

Op de campus is gezocht naar twee geschikte locaties in de bestaande bebouwing, met genoeg ruimte en goede mogelijkheden voor fysieke beveiliging. Groeiruimte was ook een belangrijk criterium. De eerste van de twee nieuwe serverruimtes van 250 vierkante meter elk is inmiddels opgeleverd. De ruimte kan in zowel de hoogte als de breedte worden uitgebreid dankzij een lege ruimte rondom, die enerzijds extra bescherming biedt en anderzijds ruimte voor uitbreiding herbergt.

Volgens Booms is het uitgangspunt van het nieuwe ontwerp ‘beschikbaarheid en betrouwbaarheid’. De twee computerruimten spiegelen elkaar. Ze zijn beide even groot en gaan dezelfde methoden voor energie, koeling en beveiliging gebruiken. Bepaalde systemen zijn reeds redundant uitgevoerd, met dubbele mail- en dhcp-servers, backup, opslag en enkele productieservers. Op termijn worden meer productiesystemen dubbel uitgevoerd. Uiteindelijk zullen vele systemen onderdeel worden van een otap-omgeving (ontwikkelen, testen, acceptatie, productie); in iedere ruimte komt een testomgeving en een productiefaciliteit.

Nieuwe software, opwaarderingen en patches worden eerst in de testomgeving ontwikkeld en getest, waarna een acceptatieperiode volgt. Pas daarna worden ze in de productieomgeving, de andere serverruimte, ingezet. Tegelijkertijd fungeert de testomgeving als backup voor de productieomgeving. Mocht er iets mis gaan, dan is de testomgeving razendsnel als productie-eenheid inzetbaar. “Wanneer een complete ruimte uitvalt, valt dus maximaal de helft van de productie uit”, vat Booms samen. “Dit laat zich vervolgens snel opvangen door testsystemen om te zetten naar productiesystemen. De twee ruimtes zijn dus complementair en supplementair aan elkaar.”

Warm en koud

De oude computerruimte, die nog voor een klein deel in gebruik is, is volgens de traditionele methode ontworpen en ingericht. De ruimte bevat een traditionele airconditioningeenheid die koude lucht produceert en deze onder de vloer doorblaast. Die lucht komt via roosters in de vloer naar buiten en wordt door de voorkant van de systemen aangezogen. Aan de achterkant komt de warme lucht eruit en stijgt naar boven. De 19-inch rekken in de ruimte waren slechts half gevuld met ‘pizzadozen’ (1U apparaten), maar wat betreft koeling en energie was de limiet al bereikt. Booms concludeerde dat het concept niet meer voldeed. “Vanaf dat moment gingen we alles inventariseren en inschatten wat onze behoefte in de nabije toekomst zou zijn. De oude ruimte was gebouwd voor een capaciteit van ongeveer 2,5 kW per 19-inch rek, terwijl de werkelijke stroomafname een stuk hoger kon zijn. Voor meer systemen was niet voldoende energie en koeling beschikbaar, dus uitbreidingsmogelijkheden waren er niet.”

Voor de nieuwe serverruimte is dat anders aangepakt. Die ruimte wordt redundant van voldoende energie voorzien en de koelmethode ging op de schop. In tegenstelling tot de gebruikelijke koelmethodiek met ‘computairs’ (verticale luchtstroom), maakt de nieuwe ruimte gebruik van een ‘in row’-systeem van APC (horizontale luchtstroom). Dit concept gaat uit van warme en koude gangen, waarbij de systeemkasten met hun ruggen naar elkaar toe staan en de koelunits tussen de 19-inchrekken geplaatst zijn. Het plafond is bewust laag geplaatst om het aantal kubieke meters beperkt te houden.

Overstroming

In de ruimte staat een dubbele rij met ‘medium density’ systeemkasten en een speciaal ‘high density’ gebied, dat aan de bovenkant met plexiglas is afgesloten, met een dak en twee deuren. Hierdoor blijft de warme lucht gescheiden van de koele lucht. De ruimte heeft een zo laag mogelijk plafond om vermenging van warme en koele lucht tegen te gaan en de te koelen ruimte minimaal te houden. Het ‘high density’ gebied kan daardoor zo’n 15 kW energie per rek leveren en koelen, waardoor meer systemen geplaatst kunnen worden op hetzelfde oppervlak. Dit is ideaal voor bladeservers, waarvoor in de oude situatie niet genoeg voorzieningen waren. Hierdoor is de serverruimte in de toekomst nog volop schaalbaar.

Het ontwerp in de ‘medium density’ ruimte is berekend op maximaal 10 kW, wat voldoende is om het hele rek met 1U-systemen te vullen. In deze rijen zijn drie koelunits geplaatst. Zij zuigen de warme lucht aan en koelen deze met behulp van koelvloeistof (water met glycol).

Onder de vloer lopen geen netwerk- en elektriciteitsleidingen, maar alleen buizen voor de toe- en afvoer van koelvloeistof. De kabels zijn gemonteerd boven op de 19-inch kasten, gescheiden van de vloeistofsystemen, zodat ze geen schade oplopen wanneer de ruimte door overstroming onder water komt te staan. De koelvloeistofleidingen komen uit op het dak, waar drie ‘chillers’ met ventilatoren de vloeistof koelen. “We hebben slechts twee chillers nodig, maar in het hele ontwerp van de ruimte zijn we uitgegaan van redundantie met één reserve-eenheid, ofwel+1. Je moet immers ook af en toe onderhoud kunnen doen en er is altijd kans op uitval.” Voor de noodstroomvoorziening worden ups’en (uninterruptible power supply) van APC gebruikt. Die nemen bij stroomuitval de stroomvoorziening op zich tot de dieselgeneratoren zijn gestart.

Beveiliging

De monitoring van de systemen is geheel geautomatiseerd. Op tachtig verschillende plekken in de computerruimte worden gegevens gemeten, waaronder temperatuur, koeling, energie, vocht, de ups’en en vooral beveiligingszaken als bewegings- en inbraakdetectie. De ups-blokken worden één voor één opgeladen en vervolgens ontladen. Aan de ontladingsgrafieken is te zien of er nog genoeg capaciteit is. Wanneer een exemplaar niet meer aan de specificaties voldoet, krijgt de TU een geautomatiseerde mail dat de eenheid vervangen moet worden.

De monitoring van de temperatuurbeheersing en de ups’en is uitbesteed aan APC, die ook de energie en koeling ter plaatse verzorgd heeft. Volgens Booms lag uitbesteden voor de hand omdat de TU geen beheerorganisatie heeft die in continue monitoring van dit soort geavanceerde systemen gespecialiseerd is. “Bovendien worden we nu vanuit Ierland 24 uur per dag in de gaten gehouden en kan op afstand ingegrepen worden. Stel dat een ventilator kapot gaat, dan wordt de beheerder gebeld als de situatie urgent is. Tegelijkertijd wordt een onderhoudsorganisatie ingeschakeld, die direct met vervangende onderdelen op pad gaat. Het defect is dan in een oogwenk verholpen.”

Voor branddetectie is een ‘aspiratiesysteem’ in gebruik genomen. Dit systeem meet temperatuur en rook, en analyseert de lucht op de luchtinlaat van de koelunits. Het detecteert in een vroeg stadium minimale veranderingen in de samenstelling van de lucht die kunnen duiden op een potentiële brand, zoals een smeulend draadje. Bij brand wordt blusgas (een mengsel van argon en stikstof) gebruikt. Dat vult de ruimte snel en is relatief ongevaarlijk voor mensen.

Lawaai

Een nadeel van de oplossing van APC is dat de koelventilatoren veel lawaai maken, wat in deze configuratie oploopt tot zo’n 84 dB. Het is daardoor geen pretje om in de ruimte te werken, al zijn oorbeschermers aangeschaft. Booms noemt dat van secundair belang. “De geluidsproductie is flink, maar in de praktijk zal er niet vaak iemand langdurig aanwezig zijn. Voor het voorbereiden van de hardware hebben we naast de serverruimte een ‘staging area’ ingericht, waar alle apparatuur hardwarematig voorbereid wordt. Daarna worden de systemen gemonteerd in 19-inch rekken in de serverruimte, waarna de software op afstand wordt geïnstalleerd. In de praktijk is de overlast van korte duur.”

Waarom is voor APC gekozen? Booms zegt dat er weinig andere partijen zijn die hetzelfde totaalpakket van schaalbare koeling en energielevering plus geïntegreerd beheer bieden. “We hadden een ingenieursbureau ingeschakeld met de vraag hoe we een ruimte met een koelcapaciteit voor 10- en 15 kW rekken konden realiseren. Dat heeft ons op basis van traditionele koelmethodiek een dubbele vloerhoogte geadviseerd van 1,6meter.”

“Tijdens marktonderzoek rond dezelfde tijd ontdekte ik op een seminar de infrastructuur van APC. Die zag er op papier veel beter uit. Omdat het een vrij nieuwe technologie was, wilden we het graag in de praktijk zien. Na een referentiebezoek in Londen, waar we met zowel de leverancier als gebruikers hebben gesproken, waren we overtuigd. Deze oplossing biedt ons niet alleen voldoende koeling en groeiruimte, maar is op lange termijn ook voordeliger vanwege het geïntegreerde beheer, het hoge rendement van het koelprincipe, de schaalbaarheid en de modulaire opbouw. Het systeem is modulair, schaalbaar en voorzien van een beheertool, wat een absolute voorwaarde was.”

De eerste nieuwe serverruimte is inmiddels gerealiseerd. TU Delft is een van de eerste in Nederland met deze nieuwe koel- en energiemethodiek. Het project heeft inclusief de bouw 1,5 jaar geduurd, zonder al teveel oponthoud. De eerste opgeleverde ruimte stelt nu al de beschikbaarheid en betrouwbaarheid veilig voor een groot deel van de ict-voorzieningen. De ruimte is voor ongeveer de helft in gebruik.

Er is dus nog voldoende groeiruimte. Aan de tweede nieuwe ruimte wordt binnenkort begonnen, waarna de ict-faciliteiten voor de TUDelft volgens Booms optimaal zijn veiliggesteld en alle ict-voorzieningen voldoen aan een hoge mate van beschikbaarheid en betrouwbaarheid.