Eind 2014 werd de oude installatie in het twin-datacenter van de Belastingdienst afgebroken. Daarmee kwam een eind aan een complex project om de twee rekencentra grondig te verbouwen, terwijl de systemen in de lucht moesten blijven. Deze ‘verbouwing met de winkel open’, die ruim twee jaar duurde, vereiste een aanpak die tot in de puntjes was voorbereid. ‘Een militaire operatie’, aldus het Centrum voor Infrastructuur en Exploitatie van de Belastingdienst.
Het Centrum voor Infrastructuur en Exploitatie van de Belastingdienst (B/CIE) exploiteert in Apeldoorn een twin-Overheidsdatacenter. Binnen deze twee datacenters draaien de systemen van de Belastingdienst op redundant uitgevoerde servers. Het betreft alle gegevens over aanvragen, beschikkingen en uitkeringscorrespondentie, aangiftegegevens, import- en exportgegevens en btw-afdrachten. Kortom, de data voor BV Nederland.
De Belastingdienst heeft de ambitie om uiterlijk 2018 een compleet digitaal werkende organisatie te zijn. Om de verdere digitalisering van processen mogelijk te maken, was een vernieuwing van de datacenter-infrastructuur noodzakelijk. De oude twin-datacenters liepen tegen de grenzen aan van hun energie- en koelingscapaciteit. Ook was uitbreiding van de rekencapaciteit noodzakelijk.
Tijdens de verbouwing, die een paar jaar heeft geduurd, is op de locatie Quintax West een nieuw energiegebouw geplaatst, met een capaciteit van één megawatt (uitbreidbaar naar 2 MW). Verder zijn de computerzalen in zowel het datacentrum op Quintax als de tweelinglocatie op het Walter Bos-terrein, vijf kilometer verderop, gerenoveerd. ‘Onze zalen zijn ingericht naar de eisen die deze tijd stelt’, zegt B/CIE-directeur Henk Hendriks. ‘Door bijvoorbeeld gebruik te maken van ‘cold corridors’ die we hier nog niet hadden, een energiezuinig concept dat er samengevat op neer komt dat we feitelijk alleen hoeven bij te koelen als de buitentemperatuur pakweg boven de 28 graden komt. Op zo’n 95 procent van de dagen verwachten we gewoon met buitenlucht te kunnen koelen.’
Verbouwing
In 2005 stelde B/CIE al vast dat binnen een aantal jaren de datacenter-infrastructuur aan een opknapbeurt toe was. Er werd een renovatieproject gestart om de datacenters naar de huidige stand van de techniek te brengen qua infrastructuur, koeling en stroom, vertelt Edward Paijmans, ict-architect bij de Belastingdienst. ‘Nadat we in 2009 samen met de Rijksgebouwendienst een definitief plan hadden opgesteld, zijn we in 2010 de markt opgegaan met een aanbesteding. Daarin lag de focus niet zozeer op het vinden van een partij die datacenters kan bouwen, maar op een partij die een draaiend datacenter kan vérbouwen, met veel aandacht voor de powermigratie.’ De power usage effectiveness (pue)-waarde wordt geschat op 1,5.
De keuze viel op aannemer Heijmans en dochteronderneming Burgers Ergon Installatietechniek. Die melden de opdracht te hebben aangenomen voor ruim 47 miljoen euro. In april 2012 startte Heijmans met de verbouwing. De renovatie bestond uit drie belangrijke fases: de opbouw van de nieuwe infrastructuur (eind 2013 afgerond), het operationaliseren van de nieuwe infrastructuur (medio 2014 afgerond) en het weghalen van de oude facilitaire infrastructuur in de computerzalen, inclusief de elektrotechnische- en werktuigbouwkundige installaties (eind 2014 afgerond).
Stofzuigen
‘Het is een ongelooflijk ingewikkelde operatie geweest, omdat de systemen moesten blijven draaien, terwijl de onderliggende infrastructuur werd vervangen’, benadrukt Fred Bosman, manager Exploitatie B/CIE en plaatsvervangend directeur. ‘We hebben daarom heel veel tijd gestoken in de voorbereidingen en elke activiteit tot in de details doorgesproken met onze partners, waaronder het Facilitair Bedrijf van de Belastingdienst, de Rijksgebouwendienst en Heijmans. Je moet je voorstellen, we hebben zelfs de bouwvakkers aan het stofzuigen gekregen! We hebben ze laten zien in wat voor omgeving ze moesten werken en hoe belangrijk het was om zoveel mogelijk stofvrij te werken.’
Een andere voorzorgsmaatregel was dat er veel werd gewerkt in een overdruk-situatie, vult Paijmans aan. ‘We maakten gebruik van aparte techniekstroken waarin de meeste nieuwe installaties opgebouwd werden, afgescheiden van de computerzaal. Alleen, mocht er toch een lek ontstaan in die strook en er zou sprake zijn van onderdruk in de computerzaal, dan zou het stof vanuit die techniekruimte zo de zaal opkomen. Door overdruk op zaal te creëren, met veel harde lucht vanuit de koelmachines, zou het stof echter in zo’n situatie de techniekruimte weer worden ingeblazen.’
Door veel van dit soort speciale maatregelen te treffen om de computerzalen schoon te houden, konden de meeste werkzaamheden overdag plaatsvinden. Bovendien beschikte B/CIE over een tijdelijk datacenter die het samen met leverancier ICTroom had ingericht op het voormalige complex van TNO. ‘Daar konden we uitwijken met bepaalde activiteiten, zoals het uitvoeren van ontwikkeltesten en het hosten van acceptatie-omgevingen’, zegt Bosman.
Voedingspaden
De spannendste periode was de powermigratie, de omschakeling van de oude stroom- en koelinstallaties naar het nieuwe energiehuis. ‘Dat was wel een moment om ook ‘s avonds en in het weekeinde te werken. Stel dat er iets mis zou gaan, dan zou dit niet gelijk het primaire proces raken’, legt directeur Hendriks uit. ‘We hebben continu gekeken hoe we risico’s konden vermijden. De powermigratie vond daarom in april 2014 plaats, maar eigenlijk waren we al in maart klaar met de voorbereiding. Alleen, in maart loopt net de aangiftecampagne, dan ga je geen powermigraties doen.’ Om het risico van een verstoring bij de powermigratie zoveel mogelijk te beperken, had B/CIE er tevens voor gekozen om twee actieve voedingspaden in te richten, een voorziening die niet vaak in datacenters wordt toegepast. Paijmans: ‘Een voeding bleef tijdens de migratie de oude installatie voorzien, terwijl de andere voeding op de nieuwe installatie werd gezet.’
‘Je staat er versteld van wat er allemaal achter een datacenter zit aan installatiewerk’, merkt hij nog op. ‘Ik ben een keer met een aantal collega-ict-architecten van de Belastingdienst extern gaan kijken wat er allemaal in zo’n energiegebouw staat. Wij hebben verstand van middleware en ict-platformen, maar waren ons niet bewust van de energie- en koelingstechnieken die worden gebruikt. Dat was indrukwekkend!’ Bosman: ‘We zijn ook in Dublin op bezoek geweest, bij het datacenter van Microsoft. Daar zijn de motoren nog ‘ietsje’ groter dan bij ons. We hebben hier maximaal 2 MW, daar stond 27 MW, meen ik.’
‘Op een kleine bouwuitloop van drie weken en één kapotte server na is eigenlijk alles door onze grondige voorbereiding bijzonder goed gegaan’, stelt de manager Exploitatie trots vast. ‘Ook de migratie van de systemen naar de nieuwe onderliggende infrastructuur met de cold corridors in de zalen is soepel verlopen. Er is geen bitje verloren gegaan.’ Hij wijst er daarbij op dat de Belastingdienst wel zeer ervaren is in dit soort trajecten. ‘We hebben toch zo’n driehonderd changes per week, applicatief en infrastructureel, en daar zitten ook grote migratievervangingen bij. Het is bij ons een constant spel van het afstemmen van allerlei ict-ontwikkelingen op elkaar en het goed timen en plannen van het inregelen van nieuwe zaken. Wat dat betreft zijn we qua ict in Nederland vergelijkbaar met de grootbanken.’
Dit artikel is eerder verschenen in Computable magazine jaargang 48, nummer 2 van februari 2015.
Feiten
* De twin-datacenters hebben elk een vloeroppervlakte van duizend vierkante mater. De totale data-opslag is vier petabyte.
* Op het dak van het energiehuis staan twee koeltorens en is er een leidingstelsel met koelwaterpompen aangelegd met een totale lengte van zo’n 2,5 kilometer.
* Het datacenter en het energiegebouw op de Quintax-locatie zijn verbonden middels een brug, waardoor stroom en koelwater lopen. De brug is verdeeld in twee gescheiden brandcompartimenten om een nog hogere beschikbaarheid te kunnen garanderen.
* Indien de energielevering wegvalt, nemen twee vliegwielen zonder onderbreking de levering over. Tegelijkertijd starten twee dieselgeneratoren op om die energielevering binnen enkele seconden over te nemen.
Ik las eerder op deze site 57 Terabyte i.p.v. 4 PetaByte. Uit mijn hoofd is dat circa 400 MegaByte per belastingplichtige? Onze hele boekhouding met goederenhandelsadministratie van 1 jan 1996 is circa 350 MegaByte. Het jaarwerk hoogstens enkele tientallen kilobytes per jaar.
Wellicht gaat het om die pdf’s die de belastingdienst aanvankelijk liet download die invulbaar waren en die naar 80, 90 MegaByte groeiden zodra je ook maar iets invulde. Die dingen waren in die tijd van ADSL upload haast niet meer te uploaden. Geen idee hoe lang dat feestje heft stand gehouden.
Overigens begrijp ik de strategie ook niet. Het is net alsof ze een aanpak hebben gekozen voor een datacenter met apparatuur van derden, niet voor een eigen datacenter. Een eigen datacenter migreer je m.i. met data-migratie naar andere apparatuur (gevirtualiseerd) op een andere locatie of zaal, niet met zo’n operatie als hierboven beschreven en zeker niet voor 43 miljoen.
Ben benieuwd waar die vier PetaByte uit bestaat en vraag me af wat daarvan relevant is. Per kast kun je tegenwoordig standaard circa 400 TeraByte kwijt. Met op opslag gerichte behuizingen (met storage devices achter elkaar), kom je nog een stuk verder. Dat betekent dat zelfs die malle 4 PetaByte nog op te slaan is in tien standaard kasten.
Het aantal Rijksdatacentra wordt teruggebracht tot vier grote geconsolideerde Overheidsdatacenters vandaar dat er zoveel terabyte is. Naast de Belastingdienst slaan ook andere onderdelen van het Rijk hun gegevens op.
Dus toch circa 57 TeraByte van de belastingdienst? Dat stelt vandaag de dag toch niets meer voor? Voor de overheid lijkt een soort omgekeerde Wet van Moore te gelden: terwijl de kosten voor opslag, verwerking en beheer van informatie iedere twee jaar halveren, verdubbelen ze iedere twee jaar voor de overheid. IT-afdelingen van overheden en leveranciers hebben een gezamenlijk belang, namelijk dat de budgetten alleen maar groter moeten worden, nooit af mogen nemen.
Ik zet wel vraagtekens bij het feit dat men een ‘Twin Datacenter’ concept hanteerd, maar deze slechts 5 km uit elkaar zet. Bij grote calamiteiten is 5 KM niet voldoende