Ingeklemd tussen sloten en meren vormen Vinkeveen, Mijdrecht, Wilnis en nog enkele andere kernen de gemeente De Ronde Venen. Om er zeker van te zijn dat de 200 pompen en gemalen het water buiten de deur houden, wordt de afvalwaterhuishouding nauwlettend in de gaten gehouden door de IT infrastructuur van de gemeente. Het is slechts één van de rollen die het ICT systeem vervult: het is tevens de opslagplaats voor vele duizenden documenten en afbeeldingen, die voortdurend en vanuit verschillende vestigingen door meer dan 250 ambtenaren geraadpleegd moeten kunnen worden. Dat stelt hoge eisen aan de beschikbaarheid van de ICT omgeving. Geen makkelijke opgave voor Senior Systeembeheerder Richard van Valderen en zijn collega's, te meer daar de hoeveelheid gegevens jaarlijks méér dan verdubbelt en er verschillende besturingssystemen in gebruik zijn: Novell NetWare, Microsoft Windows Server, IBM OS/400, Linux en Windows XP Professional.
Minder platforms eenvoudiger te beheren
De eerste stap naar een hogere beschikbaarheid was de reductie van het aantal besturingssystemen. Waarom was dit aantal zo hoog? Richard van Valderen: "Het zijn de applicaties die om specifieke besturingssystemen vragen. Zo ben je als gemeente voor je basissoftware aangewezen op de applicaties van Centric of Getronics Pink Roccade. De Ronde Venen maakt gebruik van software van de laatste en heeft daarvoor een IBM AS/400 systeem in bedrijf, met alle bijbehorende uitwijkvoorzieningen, kennis, back-ups en – niet te vermijden – beheerproblemen.
Een paar jaar geleden zijn we begonnen met het reduceren van het aantal besturingssystemen. Novell en Linux gaan al samen, dus dat is eenvoudig. Inmiddels heeft Getronics Pink Roccade een aantal modules van hun software naar SAP gemigreerd, SAP draait ook op Microsoft server zodat we de AS/400 geleidelijk kunnen uitfaseren. Over 3 tot 5 jaar hebben we in de gemeente geen kennis meer nodig van de AS/400, terwijl voor dit systeem ook geen uitwijkconstructies meer nodig zijn. Daarmee wordt veel geld en tijd bespaard, die we benutten om de beschikbaarheid van het overblijvende platform te optimaliseren."
Opslag loskoppelen van de verwerking
Een tweede factor die de beschikbaarheid van systemen negatief beïnvloedt is volgens Richard van Valderen de koppeling tussen opslag en verwerking. "Telkens als de hardware tekort schoot, moest de complete hardware vervangen worden. Bijvoorbeeld bij onvoldoende opslagcapaciteit moest er een nieuwe server komen. Een paar jaar terug hebben we daarom besloten om de storage los te koppelen van de verwerking. We hebben toen een Compaq MSA1000 aangeschaft, een echte storage server. Deze is drie jaar in bedrijf geweest en dat is zeer goed bevallen. Een dergelijke storage server is flexibel: als je opslag nodig hebt, is die er, en zo niet, dan schuif je er gewoon een extra vaste schijf in.
Elke 12 maanden verdubbelt onze opslagbehoefte en dat is meer dan gemiddeld. Applicaties als PowerPoint en Word, maar vooral het gebruik van de digitale camera zijn daar verantwoordelijk voor. Kon de OZB (voluit: Onroerende Zaak Belasting) afdeling vroeger met een of twee foto's van een pand volstaan, tegenwoordig worden veel meer beelden opgeslagen. Een onverwachte gebeurtenis, zoals een tijdje geleden de dijkdoorbraak in Wilnis, brengt altijd een extra grote hoeveelheid digitale informatie met zich mee. De systemen moeten daarop berekend zijn. Door middel van uitbreidingen zou de MSA1000 de opslagbehoefte wel kunnen bijbenen, maar als je jezelf vraagt, ‘hoe groot zijn we nu, hoeveel hebben we nodig en hoe ziet dat er in de toekomst uit', dan is het antwoord dat de continuïteit met het toenmalige systeem niet te garanderen was.
Met wie ga je in zee?
Richard van Valderen vertelt hoe hij met i³ solutions in aanraking is gekomen: "We hebben onze drieledige vraag voorgelegd aan diverse leveranciers. De meesten vertellen alleen maar over wat ze willen verkopen en bevelen oplossingen aan die in hún straatje passen. Je hoort dan allerlei oplossingen, zoals iSCSI, maar die gaven ons niet het gevoel van stabiliteit en zekerheid voor de toekomst. Vanwege de goede ervaringen met de MSA1000 vroeg ik onze printerleverancier, een HP dealer, of hij ons in contact kon brengen met Hewlett-Packard. Daarop volgde een gesprek met een specialist van Hewlett-Packard, die de mogelijkheden, de doorgroeivoorzieningen, maar ook de beperkingen van verschillende HP oplossingen op diverse niveaus uiteenzette.
Al snel werd duidelijk dat de HP EVA voor ons dé machine is. Zo'n apparaat kun je echter niet rechtstreeks bij Hewlett-Packard kopen, dit verloopt altijd via een HP Preferred Partner. Gevraagd naar de beste leverancier op dit gebied, stelde HP ons voor om in zee te gaan met i³ solutions, omdat deze partij gespecialiseerd is in storage."
Remco van der Molen Kuipers, Senior Account Manager bij i³ solutions: "Dat klopt, onze kernactiviteit is data-opslag. We hebben natuurlijk wel verstand van servers, werkstations, infrastructuren en we integreren dit ook zeker in onze oplossingen, maar het is vooral door onze kennis van storage dat we in Nederland een marktaandeel van 25% hebben weten te verwerven!"
Back-up drie kilometer verderop
De gemeente De Ronde Venen stond voor de keuze: wordt het een HP EVA 4000, 6000 of 8000? Remco van der Molen Kuipers: "Er is bewust gekozen voor de HP EVA 4000. Deze heeft een capaciteit van vier shelves voor elk 14 schijven van 300 tot 500 GB. Door middel van een uitbreiding kan verder uitgebreid worden tot het niveau van de EVA 6000, voorlopig zal dit niet nodig zijn. De kosten van de duurdere EVA 6000 zijn hierdoor uitgespaard, terwijl je met behoud van investering toch kunt upgraden, mocht dat ooit nodig zijn."
Richard van Valderen: "De order werd in oktober geplaatst . Met een levertijd van 6 tot 8 weken heb je dan voldoende tijd om een projectplan op te stellen. In het plan werd onder meer opgenomen dat de MSA 1000 bij de back-up server op 3 km afstand in Wilnis zou komen te staan. Door de uitstekende infrastructuur met glasvezelbekabeling kunnen we onze IT infrastructuur namelijk eenvoudig spreiden en daar ben ik een groot voorstander van. Mocht op locatie A iets misgaan, dan kunnen de systemen op locatie B de activiteiten naadloos overnemen."
Voor het projectplan werden twee disciplines gehanteerd: Prince2 en het ABSP reglement van HP. Remco van der Molen Kuipers: "Het ABSP reglement houdt in dat we gebruik maken van officiële formulieren van HP, waarop we onze implementatie van A tot Z documenteren. Deze formulieren worden bij HP ingediend en door hen beheerd. Daarmee is de kwaliteit van de oplossing geborgd: mocht er ooit iets in de relatie tussen i³ solutions en de gemeente veranderen, dan hoeft dat geen consequenties te hebben voor het functioneren en de ondersteuning van de systemen, omdat de volledige documentatie bij een derde partij (HP) beschikbaar is. Ik zeg het wel eens als volgt: HP is de beheerder van de architectuurbepaling en i³ solutions verzorgt de invulling ervan."
Uitrol
De implementatie en de uitrol zijn vlekkeloos verlopen. Richard van Valderen licht toe: "Als je storage overhevelt kan niemand erbij. En je kunt pas stoppen als de klus helemaal klaar is, je kunt niet halverwege onderbreken. We moesten de migratie van de MSA 1000 naar de EVA 4000 dus uitvoeren in een week dat het gemeentehuis gesloten is. De beste tijd daarvoor was tussen Kerst en nieuwjaar. Als gemeente kun je echter ook dan niet zomaar een hele week volledig dicht daar wettelijk geregeld is dat een geboorte of overlijden binnen minimaal 3 tot 5 dagen officieel geregistreerd moet zijn. Er moest midden in de week een openstellingmoment zijn. We hebben dat opgelost door in het begin van de week alle gegevens voor de Windows omgeving van de MSA naar de EVA over te zetten. Na het openstellingmoment hebben we de tweede helft van de week plus het weekend benut om de gegevens voor het Novell platform van de MSA naar de EVA te kopiëren.
Dat betekende wel dat we midden in de week tijdelijk met een dubbele storage zaten. Dat zag er heel bijzonder uit vanwege de vele losse kabels, die we die dag voor beide gescheiden platforms tijdelijk tussen de servers en de twee storage oplossingen moesten leggen."
Back-up strategie
Richard van Valderen: "De back-up vindt plaats in de vestiging in Wilnis. Elke back-up geschiedt naar disk. We hebben daar de 'oude' MSA 1000 neergezet met 2,5 TB schijfruimte. Hierop passen momenteel makkelijk twee volledige back-ups. De back-up van server naar server gebeurt 's avonds na sluitingstijd. Van de vaste schijven wordt op hun beurt weer een object copy naar tape gemaakt. De hiervoor geplaatste tape-library kan daardoor op vol vermogen draaien. Dit gebeurt doorgaans overdag."
Op de vraag welke back-up software wordt gebruikt antwoordt Richard van Valderen: "We hebben onder meer gekeken naar ArcServe en Veritas. Beiden vereisen echter aanvullende Open File Agents voor Oracle en SAP. Om prijstechnische redenen hebben we gekozen voor Data Protector 5.5, omdat de OFA's hier standaard al in zitten. Bovendien is DP5.5 optimaal te integreren met de EVA tools. Hoewel we ons daar nog niet in verdiept hebben, kunnen we nu bijvoorbeeld ‘snapshots' maken."
Beschikbaarheid in cijfers
Het systeem draait inmiddels lang genoeg om iets te kunnen zeggen over de beschikbaarheid. Richard van Valderen: "Onze servers zijn natuurlijk niet ieder voor de volle 100% beschikbaar, want er is er altijd wel een vol bezet door bijvoorbeeld een software update, maar doordat we de activiteiten goed gespreid hebben over de diverse servers is de beschikbaarheid van het totale systeem qua services beslist 99,99 %. Als in de clusters ergens een proces uitvalt, dan is er meteen een andere server in de cluster, die de taken overneemt. We hebben onze IT infrastructuur zó gedimensioneerd, dat elke server in een cluster van drie servers de taken van de twee anderen erbij kan nemen, dus als twee van de drie servers uitvallen, is dat geen probleem."
Mensen denken wel eens dat een gemeente alleen werkt gedurende de openingstijden van 9 tot 5. Maar als ik naar onze systemen kijk, dan is dit een volcontinu bedrijf! De afdeling Telemetrie, die verantwoordelijk is voor de afvalwaterhuishouding, houdt constant de 200 pompen en gemalen in onze gemeente in de gaten. Een voortdurende beschikbaarheid van de IT systemen is een voorwaarde, want ook buiten kantooruren kunnen er hoosbuien losbarsten. Deze verantwoordelijkheid zal nog verder toenemen, omdat we de komende jaren naar 700 pompen en gemalen gaan."
Alles dubbel
Richard van Valderen gaat voor dubbele zekerheid: "Je begint voorzichtig met een dubbele voeding, dubbele opstartschijven, dubbele netwerkkaarten, dubbele ventilatoren en uiteindelijk kom je op een redundante bedrijfsvoering. Dit is het ultieme wat we kunnen bereiken. Onafhankelijk van plaats, tijd en beschikbaarheid van het gemeentehuis een bedrijfsvoering die up en running is. Om dit te bereiken hebben we een groeipad uitgezet, te weten: gegevens redundant en op afstand, functionaliteit op afstand en uiteindelijk de bedrijfsvoering op afstand. Door in te steken op continuïteit worden opeens andere zaken belangrijk, zoals koeling van de serverruimte, maar ook een constante energievoorziening. We hebben al een UPS, een aggregaat en dubbele koeling. Uiteraard hebben we een signaleringssysteem via Inside Manager en Bigbrother, maar als die in werking treedt kan het al te laat zijn, dus willen we die signalering vóór zijn!
Zo bouwen we een volledig redundant systeem, niet door alles dubbel uit te voeren – want dan doen we toch wel – maar vooral door te divergeren, zeg maar de systemen te spreiden. Microsoft Cluster Server, Novell Cluster Server en onze uitstekende infrastructuur stellen ons in staat om dat te realiseren."
Samenwerking
Over de samenwerking tussen i³ solutions en de Ronde Venen is de gemeente zeer tevreden. Richard van Valderen: "Dat komt vooral omdat het een gedeeld project was en we de implementatie samen uitvoerden. Tussen onze mensen en de specialisten van i³ solutions werd enorm veel kennis uitgewisseld. Elke keuzemogelijkheid, elke instelling van de tooling software werd besproken en samen bepaalden we welke de beste was." Remco van der Molen Kuipers: "Dat is iets wat we graag uitdragen. Hoewel onze klanten op onze vestiging in Vianen diverse trainingen kunnen volgen, is het ‘leren tijdens de klus' één van de waardevolste instrumenten om kennis op te doen."
Tot slot
Richard van Valderen: "Onze strategie dient één doel: de gegevens moeten altijd beschikbaar zijn. Ongeacht of we te maken hebben met een stroomstoring, een hittegolf, brand of een andere calamiteit, in De Ronde Venen willen we te allen tijde voorkomen dat de informatiestroom stagneert! Met andere woorden wij gaan voor continuïteit van de bedrijfsvoering.
