Een storage systeem wordt te vaak aangeschaft op basis van netto opslagcapaciteit, zonder dat er gekeken wordt naar de benodigde prestaties (Storage IO). Dit leidt tot grote uitdagingen of teleurstelling bij eindgebruikers. Hoe zorg je er voor dat je storagesysteem voldoende performance levert en ook aan de toekomstige wensen en eisen vanuit de gebruikersorganisatie voldoet? Het antwoord is simpel. 'Meten is weten….. en gissen is missen'.
Storage is meer dan alleen opslagcapaciteit. Performance van storage systemen komt voor een groot deel uit de disken. Natuurlijk leveren verschillende storage leveranciers slimme zaken, als een snelle controller met flink wat rekenkracht, inzetten van ssd ten behoeve van caching, automatic storage tiering en meer. Maar uiteindelijk is de prestatie van het systeem opgebouwd uit de som der delen, en vanuit financiële motieven vaak nog steeds veel bewegende delen.
Hoe voorkom je dat je het verkeerde storage systeem aanschaft?
Het antwoord is simpel: Voer een baseline/nulpunt IO storage analyse uit. De uitkomst hiervan dient als uitgangspunt voor de uiteindelijke aanbieding van diverse leveranciers. Dit is relatief snel te regelen en is een zeer handig hulpmiddel voor aanbiedingen die voldoen aan de eisen van de eindgebruiker en die onderling vergelijkbaar zijn. Een gedegen voorbereiding is en blijft onoverkomelijk. Een marathon wordt immers ook niet gelopen zonder gedegen voorbereiding. De eerste kilometers zijn te overleven, maar zonder training blijft de finish in de verte liggen: onhaalbaar.
Wat is belangrijk om te meten?
• Frontend IO’s/Backend IO’s ( Disk/Netwerk )
• Totale opslagcapaciteit. Wat voor data staat er op het storage systeem?
• IO Load van het huidige systeem ( Raid groups, LUNS, Volumes )
• Welke applicaties of afdelingen zijn grootverbruikers?
• Wat voor data staat er op het storage systeem?
Praktijkvoorbeelden:
• Een slecht geschreven database beïnvloedt de performance van het storage systeem negatief. Toon bij applicatiebeheerders aan dat het niet het storage systeem is maar de applicatie zelf.
• Non-business data wordt al sinds jaar en dag op het storage systeem opgeslagen. Niet alle data is even bedrijfskritisch (mp3, films, vakantiefoto’s et cetera)
• De manier van veiligstellen van data levert in de avonduren een behoorlijke load op. Dit is het moment om eens te kijken naar nieuwe technologieën (B2D, Snapshots, Deduplicatie, Dataclassificatie et cetera) Niet alles hoeft bewaard te worden.
• Vaak zijn het maar een paar afdelingen die grootverbruikers zijn op het gebied van opslagcapaciteit en performance. Maak dit inzichtelijk en probeer waarbij mogelijk optimalisatieslagen te maken. Dit is ook het perfecte hulpmiddel om mogelijk chargeback te implementeren.
De investering in een storage analyse kan een hoop tijdsverlies en ellende voorkomen. Ook is het geen overbodige luxe om geregeld een analyse te doen, ook als er geen onmiddelijke aanschafnoodzaak is. Net als bij auto’s heeft ook het storagesysteem een jaarlijkse apk nodig. Als dit enkele keren gedaan is, kan er een trend worden vastgesteld. Op basis daarvan kan gemakkelijker en pro-actiever op de toekomst ingespeeld worden om het storage beleid waar nodig aan te passen.
Hoe lang dient zo’n meting/ analyse te duren?
Minimaal een week en liefst langer. En natuurlijk wel een representatieve periode. Meet dit niet tijdens de vakantie periode aangezien de uitkomst dan anders zal zijn dan tijdens de drukke weken.
En wat moet te doen als er nu nog geen storage systeem aanwezig is?
Meet de IO load op de bestaande servers. En maak gebruik van de best-practises die er in de markt voor de diverse omgevingen gelden. Definieer ook een duidelijke roadmap naar toekomstige groeimogelijkheden.
Hoe om te gaan met toekomstige uitbreidingen?
Helaas heeft niemand een glazen bol waaruit de toekomst af te lezen is. Stel daarom vooraf een roadmap op. Wat valt er te verwachten voor de organisatie qua groei? Welke nieuwe applicaties en projecten komen er aan? Kies ook voor een modulair en schaalbaar storage systeem. Kijk uit dat het instappen niet te hoog of te laag gebeurt.
Storage analyse bij de aanschaf/ keuze nieuw platform:
Meten is weten. Een storage omgeving is een zeer belangrijke schakel in de IT-infrastructuur van een organisatie. Het centraliseren van storage is een belangrijke stap in de richting van het cloud ready maken van de it. Verkeerde keuzes kunnen verstrekkende gevolgen hebben op het gebied van performance, schaalbaarheid, beschikbaarheid en de kosten.
Een keuze voor het verkeerde platform is funest, aangezien een storage systeem meestal pas na drie tot vijf jaar is afschreven. De uitkomst van de storage analyse kan als baseline dienen voor de nieuwe omgeving. en helpen de juiste keuzes te maken op gebied van connectiviteit, protocol (CIFS/NFS/iSCSI/FC), disktechnologie (SATA/SAS/FC/SSD), software en meer. Niet iedere technologie, vaak gepresenteerd als spiegeltjes en kraaltjes door de leverancier, is even hard nodig.
Storage analyse bestaand platform:
Waar zitten de bottlenecks? Hoe schaalbaar is mijn huidige omgeving? Welke data wordt er opgeslagen? Wie zijn de grootverbruikers? Al dit soort zaken kunnen onderdeel zijn van een storage analyse. Als dit geregeld uitgevoerd wordt, kan er proactief op zaken worden ingespeeld. Op dat moment is er geen spraken meer van ‘achter de feiten aanlopen’.
Dag Ruud,
Duidelijk verhaal met een heldere structuur, maar, …… wat me vanuit mijn vakinhoudelijke achtergrond in interesseert is wat de opslag systemen voor de netwerk capaciteit en performance gaan betekenen en wat daar van verwacht wordt.
Of wordt dat deel 2?
Maarten,
Allereerst bedankt voor je feedback. Dit opinie artikel is gebasseerd op disk performance (Disk IO).
Het is zeker een goed idee om nog een keer specifiek op netwerkcapaciteit en performance terug te komen. Maar dat ging deze keer niet meer passen.
@Maarten
Heb samen met Ruud een presentatie gegeven aan je collega welke ik (minus enkele slides) ook op slideshare gezet heb:
http://www.slideshare.net/edekkinga/opslag-bepaalt-het-systeemprestatieniveau
Hierin wordt wel dieper ingegaan op het netwerk/bandbreedte verhaal.
Ruud,
Mooi artikel.
Wat mij opvalt is dat je hier duidelijk over Storage hebt (disks en IO`s daarvan) terwijl er weinig aandacht besteed wordt aan SAN. Hier en daar lees ik iets over SAN maar ik denk dat dit niet voor iedereen zichtbaar is.
Het is zeker waar dat je goed de huidige situatie moet meten, en het is ook zeer essentieel dat er genoeg tijd en aandacht aan het ontwerpen van SAN-Storage besteed dient te worden. Maar zoals je aangaf, niemand weet wat de ontwikkelingen in de komende jaren zijn. Als mijn SAN-Storage gesized is op Exchange 2010 en ik krijg over 2 jaar te horen dat we migreren moeten naar Exchange 2012 dan kan mijn hele berekening op z`n kop gezet worden. Door ontwikkelingen op het gebied van hardware (schijven) en technologieën (SAN) kan het aanschaffen van een nieuwe SAN-Storage voor deze verandering (uitbereiding met Exchange 2012) bijna net zo duur zijn als uitbereiding hiervan!
SAN-Storage is een deel van de totale infrastructuur. Heb je het SAN-Storage goed ontworpen dan kunnen veel andere zaken invloed hebben op de prestatie en belevenis aan de kant van eindgebruiker. Een voorbeeld hiervan is, de blade-infrastructuur. De blade-infrastructuur met zijn verschillende lagen kunnen de oorzaak van ellende zijn terwijl iedereen naar SAN zit te kijken. Verkeerde firmware, hardware instellingen, (virtuele)netwerkinrichting en nog veel andere zaken kunnen het feest verpesten en terwijl blade-infrastructuur zich onschuldig voordoet.
Reza,
Thnx voor je reactie. Ik heb mij in dit stuk puur gefocust op het onderdeel Storage en niet op het SAN.
Exchange 2012 levert natuurlijk een lagere IO load op, dus die migratie zal je geen performance problemen opleveren 🙂
Maar zoals ik al aangaf blijft het lastig om je voor te bereiden op de toekomst. Het is daarom van belang om een schaalbaar en modulair systeem te kiezen welke bijvoorbeeld :
* meerdere protocollen ondersteunt
* extra netwerk IO functionaliteit dmv insteekkaarten ondersteunt
* disken kan mixen in enclosures (SAS/SATA/SSD )
* minimaal nog 3 tot 5 jaar leverbaar en uitbreidbaar is
Over het Netwerk component van het SAN ga ik in de toekomst misschien nog wel eens een artikel schrijven.
Wat momenteel al een klassieke misvatting aan het worden is, dat je speciefike storage voor servers / database ook zou kunnen inzetten om met VDI’s aan de slag te kunnen. Menig seminar waarschuwt je hiervoor, maar toch, waarschijnlijk vanwege besparing, wordt dit op één en dezelfde storage omgeving gezet.
Nou Ruud, dan heb je echt een punt m.b.t. IO.
Daarnaast kom ik ook regelmatig, als Oracle DBA-er, slecht performende applicaties tegen, waarbij de leverancier altijd eerst even wijst naar de Storage, de database en de rest van de infrastructuur.
Als mijn analyse dan uitwijst dat er vele onnodige full table scans worden uitgevoerd, dan weet je dat ergeen infrastructuur aanpassing is die hiervoor een oplossing biedt. Althans niet tegen redelijke kosten.
Aanpassen van de applicatie, juist gebruik van indexes gecombineerd met hints en alles draait als een speer, met toch veel minder IO.
Simon,
Goed om te horen dat het herkenbaar voor je is. Mijn stukjes zijn ook vaak op praktijk voorbeelden gebasseerd.
Afhankelijk van de omvang van de VDI omgeving kan het handig zijn om hier een apart storage platform in te richten. Ieder type device of gebruiker heeft in een VDI omgeving andere IO karakteristieken.
Een standaard user gebruikt bijvoorbeeld gemiddeld zo’n 5 tot 10 IO’s en bij een non-standaard gebruiker kan dit nog wel eens oplopen naar 40/50 IO’s Alles staat en valt bij de devices en applicaties welke men gebruikt.
Het is daarom van belang om gebruik te maken van slimme technologie.
SSD caching en een aparte SSD tier voor je images doen hier vaak al wonderen. Ook komen er steeds meer IO offloading technieken op de markt welke hier slim ingezet kunnen worden.
Maar door goed vooraf in kaart brengen wat je nodig hebt, worden een hoop probleem voorkomen. Want bij een VDI omgeving gebeurt het nog te vaak dat er tussen 08:30 en 09:00 uur een VDI Boot storm optreedt als iedereen tegelijk wil inloggen. En dat wil je als organisatie echt niet ondervinden.