De afgelopen jaren is de storagemarkt behoorlijk in beweging. We zijn van lokale storage naar centrale storage overgegaan, van scsi naar fc en iscsi en vele andere verschuivingen nu er steeds meer smaken op de markt verschijnen. Wat zijn de actuele ontwikkelingen in de markt en wat zijn de voordelen of de nadelen hiervan?
Onderstaand beschrijf ik zes ontwikkelingen op het gebied van centrale storage-oplossingen. Per ontwikkeling geef ik aan wat de eigenschappen en de voor- en nadelen zijn.
Om te beginnen zijn er Non-Framed storage-oplossingen. Van oudsher zijn we in storageland gewend om een centrale storage-oplossing aan te schaffen, die bestond uit een storagehead (framed) met daaronder een aantal schijfcabinetten. Op zich niets mis mee, maar het gebeurde nog wel eens dat men te hoog of te laag instapte. Men betaalde dan voor capaciteit die men nooit zou gaan gebruiken, of men scheurde al snel uit het te kleine jasje. Hier hebben enkele leveranciers slim op ingespeeld met Non-Framed storage-oplossingen. Dit is natuurlijk een hele mond vol, maar wat is het nu precies?
Non-framed-oplossingen bestaan uit seperate nodes die voorzien zijn van alle intelligentie zoals storagehead, io-connectiviteit en disks. Deze nodes kan je als één grote cluster laten acteren. En het is vaak ook mogelijk om meerdere type nodes (nl-sas,sas, ssd ) te mixen. Groot voordeel van nf-oplossingen is dat ze modulair schaalbaar zijn. En dat ze gefaseerd kunnen groeien. Heb je meer capaciteit nodig, dan koop je een node op basis van nl-sas-disks en heb je performance nodig, dan koop een ssd-node. Ook de afschrijving kun je gefaseerd laten lopen. Waar het bij framed oplossingen vaak niet aantrekkelijk is om in jaar vijf nog een uitbreiding te doen, is dat hier wel het geval.
Framed storage oplossingen
Natuurlijk moeten we de ontwikkelingen in framed storage-oplossingen niet vergeten. Deze bestaan uit een storagehead met ondersteuning voor een aantal disks. En waar je vroeger de keuze moest maken tussen block- of filebased en iscsi of fibre channel, zie je nu steeds meer unified storage-oplossingen verschijnen. Grote voordeel van unified is dat je ‘best of breed’ in huis haalt, waardoor je per applicatie of bijvoorbeeld per hypervisor kunt kiezen wat het beste past en wat dus enorm veel flexibiliteit geeft.
Ook zie je dat deduplicatie, compressie en automatic storage tiering hier een steeds grotere rol gaan spelen. Belangrijk hierbij is toenemende inzet van flash-technologie die nu al te gebruiken is voor het vergroten van de cache van de storage controllers. Hiermee vervalt een van de grootste bottlenecks van afgelopen jaren direct. En wat zijn de nadelen van de bewezen framed storage oplossingen? De initiële keuze van het juiste model is en blijft altijd een lastige. Je moet namelijk goed inschatten wat je nu en wat je in de toekomst nodig gaat hebben. Met het risico dat je te groot of te klein instapt.
Direct Attached Storage
Dit klinkt een beetje als terug naar af want hebben we niet allemaal nog nachtmerries over direct attached storage? Deze technologie was slecht schaalbaar en voor een beperkt aantal machines of alleen lokaal te gebruiken. En de performance was voorheen ook niet altijd om over naar huis te schrijven. Maar we zien het echter dankzij onze vrienden van Microsoft steeds meer terug komen. In de nieuwere versies van bijvoorbeeld MS-Exchange zit alle intelligentie op het gebied van replicatie, reservekopieën en archivering al in de software. Eigenlijk heb je, kort door de bocht gezegd, niets meer nodig dan opslagcapaciteit en performance.
Deze trend zie je langzamerhand steeds vaker terug komen in andere oplossingen die niet van Microsoft afkomstig zijn en ‘das’ speelt dan ook een grote rol in sds. Zijn de nadelen nog altijd hetzelfde? De beperkte schaalbaarheid is niet meer zo dramatisch als vroeger, maar de beperkte fysieke connectiviteit zal altijd een bekend euvel blijven. Waar vroeger maximaal twee servers van een das-schijvencabinet gebruik konden maken, zie je nu na de invoering van de sas-technologie, dat het wel mogelijk is om met meer paden te connecteren.
Software Defined Storage
Software defined zal de komende jaren hoog eindigen in de buzz-woorden top veertig. Na Cloud is dit een zeer grote hype aan het worden. En op zich is dat ook logisch, aangezien beiden natuurlijk onomstotelijk met elkaar verbonden zijn. Maar wat is het precies? Software defined storage is niets meer of minder dan intelligente software die op standaardservers draait. De opslagcapaciteit van deze servers of de daar aan verbonden jbod’s, zal als één grote storage cluster gaan acteren. Je kan meerdere disk-technologieën met elkaar combineren in één cluster.
Groot voordeel van sdn is dat je steeds optimaal profiteert van de technology-refreshes op het gebied van cpu’s en geheugen. Een andere groot voordeel is dat je gefaseerd nodes kan vervangen en afschrijven. Dit is voor de cfo’s van deze wereld erg aantrekkelijk. Het nadeel van sds is mogelijke onduidelijkheid omtrent support want is het nu een softwareprobleem of toch een hardware probleem en wie gaat mij helpen? Maar ook hier wordt slim door de markt op ingespeeld door het opstarten van samenwerkingsverbanden op het gebied van support.
Storage virtualisatie
Eigenlijk kun je storage virtualisatie niet nieuw noemen, want het is al jarenlang in verschillende varianten op de markt. Alleen was storage virtualisatie tot voor kort erg complex en kostbaar, wat een brede adoptie door de markt in de weg stond. Hier komt de laatste tijd steeds meer verandering in.
Storage virtualisatie zorgt er voor dat organisaties meerdere soorten centrale storage naast elkaar kunnen gebruiken en vanuit een enkele heterogene laag kunnen beheren. Ideaal voor organisaties die een zogenaamd multi-vendor beleid voeren. Het is met storage virtualisatie mogelijk om meerdere typen storage oplossingen als één geheel te laten functioneren. Daarnaast heeft storage virtualisatie veel toegevoegde waarde op het gebied van datamigratie. Er zijn nu al meerdere producten op de markt die er voor zorgen dat merk A met merk B kan repliceren. Hierdoor worden datamigraties van organisaties die erg veel data hebben een stuk eenvoudiger en minder tijdrovend. Je voegt een storage virtualisatielaag toe aan je infrastructuur en laat de oude oplossing repliceren naar de nieuwe oplossing.
Ik beschrijf het ietwat versimpeld, want er komt natuurlijk wel wat denkwerk en voorbereiding bij kijken. Er zit echter ook een keerzijde aan deze medaille: de vendor-lock. Ondanks dat je dankzij storage virtualisatie meerdere merken als één geheel kunt laten functioneren, wordt je wel erg afhankelijk van de softwareoplossing.
Snellere opslag
Net als storage virtualisatie is ook het versnellen van de opslagtechnologie niet echt nieuw te noemen. De afgelopen twintig jaar hebben we natuurlijk al verschillende disk-technologieën langs zien komen. Denk maar aan de ide, pata, sata, scsi, fc, sas en ssd-disks die de aflopen jaren de revue zijn gepasseerd. Eens in de zoveel jaar komt er nu eenmaal wel iets nieuws dat mooier, sneller en beter is. Groot nadeel van nieuwe producten is dat ze vaak aanvankelijk onbetaalbaar zijn.
We staan nu aan de vooravond van de brede adoptatie van flash-technologie. Dat is ook wel te merken in de markt, want de flash-startups schieten als paddenstoelen uit de grond. Flash-technologie is qua performance een enorme vooruitgang en de technologie is eerder betaalbaar geworden dan de voorgaande generaties. Ik verwacht dat flash binnen nu en vijf jaar de nieuwe standaard zal zijn. En dan zit ik met deze voorspelling volgens andere storage experts nog erg aan de veilige kant.
Conclusie
Wat gaat de toekomst ons brengen? Dat is altijd lastig in te schatten. De tijd zal het ons leren. Ik verwacht zelf dat de rol van software defined storage steeds groter gaat worden, onder meer door een steeds bredere adoptie van de cloud. De bovenstaande varianten zijn allemaal in een bepaalde vorm vanuit de cloud aan te bieden. Alleen zijn ze natuurlijk niet allemaal even kosteneffectief en geschikt voor bijvoorbeeld een multitenant-omgeving. Dit verschilt natuurlijk per geval.
Dat software defined de toekomst heeft, is ook wel op te maken uit wat de grote spelers op het gebied van storage-oplossingen ondernemen en roepen. Storage zal vroeg of laat toch steeds meer een commodity worden, die aangestuurd wordt door een slimme softwarelaag. Op wat voor termijn dit gaat gebeuren is nog even koffiedik kijken. Voor alle oplossingen geldt echter nog steeds wat ik hier al vaker heb geroepen: meten is weten en een goede voorbereiding is en blijft het halve werk.
Jasper,
Dank voor je reactie. Ik zie die trend ook ontstaan.
Het is nu natuurlijk wel belangrijk de juiste keuzes te maken. En goed de plussen en minnen tegen elkaar af te zetten.
Dag Ruud, aardige samenvatting, maar het lijkt toch een beetje op storage voor dummies. Als er iets verschrikkelijk traag gaat dan is het de ontwikkeling van storage. Het oudste medium, dat zich mechanisch voortbeweegt is nog steeds top of the bill.
Nieuwe SDS softwarelagen zijn als het een facelift van een volkswagen kever. Daarnaast gebruikt storage ook nog behoorlijk wat energie, is onderhoudsintensief en zijn de systemen niet of nauwelijks schaalbaar.
SSD en Flash blijft ook in zijn ontwikkeling steken en het wachten is juist op nieuwe technologie op dit front die zorgt voor meer capaciteit tegen lagere kosten en hogere schrijfsnelheden.
Willem,
Dank voor je reactie.
Ik ben het eigenlijk totaal niet met je eens. Ik bespeur een beetje de traditionele tegenwerpingen bij je waar ik wel vaker mee te maken heb.
De ontwikkelingen op het gebied van SDS gaan juist keihard en zijn veel verder dan ze ooit geweest zijn. Ik raad je aan eens een blik op Open Stack, Nexenta, Tintri en Scale IO te werpen. Je zal verbaasd staan.
Het stroomverbruik is ook flink verlaagd door dat flash/ssd steeds vaker ingezet wordt. Ook zie je al geruime tijd oplossing op de markt waar bij de disken stil staan tot ze daadwerkelijk gebruikt worden. Dus ook deze opmerking kan ik niet helemaal plaatsen.
Storage vergt natuurlijk wel aandacht. Een periodieke healthcheck waarbij gekeken wordt na wat je gebruikte, mogelijke knelpunten en waarbij je firmware weer up to date gebracht wordt is geen overbodige luxe. Maar daar in is storage niet anders dan de ander lagen van de ICT infrastructuur.
Tja wat verwacht je qua schaalbaarheid? Ik zie non-framed architecturen die tot ruim 16 PB schaalbaar zijn. Dat lijkt mij zeker voor de NL-markt
meer dan voldoende.
Op het gebied van SSD/Flash deel ik enigzins je mening. De disken zijn qua capaciteit nog niet zo ver als we verwacht hadden. Maar qua levensduur (MBTF) en performance zijn ze een enorme verbetering. Misschien moet je nog eens mijn eerdere opinie ” Flash Forward in 2014″ terug lezen.
( https://www.computable.nl/artikel/opinie/storage/4974484/1277017/flash-forward-in-2014.html)
Ik ben heel benieuwd hoe je je mening gevormd hebt. Want zoals je al hier boven leest zie ik het totaal anders. Ik hoor graag weer van je.
Bedankt voor het interessante artikel. Met name Scale IO ziet er veel belovend uit. Bouwt Scale IO een hoog beschikbaar block device of ook een filesysteem? Het lijkt een beetje op een zeer intelligente DRBD versie met automatische hotspot mitigatie en self-healing replicatie features. Ben benieuwd naar de praktische implementatie mogelijkheden. Als het geen filesysteem biedt dan zal er een ander product overheen gelegd moeten worden als je het in een HPC omgeving wilt inzetten m.i.
Mooie ontwikkelen i.i.g. de laatste tijd rondom Elastic Storage met vSan/Scale IO/AWS EBS
Leroy,
Dank voor je reactie.
Op dit moment is ScaleIO alleen nog block only. Support voor filebased protocollen gaan nog via een externe NAS-head. De verwachting is wel dat de ondersteuning voor CIFS/NFS in de toekomst mogelijk zal worden. Je hebt helemaal gelijk dat er nog steeds Distributed Filesystem benodigd is. Ik heb er geen zicht op wanneer dat wel gaat komen.
@ Jurgen,
Ik heb begrepen dat Scale IO block only zal blijven. Dus als je CIFS/NFS nodig hebt, dan kan je dat realiseren door een NAS-head toe te voegen.
Ook zal het DFS extern blijven. Dit geeft je wat extra flexiliteit aangezien je zelf kan kiezen.
Ruud,
Goed artikel, vooral het flash deel is interessant.
Mooi artikel, ook voor deze infra-leek. Technisch en begrijpelijk.
Dank Louis!
Ik ben blij dat je het artikel leuk vind.
En aan je eerdere reacties te zien, valt het wel mee met dat “leek” zijn.
@Ruud Ben niet helemaal een leek maar in ICT land is het toch dat je meer niet weet dan wel weet. Het is zo groot en zo veel. Dus op een groot aantal gebieden toch een leek. Dat maakt het ook leuk en valt er iedere dag weer iets te leren.