Flashgeheugen is een enorm verstorende technologie. Bedrijven die 35 mm-filmpjes maken voor camera’s weten dit. Sterker nog, aanbieders van professionele opslag die nog altijd vertrouwen op harde schijven als opslagserver zitten in een positie die heel erg lijkt op die van Kodak tien jaar geleden: ze worden geconfronteerd met een nieuwe technologie die datgene wat zij op de markt brengen enorm kan verbeteren.
Flash zorgt voor een betere schaalbaarheid en voor consistentere toepassingen, terwijl het veel minder datacenterruimte verbruikt dan alles wat met opslag via schijven mogelijk is. Maar ik zie ook dat het niet zo eenvoudig ligt. Het is geen nieuwe bezem die in een oogwenk oude technologieën in één keer wegvaagt.
In mijn opinie vormen de kosten vaak een belemmering voor een breedschalige marktadoptie in het geval van professionele flashopslag. Flash is duur en daarom gebruiken veel aanbieders het, naast disk, op kleine schaal om zo de prestaties te ondersteunen door te functioneren als cache-opslag. Dit kan ook beter en zuiniger worden opgelost, namelijk door flash te combineren met software die ervoor zorgt dat er minder data wordt weggeschreven. Doordat men minder flash gebruikt, wordt flash betaalbaarder en betrouwbaarder.
Betaalbaarheid en betrouwbaarheid
Flash bewaart en gebruikt data op een compleet andere manier dan bij disk het geval is. De leessnelheden zijn razendsnel, en teveel schrijfbewerkingen kunnen leiden tot slijtage aan het medium. Ik zie hier een mooie taak weggelegd voor de gespecialiseerde flashsoftware. Deze zorgt ervoor dat professionele flashopslag wérkt, door niet alleen te zorgen voor betaalbaarheid, maar ook voor meer betrouwbaarheid op hardware niveau.
Real-time dataverminderingstechnologieën verlengen de levensduur van flash, doordat zij de hoeveelheid data verminderen die wordt weggeschreven. De betrouwbaarheid van SSD stijgt vrijwel evenredig met de hoeveelheid datavermindering. Ik draai al een paar jaar mee in deze branche en ik zie dat er maar een paar arrays zijn die dat kunnen; veel andere hybride systemen van flash- en schijfopslag combineren zowel de sterke als de zwakke kanten van beide technieken, waardoor ze uiteindelijk tekort schieten qua betrouwbaarheid.
Nieuwe mogelijkheden
Hoewel het directe voordeel van flash duidelijk mag zijn, kan het ook geen kwaad om te wijzen op een ander, minder voor de hand liggend voordeel. We weten dat de waarde van all-flash-systemen verder gaat dan alleen opslag; ook de snelheid van bedrijfsapplicaties gaat omhoog. En nog een stap verder: bedenk ook dat veel bedrijfssoftware is geschreven met de snelheidsbeperkingen van disk in het achterhoofd. Door de vertraging van HDD’s weg te nemen en volledig gebruik te maken van flash ontstaat er een overvloed aan nieuwe mogelijkheden:
- De snelheid van applicaties schiet de lucht in.
- De gebruiker kan consistenter en inzichtelijker werken, doordat data veel toegankelijker worden.
- Het aantal softwarelicenties kan nog eens onder de loep worden genomen, doordat er meer processorkracht beschikbaar is nu de snelheidsbegrenzer (de harde schijf) weg is.
- Tot slot is men ook minder afhankelijk van datamanagement en load balancing tools, zaken die nodig waren om met terugwerkende kracht prestatieproblemen op te kunnen lossen. Dit betekent weer dat het operationeel personeel meer tijd overhoudt.
Flash zorgt al voor grote beroering in het datacenter en we staan nog maar aan het begin van die omwenteling. Sommigen zullen voorzichtig te werk gaan en kiezen voor een oudere array met als opzetstuk een beetje flash, of misschien zelfs de belofte van een hybride oplossing. Dit zal op de korte termijn zeker helpen. De echte visionairs slaan echter de weg in naar een bedrijf dat volledig draait op flash. All-flash-opslagsystemen zijn dankzij gespecialiseerde flashsoftware betaalbaar en betrouwbaar geworden, en daarmee kunnen deze voorlopers tal van nieuwe mogelijkheden ontsluiten en hun voorsprong op de concurrentie enorm vergroten.
Steve,
Ik deel je mening dat flash een steeds grotere rol in het DC gaat spelen.
Flash levert nu eenmaal meer performance ( IOPS ), een lage latency en verbruikt minder stroom.
De hybride arrays van deze wereld maken door middel van storage-tiering al slim en kosteneffectief gebruik van flash. Zaak is dan wel om vooraf goed te weten hoeveel flash capaciteit je in je array nodig hebt. Best practices van 3 tot 6% van je totale opslagcapaciteit hoor je daar nog wel eens voorbij komen.
Belangrijk is om vooraf te weten wat je gedrag en karaktistieken van je data is/zijn ( Data Skew ). Te weinig flash opslag capaciteit zal er voor zorgen dat niet je niet de volledige performance van de flash-laag optimaal gebruikt. Periodiek moet je dit wel in de gaten blijven houden of dit nog wel conform best practice is. Er is namelijk niets veranderlijker dan data. Gelukkig is op dit gebied al veel goede tooling beschikbaar.
De all flash arrays zijn zoals je zegt flink in opkomst. Honderdduizenden IOPS kunnen er op het gebied van performance gehaald worden. En dit past perfect bij VDI,Database, BI en ander soortige performance behoevende omgevingen.
Echter is het wel zaak om niet alleen met de voor- maar ook met de nadelen van flash rekening te houden. Hoe je het wendt of keert is flash als je puur alleen naar de opslag capaciteit kijkt nog duurder. Ook was is beperking in de levensduur in schrijf intensieve omgevingen een factor waar je rekening mee moet houden. Ieder flashdevice kan nu eenmaal maar een maximaal aantal PE cycles aan ( voor mee uitleg zie https://www.computable.nl/artikel/opinie/storage/4974484/1277017/flash-forward-in-2014.html )
Gelukkig wordt hier wel steeds vaker vanuit de softwarelaag die bij s all-flash arrays meegeleverd wordt, slim op ingespeeld. Slimme en andere manieren van RAID/Virtual RAID verhogen de levensduur aanzienlijk. En deduplicatie en compressie zullen er voor zorgen dat alles zo (kosten) effectief en optimaal mogelijk weg geschreven wordt. Toch zie ik dat op dit moment de supportkosten voor flasharrays nog (iets) hoger zijn. Hier wordt onderwater toch nog rekening met de beperking van op het gebied van PE cycles gehouden. Ook zie ik dat sommige leveranciers de disken preventief vervangen. Maar ook dat zal de supportprijs niet verlagen. Dus ik deel je mening dat hier nog wel een slag te maken is om nog effectiever en slimmer met flash om te gaan.
Toch denk ik dat de traditionele HD de komende jaren toch nog wel enige rol van betekenis zal blijven spelen in het datacenter. De minder performance behoevende data heeft namelijk geen baat bij de enorme performance voordelen van flash. Flash is voor dit soort zoals eerder ook gezegd nog niet kosteneffectief genoeg. En ik zie flash ook nog niet bij schrijf intensieve omgevingen (backup appliances ) de traditionele disk volledig vervangen. Ook is de opslagcapaciteit van flash voor dit soort datastromen nog te beperkt.
In de toekomst zal dit vast veranderen en zal je meerdere type flash technologie zien verschijnen. Dit zie je nu al gebeuren met de SLC,MLC en TLC flash devices. Dit zal bestaan uit snelle, medium en capaciteits flash devices of iets wat er op lijkt. Dus uiteindelijk verandert er onder aan de streep niet zo veel. En zullen de storage oplossingen van de toekomst ook op zekere wijze hybride zijn om het zo effectief mogelijk te houden. Want in storageland geldt in mijn optiek nu eenmaal “One size doesn’t fit all”.
Steve, dat je in een tijd van LED verlichting geen gloeilampen meer zult verkopen lijkt me evident.
Echter ook ik heb nog wel wat vragen bij flash geheugens.
De techniek is zoals je aangeeft in zeer korte tijd inderdaad drastisch verbetert. maar de verbetering zit ehm kenlijk vooral in de manier van opslaan (slimme algoritmes e.d.) en niet zo zeer in de houdbaarheid van flash.
Speaking of which… hoe betrouwbaar is mijn data waneer ik mijn flashdisk jarenlang in een kast (kluis) laat liggen ?
Verder heb ik vooral nog wat bedenkingen over vaak opnieuw schrijven.
Ik denk daarbij vooral aan intensieve logging, compileren van veel code, database toepassingen.
Kun je me daar iets meer over vertellen?
Flash is here to stay, maar het dient nog te worden geoptimaliseerd voordat van een vervanging van traditionele mechanische storage kan worden overgegaan. Density en prijs zijn dan de drijfveren, ook gaan we de goede kant op met flash, toch verdubbelt de capaciteit van schijven bij gelijkblijvende kosten nog regelmatig.
Hybrid systemen zullen daarom voorlopig nog de mainstream zijn, met data die nieuw en snel beschikbaar moet zijn op flash en alles wat ouder is en minder wordt gebruikt op schijf.
3d nand technologie gaat misschien voor de doorbraak zorgen, is interessant. Grote volumes flash, snel en duurzaam.
Beste Ruud, Pascal en Willem. Allereerst bedankt voor jullie reactie. Om terug te komen op jouw vragen Pascal:
1) Dit ligt aan de situatie. Hoe vaak is de media al beschreven en wat is de temperatuur van de locatie waar je de flash disk opslaat. Het programmeren van een flash-cel beschadigt de isolerende laag die de lading van de cel bevat en dit is wat uiteindelijk zorgt voor slijtage aan de media. Deze schade kan, naarmate de tijd vordert, de lading laten lekken en de cel zal geleidelijk terugkeren naar de omgevingstemperatuur van ladingsniveaus. Als je gegevens opslaat op flash en zeer lange tijd zonder stroom laat zitten, moet er ook een back-up gemaakt worden naar een ander medium. Dit geldt niet voor de arrays van Pure Storage, aangezien de controller software is ontworpen om opgeslagen gegevens continu op de achtergrond te vernieuwen en dit soort afbraak te voorkomen.
2) Hoge schrijfsnelheden kunnen een probleem zijn voor individuele SSD’s en storage arrays die magnetische schijven met SSD’s vervangen. Door hogere aanhoudende schrijfsnelheden
kunnen bepaalde delen van de schijf ´oververhit´raken wat kan leiden tot slijtage.
Pure Storage dealt met dit soort werkload door inkomende data te reduceren door middel van dedublicatie en compressie voordat het wordt overgeschreven naar SSD, gemiddeld met meer dan 80%. Dit schrijfverkeer wordt gelijkmatig verdeeld over alle SSD’s in de array zodat het draagpercentage wordt gebalanceerd. Pure heeft een aantal succesvolle klanten met een hoge schrijfsnelheid workloads (Oracle, SQL Server, Perforce, Splunk, Desktop VDI, MongoDB etc.) die zonder problemen schrijfsnelheden behalen van 1GB/sec op onze arrays. Pure Storage zorgt ervoor dat de uitbreidingsfactoren en draagpercentages in hun arrays zorgvuldig worden nagekeken om ervoor te zorgen dat de algoritmen opereren op maximale effienctie. Dit is dan ook de reden dat Pure Storage versleten SSD’s kunnen vervangen en dit als een onderdeel van hun standaard ondersteuning en onderhoudscontract kunnen aanbieden.