Flora Holland blij met datawarehouse appliance

Het datawarehouse bij Flora Holland groeit zienderogen, evenals het aantal gebruikers ervan. De prestaties hebben daar danig onder te lijden. Door een datawarehouse appliance in te zetten, heeft de veiling queries tot een factor tweehonderd sneller zien afronden.

In het verleden – ‘een ver verleden’, preciseert cio Hans Uithol – had Flora Holland zelf een datawarehouse gebouwd met het product Focus van Information Builders. “Onze strategie was dat we niet zelf maatwerksystemen bouwden om strategische en tactische informatie boven water te krijgen, maar dat we daar een datawarehouse voor gebruikten. Dat stelden we open voor al onze gebruikers die via een tool van Business Objects hun vragen beantwoord zagen”, begint Uithol zijn verhaal.

Maar dit datawarehouse liep op zijn laatste benen en toen is ruim een jaar geleden besloten een Microsoft SQL-database als datawarehouse te gebruiken. “Dan zie je toch dat we heel lang en heel vaak bezig zijn met performance-aspecten”, legt Uithol uit. “Hoe krijg je toch weer de database dusdanig getuned dat queries binnen een aanvaardbaar tijdsbestek tot een bevredigend antwoord leiden? Daarbij komt dat het soort vragen dat onze gebruikers op het datawarehouse afvuren zich tegenwoordig minder makkelijk laat sturen.”

“Het belangrijkste aspect is gewoonweg dat het aantal gebruikers flink groeit. Onze intentie is om – los van intern gebruik – ook kwekers en kopers het datawarehouse te laten gebruiken. Je hebt het dan over min of meer voorgeprogrammeerde queries als: ‘laat mij eens zien wat de prijsvorming van mijn product X over het afgelopen half jaar is geweest’. Of ‘vergelijk de resultaten van de afgelopen zes weken eens met die over dezelfde periode van een jaar ervoor’, zodat een kweker kan nagaan of hij er wel wat mee opschiet”, vertelt Uithol.

Andere aanpak

Een mogelijke oplossing was het uitbreiden van de omgeving, maar Uithol wilde toch eens nagaan of er een andere aanpak mogelijk was. Hij kwam uit bij het bedrijf Inergy, specialist in business intelligence-oplossingen, die destijds voor Flora Holland het datawarehouse heeft opgezet. Inergy doet nu dienst als partner ‘datawarehousing’. Uithol is met het bedrijf rond de tafel gaan zitten om alternatieven te bespreken en kreeg de producten van Netezza voorgeschoteld. “Dat leek ons wel wat”, zegt Uithol.

Op de opmerking dat bijvoorbeeld Datallegro eveneens een appliance-aanpak hanteert, zegt de cio dat Datallegro in een andere prijsklasse valt. “Bovendien zitten wij met een SQL-database-omgeving met Business Object-tools en Informatica als etl-tool (extract, transform, load). Dat is een eenvoudige omgeving en daar sluit Netezza beter op aan.”

Flinke tijdwinst

De specifieke aanpak van Netezza, en andere appliance-aanbieders, is dat database, besturingssysteem, server en opslag in één apparaat zitten. De query wordt voor een groot deel in de hardware verwerkt, wat flinke tijdwinst oplevert. Netezza heeft geen index, dus die hoeft dan ook niet onderhouden te worden. Door de combinatie van hardware, besturingssysteem en schijven kan het systeem zeer snel grote hoeveelheden parallel verwerken.

Op zichzelf is het gebruik van een datawarehouse appliance niet nieuw – Teradata heeft zo’n oplossing al jaren in zijn productportfolio – wel nieuw is de opkomst van appliances die gebruik maken van commodity soft- en hardware. En daardoor goedkoper zijn. Hier is een vergelijking op zijn plaats met de opkomst van EMC, die met zijn goedkope schijven een frontale en succesvolle aanval ondernam op IBM dat zich halverwege de jaren negentig nog heer en meester waande op de storage-markt.

Tijdens topdrukte

Netezza, dat al klanten heeft als Ahold (VS), Orange, T-Mobile en in Nederland Center Parcs, deed Uithol een aanbod dat hij niet kon afslaan. “Ze hebben een machine neergezet met de mededeling dat, als de queries niet sneller zouden gaan, we het apparaat gewoon weer mochten teruggeven.” Flora Holland haalde een NPS 5200 (Netezza Performance Server) in huis en heeft die uitgebreid getest. Het datawarehouse is iedere avond overgebracht naar de Netezza-omgeving. Aanvankelijk was het plan dit alles in stapjes uit te voeren, maar de overdracht bleek zo snel te zijn, dat het niet eens nodig was het geheel in stukjes op te knippen. Het volledige SQL-datawarehouse van een terabyte was in twintig minuten overgepompt.

“Tijdens een Netezza-gebruikersbijeenkomst in Londen werd er verteld dat je zo’n machine niet in de drukste tijd van het jaar moet binnenrijden; niet tijdens de kerst bijvoorbeeld. Nou, wij hebben dat nu juist wel gedaan. Omdat er in die periode wel wat mensen van de it-afdeling vrij zijn, is het hier dan wel druk. Maar wij wilden op 1 januari, eigenlijk 3 januari, beginnen met testen. Netezza had de omgeving al net na de kerst live en we konden het natuurlijk niet nalaten om de eerste testen al meteen te doen.

‘Wat is er fout?’

Vooral op de it-afdeling was er wel een zekere sceptische houding. Die geloven niet zo in een wonderdoos; want het is natuurlijk een black box. Techneuten houden daar niet zo van, want daar kunnen ze niks mee. Maar ze zijn helemaal om. Toen ze de resultaten zagen van de eerste test, geloofden ze het niet. ‘Dat kan helemaal niet, wat hebben we fout gedaan?’, was de reactie. Maar er was helemaal niks fout gegaan; de machine was gewoon tot tweehonderd keer sneller.” Gemiddeld bleek alles 26 keer sneller.

Flora Holland heeft nu twee NPS 5200-machines staan. Bij appliances bestaat de neiging te denken aan pizzadozen, maar in dit geval gaat het eerder om apparaten van het formaat koelkast. De ene NPS is voor de test- en acceptatieomgeving, de ander staat volop in de productie.

Schaalbaar

Uithol vertelt dat het voornemen bestaat Flora Holland en Bloemenveiling Aalsmeer samen te voegen. Dat betekent een flinke stroom data extra én een grotere groep gebruikers. De bestaande prestatieproblemen zouden alleen maar erger worden. Tegelijkertijd is de veiling druk doende het barcodesysteem te vervangen door een rfid-omgeving. Zo is elke kar gedurende het hele proces real-time te volgen. De kwekers stellen daar prijs op, maar ook de kopers, want die kunnen dan bijvoorbeeld zien waar een partij bloemen op een zeker moment is. Ook het gebruik van het rfid-platform zou een aanslag op de SQL Server Enterprise betekenen.

“Een upgrade zou alleen mogelijk zijn tegen forse bedragen met een onvoorspelbaar resultaat. Over de schaalbaarheid tastten we in het duister. Nu hebben we een NPS; die is ten opzichte van de SQL Server vrijwel onderhoudloos. We hoeven in elk geval niet meer te indexeren, aggregeren en partitioneren. En de schaalbaarheid is enorm. We kunnen met wat we nu hebben staan zeker wel vier jaar vooruit.”

Flora Holland heeft een NPS met 28 processoren, waarvan twee als reserve dienst doen. Netezza noemt ze SPU’s: Snippet Processing Unit: een combinatie van processor, geheugen en schijf, waardoor queries parallel en dus sneller kunnen worden afgehandeld. Een SPU is de kleinste vervangbare eenheid van CPU en dataopslag. Het huidige topmodel van Netezza heeft 896 SPU’s in zijn binnenste en kan maximaal 100 TB aan (er draait er een bij Catalina Marketing in de Verenigde Staten). “En als dat nog te weinig is, dan zet je er gewoon nog een bij. Dat noem ik pas schaalbaar”, stelt Uithol.

Tooling

De tooling (Informatica voor etl en Business Objects voor bi) kan hetzelfde blijven, omdat Netezza hier zonder problemen mee overweg kan. “Dat was voor ons ook een belangrijk winstpunt. De gebruikers merken er niets van; behalve dan dat zij hun antwoorden veel sneller terug krijgen.” Voorlopig blijft het oude datawarehouse nog in tact, omdat alle gebruikers een voor een worden omgezet naar de nieuwe omgeving. Uiteindelijk is het de bedoeling dat de bronsystemen rechtstreeks de NPS 5200 instromen.

Met de datawarehouse appliance kunnen vijftig mensen tegelijkertijd een query uitvoeren en nog sneller antwoord krijgen dan één persoon die dezelfde query losliet op de SQL Server-omgeving, zo bleek uit de testen. “En in de praktijk blijkt dat ook waar te zijn”, aldus Uithol.