Tips voor het inrichten van een datawarehouse

Een datawarehouse koop je niet 'even', het vergt inspanning en aanpassingsvermogen van de gehele organisatie. Toch is de manier waarvoor een datawarehouse wordt ingezet van doorslaggevende waarde of de implementatie ervan een succes wordt. Advies lijkt daarbij het sleutelwoord, want als organisatie kan je zoiets niet alleen. Onze eigen expert van het topic Business Intelligence geven tips en ondersteuning.

Tanja Ubert, eigenaar, Ubert-ict en docent BI, InHolland

Allereerst is het natuurlijk van belang om te bepalen wat het doel en de reikwijdte van het datawarehouse is. Is er een business driver? Datawarehouses gedreven vanuit de techniek zijn gedoemd te mislukken. De controles, de traceerbaarheid, verantwoording van de inhoud en het vulproces van een datawarehouse moeten op basis van het doel aan specifieke eisen voldoen. Doe verder als ervaringsdeskundige liever kleine stapjes en neem daarmee wat rework mee in de planning, dan meteen een groots en meeslepend project. Dit is niet voor niets een open deur, kleine projecten leveren het beste resultaat. Metadatabeheer en -testen zijn geen sluitpost, maar een noodzaak!

Michael Doves, chief knowledge officer, DIKW Consulting

Helaas kunnen we de toekomst nog niet voorspellen, maar wat we wel zouden kunnen is snel anticiperen op mogelijke veranderingen in deze toekomst. Het is daarom voor een datawarehouse vele malen belangrijker dat het snel kan worden aangepast dan wanneer een jaar wordt nagedacht over het perfecte datamodel in een toekomstvast systeem. De time to market, oftewel de snelheid waarmee veranderende informatiebehoeften worden opgeleverd aan de informatiegebruikers, is cruciaal. De basisfilosofie van een datawarehouse-omgeving moet dan ook zijn 'designed for change'. Een aantal hints om je datawarehouse 'DfC' in te richten zijn: ELT vs. ETL, PP vs. OTAP en continuous developmentin plaats van beheer.

Gertjan Vlug, directeur, BIReady

Al jaren zijn er twee stromingen om datawarehouses in te richten (Inmon en Kimball) en alle verschillen, zowel voor- als nadelen, zijn uitgekauwd. Daarnaast blijkt er dat, als we de gebruikte terminologie op elkaar afstemmen, niet eens zo heel veel verschil te zijn. Als je beide combineert, benut je alle voordelen en de nadelen worden daarmee opgeheven. Dus een genormaliseerd datawarehouse met (virtuele) sterschema-datamarts daar bovenop. Dit is de optimale architectuur. De beschikbaarheid van datawarehouse automation-software maakt het implementeren bovendien vele malen gemakkelijker, sneller, flexibeler en goedkoper dan ooit tevoren.

Sjoerd Janssen, consultant BI & DWH CLM, Atos Origin Nederland

Er is niet een unieke manier om een datawarehouse in te richten, maar er zijn verschillende architectuurkeuzes mogelijk. De vraag is dan: hoe bepaal ik welke architectuur het best past in mijn specifieke situatie? Om deze vraag te beantwoorden heb je een goed inzicht nodig in de eisen die worden gesteld aan de omgeving. Het gaat hierbij dan niet alleen om de functionele eisen (wat moet het doen?), maar meer nog om de niet-functionele eisen zoals performance, stabiliteit, aanpasbaarheid, uitbreidbaarheid en traceerbaarheid. Vooral vanwege die laatste twee eisen, uitbreidbaarheid en traceerbaarheid, wordt er steeds vaker voor een Datavault-achtige architectuur gekozen.

Minne van der Sluis, senior business consultant BI, Imtech ICT Performance Solutions

Laat ons bedenken dat een datawarehouse uiteindelijk niets anders is dan een 'kwaad'. Vaak nodig, maar niet altijd noodzakelijk! Het borgt idealiter integratie en samenhang, betekenis en historie en veiligheid en beschikbaarheid van gegevens. Kortom, een vehikel om van gegevens daadwerkelijk bruikbare informatie te maken. Gebruikmakend van een heldere set aan spelregels en een duidelijke afbakening van het informatieve domein waarvoor het staat opgesteld, kan vervolgens de energie maximaal gericht worden op hetgeen het datawarehouse voor was bedoeld: vraaggestuurd informatie leveren aan de eindgebruikers.

Edwin Peters, manager business unit solutions, SAS

Een van de uitdagingen van een datawarehouse is het verstrekken van inlichtingen over de gegevens. Medewerkers moeten de betekenis weten van gegevens en hoe die zijn verzameld, geconstrueerd en gerapporteerd. De nieuwe datawarehouse-generatie krijgt een grotere rol en daarmee neemt het belang van metadata toe. De nieuwe generatie zal gebaseerd moeten zijn op een geïntegreerde metadata repository-omgeving, die niet beperkt is tot datatransformatieprocessen. Ook de metadata in vorm van business rules, datakwaliteitscriteria, master data management en de uiteindelijke rapportages en analyses dienen op een uniforme en geïntegreerde wijze benaderbaar te zijn.

Pieter Rambags, eigenaar, Nippur

Als je vandaag een datawarehouse gaat (her-)inrichten, stel je dan de vraag of het datawarehouse ook operationele besluitvorming moet gaan ondersteunen. We zien dat steeds vaker, bijvoorbeeld ter ondersteuning van crm. In dat geval moet het datawarehouse (near-) realtime data kunnen laden én rapporteren. Dat vraagt om een architectuur waarin ruwe gegevens zonder transformaties geladen worden en de laadprocessen snel en in willekeurige volgorde kunnen worden afgehandeld. Kijk dan goed naar de Datavault als methodiek. De klassieke datawarehouse-toepassingen vragen om integratie en verrijking van de brongegevens (transformaties) en er zal (dus) een tweelaags datawarehouse ontstaan.

Paul van der Linden, senior managing consultant, IBM

Het inrichten van een datawarehouse kent een aantal gouden regels. Een krachtige projectsponsor, voldoende budget en een heldere projectscope behoren daar zeker toe. Prototyping blijkt in praktijk een handig hulpmiddel om business requirements iteratief af te stemmen en te bepalen hoe de oplossing moet uitzien en functioneren. Dataprofiling is van groot belang om de beschikbare data en de kwaliteit daarvan vast te stellen. Beide technieken (protoyping en dataprofiling) leveren aan het begin van het project beter inzicht in de verwachte inspanning en het op te leveren resultaat. Hiermee kan verwachtingsmanagement beter worden ingevuld, eveneens van groot belang.

Paul Witteman, senior consultant BI, Valid

De inrichting van een datawarehouse wordt bepaald door de informatiebehoefte van de gebruikers. Ook de toekomstige ontwikkelingen worden hierin meegenomen. Het succes van het datawarehouse wordt bepaald door de toegevoegde waarde van de informatie die wordt gecreëerd. De vertaling van de informatiebehoefte van presentatie- of gebruikerslaag naar bronnen is een technische exercitie waarbij bij voorkeur wordt gekozen voor een methode waarbij de datastructuur (ETL en opslag) zo flexibel mogelijk is. Aanpassingen van de bron(nen) en informatiebehoefte moet efficiënt kunnen worden opgelost. Een goede modelleringmethode of -tool kan hierbij ondersteuning bieden.

Menno Krijgsman, business development manager, Imtech ICT Performance Solutions

Bij het inrichten van een datawarehouse hanteer ik twee heldere uitgangspunten. Kies ten eerste een eenduidige referentiearchitectuur en hou vast aan die keuze. Hiermee wil ik niet een discussie starten over sterren en sneeuwvlokken. Ik bedoel dat er een fundamentele keuze gemaakt moet worden voor één beproefd model. Trap niet in de val het wiel opnieuw te willen uitvinden met behulp van een hybride stukje goedbedoelde huisvlijt. Ten tweede zijn er maar drie zaken van belang voor zowel de keuze van het referentiemodel als voor de manier waarop het model wordt (in)gevuld: de requirements van de eindgebruikers, de requirements van de eindgebruikers en de requirements van de eindgebruikers.

Alwin Peppelenbosch, algemeen directeur, EFM Software

Doordat een datawarehouse de gegevens geïntegreerd en onderwerp-georiënteerd aanlevert, is het een ideale bron voor informatie. Een datawarehouse is gereedschap waarmee stuurinformatie efficiënt geproduceerd wordt. Eindgebruikers zullen informatie echter alleen accepteren als deze in hun ogen zinvol is. Focus op en cascadering van de strategie vormt daarom de sleutel voor het vaststellen van stuurinformatie. Eerst weten wat je wilt bereiken voor je weet wat je wilt meten.

Een gefaseerde invoering van meetinstrumenten is daarmee geboden. Begin laagdrempelig met een oplossing voor definiëring van doelen, succesfactoren en indicatoren, eventueel handmatig of door directe import gevoed. Daarmee ontstaat al daadwerkelijke stuurinformatie. Optimaliseer dataverwerking, bijvoorbeeld met een datawarehouse, in tweede instantie zodat geen overbodig werk plaatsvindt doordat ontwerp of definities achteraf gewijzigd moeten worden. Stuurinformatie kan zonder datawarehouse, niet zonder strategische verankering.

Marco Bussemaker, solution manager BI, Capgemini BAS

Voor een succesvolle inrichting van een datawarehouse is het van belang het doel en de toegevoegde waarde van het datawarehouse voor ogen te houden. Te vaak is een datawarehouse de haarlemmerolie voor alle hiaten in het bestaande applicatielandschap en werden fouten in data en gebrek aan inzicht in de 'value chain' in het datawarehouse opgelost. Of wordt gewoon alles vastgelegd 'voor het geval dat…'. Doe dit alles alleen wanneer kosten en projectrisico's geen issue zijn.

Gebruik in andere gevallen het datawarehouse waarvoor het bedoeld is: leveren van informatie voor langere termijn bewaking van de strategie. Maak in de andere gevallen gebruik van BI-tooling die rapporteert op een eenvoudige operational data store (ODS) of 'afslag'. Of nog beter, gebruik een BPMS voor optimalisatie en flexibilisering van je applicatielandschap en ondersteuning van de value chain. Een procesdashboard en geautomatiseerde foutoplossing krijg je dan ook meteen op een presenteerblaadje aangeleverd.

Henk van Roekel, principal consultant IM/BI, Logica

Een datawarehouse moet goedkoop, betrouwbaar en toekomstvast zijn, net als nutsvoorzieningen in huis. Een datawarehouse is de bron van betrouwbare, herleidbare informatie met afgesproken kwaliteit voor onderscheidende business intelligence-toepassingen in een organisatie. Een voorziening waarvan de waarde duidelijk wordt als je het een dag mist, net als schoon water, elektra op de juiste spanning en kabel zonder ruis. Een datawarehouse dient dan ook ontwikkeld en aangeboden te worden als nutsvoorziening. Hierbij is het belangrijk om vooraf investeren te beperken en toekomstvast te realiseren door gebruik te maken van agile ontwikkel- en modelleringtechnieken, zoals Datavault. Hiermee zorgen we voor een betaalbare, betrouwbare en toekomstvaste datawarehouse-infrastructuur.

Roland Haeve, principal consultant/thought leader, Atos Origin BI/CRM

Als je een datawarehouse gaat inrichten, hou dit in je achterhoofd: 'think big, act small'. Een datawarehouse inrichten gaat zeker niet alleen om de technische zaken, maar denk aan alle vier de pijlers, te weten infrastructuur en architectuur, resourcing en tools, processen en methodieken en als laatste de gehele organisatie. Probeer zo veel mogelijk je datakwaliteitsissues aan de bron op te lossen en niet in je datawarehouse-omgeving.

Gerard Braat, technical director, Oracle

Datawarehousing is reeds een begrip als onderdeel van het vak business intelligence. De inrichting daarvan voor met name toepassingsgebieden als crm en erp is vaak uitgevoerd. Daarom zijn er reeds ingerichte datawarehouses beschikbaar, soms industriespecifiek, inclusief voorgedefinieerde extractieadapters en kant-en-klare repositories en dashboard voor BI-tools. Het is belangrijk rekening te houden met groei en de verandering van informatiebehoeften en uitbreiding naar meerdere bronnen en gebruikers. Dit betekent voorzieningen voor schaalbaarheid, datakwaliteit, herkomstanalyse en ontdubbeling van overlappende entiteiten. Qua architectuur zou een datawarehouse altijd een integratielaag moeten hebben met (eventueel virtuele) datamarts voor specifieke toepassingsgebieden zoals datamining en OLAP. Het allerbelangrijkst is dat de inrichting van een datawarehouse en rapportageomgeving niet een doel op zich is, maar geïntegreerd wordt met de businessprocessen van de eindgebruikers.

Gerrit Alblas, algemeen directeur, Fermlogic

Bij het inrichten van een datawarehouse is het van essentieel belang te redeneren vanuit de (bedrijfs)feiten. Dit voorkomt in hoge mate dat data in het datawarehouse komt die niet wordt gebruikt. Het toevoegen van niet noodzakelijke data zorgt voor een onnodige belasting van de ETL-processen. Ook de kwaliteit van de data is belangrijk. Wees bij het inrichten voorbereid op datavervuiling. Bedenk of, en waar, deze moet worden aangepakt, in het bronsysteem, tijdens het ETL-proces, of in de output. Verder is het belangrijk om bij de inrichting van het datawarehouse al rekening te houden met aanpassingen van het bronsysteem. Als de afspraken met leveranciers en gebruikers niet voldoende gedefinieerd zijn, is het risico groot dat het datawarehouse snel veroudert. Tot slot: gebruikers moeten zo vroeg mogelijk worden betrokken bij de inrichting.

Rob Mol, managing consultant BI, Capgemini

De discussie over de meest geschikte architectuur wordt veelal overheerst door een stammenstrijd tussen aanhangers van Inmon en die van Kimball, waarbij de Immonianen zich in recente jaren massaal op de Datavault-methode gestort hebben. Zoals vaker bij een stammenstrijd gaat het vooral over het 'hoe' en blijven het 'waarom' en het 'wat' buiten beschouwing. Verwarrend daarbij is dat er op verschillende niveaus door elkaar heen gepraat wordt. Gaat het om de wijze van de datamodellering (derde normaal vorm, datavault of ster), de vormgeving van de overall architectuur (van bron tot rapport) of ook om de wijze van ontwikkelen (top-down of bottom-up), implementeren (maatwerk of standaardoplossing; gebruik van appliances) en de wijze van organiseren (centrale, decentrale of federatieve samenwerking).

Door de inrichting (het 'hoe') van de verschillende architectuuraspecten te laten bepalen door de requirements (het 'wat'), doorbreken we de architectuurdiscussie en komen we tot oplossingen die passen bij de situatie van de individuele onderneming. Blijft dat het succes begint bij de vraag waarom we het eigenlijk allemaal doen, de toegevoegde waarde die van de oplossing verwacht wordt, en het telkens blijven toetsen of de requirements en de gekozen oplossingen hier invulling aan blijven geven. Helaas is er nog wel gebrek aan methoden, waarin de samenhang tussen genoemde architectuuraspecten helder inzichtelijk wordt gemaakt. In plaats van energie te steken in de onderlinge stammenstrijd, ligt hier een mooie uitdaging voor de community van datawarehouse-architecten.

Bart Schouw, business development executive, Progress Software

Om een datawarehouse te vullen zijn er een tweetal methoden die veel worden gebruikt, ETL en tricklefeeding. Beide hebben voor- en nadelen. ETL-oplossingen zorgen voor zware piekbelastingen op bronsystemen en productiesystemen moeten vaak offline met de nodige consequenties. Het voordeel van ETL-tools is dat data-aggregatie en statistische berekeningen in dezelfde laadslag gemaakt kunnen worden. Tricklefeeding voorkomt het probleem van piekbelasting door de brondata druppelsgewijs naar het datawarehouse te leiden, bijvoorbeeld als een kopie van een bericht op een ESB. Het nadeel van tricklefeeding is dan ook dat het moeilijker, zo niet onmogelijk is om de additionele berekeningen in dezelfde slag te doen.

Complex event processing is een interessant alternatief. CEP-engines zijn bij uitstek geschikt in het doen van correlaties en berekeningen over gegevens naar bijvoorbeeld dimensies als tijd of geo-locatie. Iets waar database queries traditioneel moeilijker mee hebben. Tricklefeeding kan dan plaats vinden naar de CEP-engine met de rauwe gegevens. De CEP kan dan continu de aggregaties uitvoeren en de verrijkte gegevens periodiek uitvoeren naar het datawarehouse. Er zijn nog niet veel partijen die dit in praktijk hebben geprobeerd, maar het is zeker een methodiek die toegepast gaat worden als CEP breder bekent gaat worden binnen het ict-landschap.

Ivo van der Heijden, competence manager BI, EclipseIT

Een datawarehouse, als onderdeel van een BI-toepassing, heeft een simpele functie: het opslaan van gegevens, zodat de BI-toepassing makkelijk en snel kan functioneren. Het datawarehouse biedt twee essentiële functies als aanvulling op de bronsystemen. In het datawarehouse wordt historie bijgehouden en het datawarehouse is vanuit performance oogpunt volledig afgestemd op het ondersteunen van rapportage. Deze functionaliteit heeft een significant andere insteek dan de bronsystemen. De bronsystemen hebben voornamelijk belang bij individuele en actuele transacties. Concrete aandachtspunten voor een goede datawarehouse-architectuur zijn een goede geautomatiseerde datavalidatie bij de aanlevering van data, een traceerbaar, historisch perspectief op bronniveau zodat de link naar de business transparant en auditable is, een gebundelde integratielaag, waar alle business logica op één centrale plaats in de architectuur wordt toegepast, zodat het beheersmatig 'in control' blijft en als laatste een geïntegreerde toepassing van het vastleggen van alles wat in het datawarehouse gebeurt met behulp van metadata. Met analytics wordt die metadata vervolgens gebruikt om continu de status van het datawarehouse te bewaken. Daarmee worden vragen beantwoord zoals 'wat is de kwaliteit van de aangeleverde data?', 'welke validatiefouten komen veel voor?' en 'welke trend ontstaat in mijn dagelijkse verwerking?'. Zo gezegd BI voor BI.

Joost Henskens, directeur, Kadenza

Voor het ontwerpen van een datawarehouse geldt vaak het advies 'denk groot, maar begin klein'. Voor een datawarehouse-testproces geldt hetzelfde. Een testproces dient immers mee te groeien met de groei van een datawarehouse. Tijdens deze groei is het belangrijk om het testproces voortdurend te evalueren en te verbeteren. Een groeiend testproces krijgt onder meer te maken met meer testers, de inrichting van een beheerafdeling en incrementele opleveringen van het datawarehouse.

Ontwikkelaars dienen in het testproces van het datawarehouse aandacht te besteden aan de verbetering van de testbasis. Denk daarbij aan samenwerking met belanghebbenden, een transparant testproces, een kortere testdoorlooptijd en een kwalitatief hoge testoutput. Feit is dat hoe hoger de kwaliteit van de input in het testproces is, des te hoger de kwaliteit van de output uit het testproces is. Het verbeteren van unittests in deze context draagt bij aan de correctheid en compleetheid ten aanzien van datastructuren en bouwconventies. Hierdoor worden fouten in de ontwikkelfase eerder geconstateerd en opgepakt. Tijdwinst kan bijvoorbeeld worden behaald met zorgen voor correcte naamgeving van objecten en correcte implementatie van dataobjecten.

Arend Ruizendaal, (mede-)directeur en consultant, Equals Intelligence

Op technisch gebied zijn er de laatste jaren nieuwe mogelijkheden geschapen. Ik noem (zonder volledig te zijn) de datawarehouse appliances, de integratie met ongestructureerde gegevens, de mash-ups, ook wel integratie op het beeldscherm genoemd, en real time of operational datawarehousing. Daarnaast kan de snelheid en kwaliteit van de implementatie worden verbeterd met procedures als extreme programming en agile testing. Gedurende de exploitatie is de bicc-afdeling een gewenst kenniscentrum van het datawarehouse.

De techniek gaat vooruit, de implementatie is verbeterd, het beheer is geformaliseerd, maar uiteindelijk zijn wij automatiseerders adviseurs en uitvoerenden van de business. De business bepaalt primair hun behoefte aan informatie. Wij adviseren hen bij de te volgen stappen om die informatiebehoefte gestructureerd te ontdekken, en daar een passende technische oplossing bij te bedenken. Eventueel komt dan een datawarehouse in beeld; volgens klassiek concept of vol met de modernste snufjes, maar altijd een oplossing voor hun informatiebehoefte. Een waarschuwing is alvast op zijn plaats. Wees ervan bewust dat een datawarehouse niet iets is dat je even koopt. Een datawarehouse is complex en een organisch fenomeen dat voortdurend moet worden gevoed met gegevens, moet worden geactualiseerd, onderhouden, beheerd en vooral beheerst. Daarom beste business, bezint voordat ge adviseurs inwint. Dat was vroeger, zo is het nog steeds.

Remco Broekmans, senior BI-consultant, Centennium

Kort samengevat kun je stellen dat een datawarehouse de ontwikkeling en implementatie van BI-toepassingen en informatieproducten moet faciliteren. Die BI-toepassingen en informatieproducten moeten op hun beurt de behoeftes en doelstellingen van de organisatie ondersteunen. Een vraaggerichte inrichting van een datawarehouse lijkt dus noodzakelijk. Problemen hierbij zijn echter de toekomstvastheid van het datawarehouse door wijziging van de organisatie en de mogelijke mismatch met de informatievraagstukken en de doelstellingen van de organisatie. Daartegenover staat een generiek datawarehouse. Deze heeft echter als nadeel dat deze te algemeen is en niet voldoende toegevoegde waarde biedt voor de organisatie, omdat het onvoldoende aansluit bij de behoefte van 'de business'.

Ik stel echter dat de inrichting van een datawarehouse 'zo generiek mogelijk' moet zijn met in achtneming van de juiste balans tussen generiek en specifiek (of vraaggericht). Moderne methodieken onder architectuur bieden deze mogelijkheid om die balans in het datawarehouse te verwerken. Een generieke opzet onder architectuur biedt bovendien een aantal andere belangrijke voordelen. Zo is een groot deel van het ontwikkelwerk is te automatiseren, wat doorlooptijd en realisatiekosten van een datawarehouse sterk verminderd. Ook het beheer, onderhoud en doorvoeren van uitbreidingen en aanpassingen is veel sneller en eenvoudiger uit te voeren. Tevens gaat de TCO omlaag en het datawarehouse ondersteunt onder meer op basis van prototyping nauwkeuriger de informatiebehoefte.

Een BI-oplossing met of zonder datawarehouse is altijd een stuk maatwerk dat zich kenmerkt door de toegevoegde waarde binnen een organisatie. Door toepassing van een goede methodiek kan de juiste balans worden gebonden tussen generiek en specifiek.

Duco Roolvink, adviseur BI, Furore

Nederland is wereldkampioen methodieken en standaarden. We laten ons te vaak wijsmaken dat er standaard BI-oplossingen zijn, dat er een ‘goed' en ‘fout' zou bestaan. Ons geloof in regeltjes en procedures is zo groot is dat we deze als voorschriften zijn gaan gebruiken. En elke expert hanteert zijn eigen voorschriften. Hoe vaak komt het niet voor dat wanneer een nieuwe consultant bij een bestaande datawarehouse-omgeving wordt betrokken deze zijn analyse begint met: 'Tsja, wat ik hier zie, dat kán natuurlijk niet.'

In de praktijk is een goed ingericht datawarehouse natuurlijk niets meer dan een datawarehouse dat volledig, tijdig en consistent de gewenste informatie levert. Nu en in de toekomst. Omdat de ambitie, context en wet- en regelgeving (het ‘wat') per organisatie verschilt, verschilt ook het ‘hoe' van de gewenste informatie. Dat vergt een hoge mate van flexibiliteit van de consultant. Er zal, met de doelgroep als uitgangspunt, gekozen moeten worden tussen de verschillende methodieken, tussen de do's en don'ts en standaarden. Maar belangrijker nog, het vergt diepgaande kennis over de organisatie, over de processen en de informatiesystemen die hierin gebruikt worden. Zonder dit inzicht is het maken van een keuze, het beantwoorden van het ‘hoe', het inrichten van een datawarehouse een onbegonnen zaak.