De markt van monitoring ontwikkelt zich in een rap tempo naar een hoge volwassenheid. De open-source en commerciële monitoringtools bieden inmiddels veel functionaliteit. Maar de klant van vandaag vraagt om meer. Is proactief beheer nog wel voldoende?
Voorspellend beheer richt zich op het vroegtijdig traceren van onregelmatigheden in de infrastructuur om incidenten te voorkomen. Om dat te doen heb je onder andere veel (historische) data nodig om die statistisch te bewerken. De focus ligt op het planmatig en systematisch opsporen van capaciteits-, performance- en beschikbaarheidsmeldingen. Van belang zijn alleen de meldingen met een lage importantie en drempelwaarde. Eén belangrijke functie van statistische bewerkingen is extrapolatie om het toekomstig punt vast te stellen waarop een mogelijk incident zou ontstaan. Analytische capaciteiten, een zekere mate van creativiteit en het opstellen van doordachte structurele verbetervoorstellen zijn daarbij onontbeerlijk.
Dit artikel beschrijft voorspellend beheer vanuit het perspectief van de monitoringtooling. Echter een goed ingerichte beheersorganisatie en processen spelen daarbij een cruciale rol!
Intelligent omgaan met data!
De druk om betere informatie te leveren neemt toe. Verzamelen en opslaan van data is het begin. Maar hoe ga je intelligent om met data?
Data is het sleutelwoord. Om voorspellend beheer te doen is de volgende data nodig die voor een langere (retentie) periode wordt vastgelegd:
– Assetdata van de gehele ict-infrastructuur.
– Monitoringdata over beschikbaarheid, performance en capaciteit.
– Loggingdata van applicaties en systemen.
– End-userdata van eindgebruikers.
Assetdata. Dit type informatie beschrijft de configuratie, de toestand en de betekenis van een systeem zodat alle andere data in een context geplaatst kunnen worden. Vaak levert assetdata bij een nadere analyse in het voorspellend beheer een onderbouwing voor het traceren van mogelijke incidenten. Om veel assetdata te verzamelen dient de monitoringtool een krachtige Asset management Discovery & Tracking functie te hebben. Het gaat o.a. om data van werkplekken, (virtuele) servers, netwerken storagesystemen, datacenter facility devices ( ups, airco, et cetera) maar ook om securitydata en applicatiedata.
Monitoringdata. Om de basis te leggen voor het waar kunnen nemen van trends dient de monitoringtool de beschikbaarheidsdata, performancedata en capaciteitsdata te verzamelen met een lage severity en drempelwaarde. Meldingen met een hoge ernst of drempelwaarde zijn immers incidenten!
Loggingdata. Nog meer dan systeemlogs geven applicatielogs zeer nuttige informatie en goede aanwijzingen over de toestand van een applicatie. Tenminste als de applicatiebouwer zijn applicatie "in-huis" onderwerpt aan stresstesten en de karakteristieken documenteert voordat de applicatie bij de klanten wordt uitgegeven. Eenmaal in productie dient bij overschrijding van de beschreven limieten de applicatie de overschrijdingsmeldingen te loggen. De monitoringtool dient vervolgens continue de applicatielog uit te lezen en de belangrijkste data eruit te filteren en door te sturen naar de een centrale console en database voor verdere analyse.
End-userdata. Geeft vanuit het perspectief van een gebruiker van applicaties een heel goed beeld over de performance en/of beschikbaarheid. Dit sluit namelijk aan op de belevenis van de eindgebruiker en is een aanvulling op de infrastructuurmonitoring. Tezamen geven de end-userdata en monitoringdata een completer en betrouwbaarder beeld en ondersteunen daarmee beter voorspellend beheer. Nu is de basis gelegd om te "dataminen"!
Belangrijk is dat alle data eenvoudig toegankelijk is in een database die ook zorgt dat de opgeslagen data voldoet aan de data integriteitsregels. De data is actueel, volledig en betrouwbaar. Dat stelt hoge eisen aan de monitoringtool.
Ten eerste moet met vrij hoge frequentie de data opgehaald worden. Ten tweede moet de opgeslagen assetdata continue vergeleken worden met de opgehaalde data en moet de tool de veranderingen direct opslaan. Daarbij geldt dat alle veranderingen op te sporen zijn.
Haal meer uit de monitoring!
Het grootste succes is de menselijke creativiteit om de statistische verzameling te bewerken tot concrete inzichten die leiden tot verbeteracties.
Datamining is het gericht zoeken naar (statistische) verbanden in grote verzamelingen gegevens ter ondersteuning van het voorspellend beheer om één of meerdere doelstellingen in het beheer te verbeteren. Hoe deze verzameling is aangelegd is zojuist beschreven. Het doel is om patronen (lees trends)/afwijkingen op te sporen die mogelijk leiden tot incidenten (uitval) door de data te groeperen, sorteren, extrapoleren, correleren, vergelijken et cetera om tot een analyse en verbetervoorstellen te komen.
Om de data te bewerken zijn er twee mogelijkheden:
– De monitoring tool bevat al allerlei statistische voorzieningen of bevat exportvoorzieningen om de historische data naar een datamining tool of spreadsheet programma te transporteren.
– Het proces van datamining is een tamelijk creatief proces waarbij kennis van statistische bewerking nodig is naast gedegen kennis van de infrastructuur en van datamining tools c.q. spreadsheets. Alhoewel datamining hoge eisen stelt aan 'het ontginnen van de data' leert de ervaring dat het eindresultaat nieuwe inzichten geeft en dit bij de klant vaak leidt tot verbazing wat uiteindelijk een hoge actiebereidheid oplevert om het beheer en infrastructuur aan te pakken.
Behalve het inzichtelijk maken van de capaciteit, performance en beschikbaarheid kan je nog verder gaan. Naast de traditionele wijze van monitoring levert monitoring ook een substantiële bijdrage in de standaardisatie van het gebruik van de software en hardware, het standaardiseren van de naamgeving en configuratie-instellingen en het actief monitoren van de standaardisatie van softwaregebruik, naamgeving, configuratie-instellingen tot en met inzet van hardware.
De creativiteit is de grens van wat mogelijk is. Indien datawarehousing en datamining een vast onderdeel zijn van de monitoring(organisatie) en stelselmatig data aanlevert over de standaardisatie, kan gestart worden met het bepalen van de normering van de standaardisatie. Vervolgens ligt de weg open om deze actief te bewaken. Standaardisatie, naast de bewaking van de continuïteit van de infrastructuur is een belangrijke fundament van het beheer. Het terugdringen van de complexiteit door standaardisatie levert op den duur een hoge mate van efficiency en productiviteit.
Spin-off van voorspellend beheer
Een laatste conclusie over voorspellend beheer. Een consequent doorgevoerde vorm van voorspellend beheer vanaf organisatie, proces tot en met tooling levert uiteindelijk veel minder incidenten op met als gevolg dat er meer vertrouwen ontstaat bij de business en dat de ict meer tijd krijgt voor andere taken in het beheer. Daartegenover staat wel dat het voorspellend beheer in het begin een investering verlangt in de professionalisering van het beheer.
Beste Herman,
Allereerst mijn complimenten voor je artikel. Een zeer interessant en vaak nog ondergeschoven onderwerp.
De data die we uit assets, monitoring en logging kunnen halen kan als glazen bol voor je infrastructuur gaan dienen. Zaken als capaciteit en trending zijn vrij gemakkelijk uit deze gegevens te halen.
Deze gefilterde data helpt ons de capaciteit en daar bijbehorende groei en trending beter in kaart te brengen. En op basis van deze informatie kunnen we in zekere mate doen aan een stukje toekomstvoorspelling op het gebied van onze infrastructuur.
Als je namelijk ziet dat je omgeving ieder half jaar met 25% groeit kan je daar vooraf rekening mee houden en tijdig budget aanvragen of misschien andere acties ondernemen omzichtelijk te krijgen waar dit nu precies vandaan komt.
Deze informatie is belangrijker dan menigeen denkt, alleen moeten we nog leren hoe we hier slim mee om moeten gaan.
Hallo Herman,
Terechte laatste alinea: het gaat om de combinatie van organisatie, proces en tooling. Ik ben te vaak bij een rekencentrum te gast waar ik de mooiste tooling op een batterij monitors geprojecteerd zie, en waar ik op dat moment de enige mens ben die daar naar aan het kijken is.
Ik snap (mede vanuit je profiel 😉 dat je het zwaartepunt van je verhaal legt bij tooling. Tegelijk beschrijf je misschien wel een ontwikkeling waarmee een proces voor proactief risicobeheer eindelijk serieus kan worden ondersteund (of je het nu problem management, voorspellend beheer of anders noemt).
Herman,
Ik ben het met je eens dat meten, weten is en begrijpen helpt te voorspellen. Maar het zijn niet zo zeer de prestaties van de individuele componenten alswel de relaties onderling die belangrijk zijn. Ik neem dan ook aan dat je dat ook bedoeld met de context in assetdata. Net als dat je het hebt over betekenis waarbij ik aanneem dat je hier waarde en belang voor het businessproces bedoeld. Inrichting van beheer is tenslotte ook een kostenaspect waarbij soms garantie tot aan de voordeur goed genoeg is, zeker als business of gebruiker niet bereid zijn te betalen voor investeringen in het beheer.
Goed punt om te stellen dat standarisatie helpt om complexiteit te verkleinen en beheer te verbeteren maar het is vaak de business die de keus in applicaties maakt. En dus hebben meeste organisaties, hoewel ze aangeven onder architectuur te werken, toch altijd weer meerdere typen databases, middleware en verschillende systemen. En al deze oplossingen vragen ieder weer een stukje maatwerk in beheertooling waardoor de spreekwoordelijke eilanden ontstaan. Ervaringen leren dan ook dat meeste beheerorganisaties meestal geen gebrek hebben aan middelen hoewel deze vaak point-to-point zijn. Hierdoor is het soms nog niet zo eenvoudig om management van bijvoorbeeld netwerk, opslag, servers en applicaties onder één view te brengen. In je één na laatste alinea heb je het echter over creativiteit om met datawarehousing en datamining meer te doen dan standaard mogelijk is.
Nu lijkt het telkens exporteren van data en deze, na rationalisatie achteraf analyseren me niet alleen omslachtig maar evengoed weer reactief beheer. En ook niet onbelangrijk is het gegeven dat framewerken van IBM, HP, BMC en anderen vaak ‘proprietary’ zijn waardoor ontsluiten van de informatie kennis vraagt van de werking en database schema’s. Niet zelden vind ik bij doorlichten van infrastructuren dan ook allemaal ‘beheerweesjes’ of hulpmiddelen die ongeautoriseerd zijn geïnstalleerd. En natuurlijk ontbreken ook nimmer de zelfgemaakte oplossingen die spreadsheets vullen omdat beheer vaak ingericht is naar het OSI-model en een goed overzicht van de gehele architectuur ontbreekt. Dit komt misschien wel omdat architecten in abstracties en framewerken praten terwijl de engineers en specialisten de technische details nodig hebben. Om beheer te professionaliseren is het misschien dan ook een goed idee om eerst deze Babylonische spraakverwarring weg te nemen.
Want door eerst de relaties tussen mensen te herstellen blijkt dat met ‘business intelligence’ in beheer al eenvoudig lijntjes te trekken zijn tussen de techniek, processen en organisatie. Beheer blijft tenslotte toch vaak het ondergeschoven kindje en wordt er dus vaak pas bij betrokken als een applicatie opgeleverd moet worden. Op die manier blijven er ook altijd verrassingen welke we naderhand weer kunnen oplossen door aanpassingen in de beheertools te maken. En dit leidt uiteindelijk weer tot de bekende deeloplossingen zodat de cirkel rond blijft. Natuurlijk kun je maatwerk voor het beheer maken maar alles zou veel beheersbaarder zijn als er enige standarisatie in de systeemlogs, management protocollen en beheerinterfaces was. Gek genoeg wordt daar bijna nooit rekening meegehouden bij de keus van nieuwe applicaties, systemen en oplossingen. En dus blijft de cirkel rond waardoor er telkens deeloplossingen komen die voor verrassingen blijven zorgen in het beheer.
Herman, inderdaad een mooi stuk of een onderwerp wat doorgaans onderbelicht blijft. Wel worden de vele negens achter de komma veel waarde toe bedeeld, maar dit vereist toch enige bheer inspanning.
Wat ik, als oude rot in het vak, een beetje mis, is de dosis gevoel bij het beheer van een datacenter, database of wat het ook zijn mag.
Als ik door het datacenter loop, dan hoor ik welke schijven “spannend”worden, ik merk hoe de koeling werkt. Ook ruik ik de geur, warme electronica ruikt apart. Deze zaken zijn moeilijk in tooling te vervatten. Wel maak ik daar natuurlijk vollop gebruik van en middels allerlei notifications via de email weet ik altijd en overal hoe de vlag erbij hangt. Maar toch dat stukje gevoel, dat hoert er vind ik wel bij.