Over ‘service level agreements’ (sla’s) zijn zo langzamerhand boekenkasten volgeschreven. In alle vakliteratuur valt op dat het afspreken van een sla nog vaak als het eindpunt van een project wordt gezien. In de praktijk blijkt echter dat het dan pas begint. Met name het controleren en evalueren van de gemaakte afspraken kan tot veel verwarring of zelfs onenigheid leiden. Een sla is pas een in de praktijk bruikbaar hulpmiddel wanneer deze meetbaar is, zo blijkt uit de ervaringen van onder meer Shell Information Technology International.
Shell Information Technology International is de internationale leverancier van ict-diensten van de oliemaatschappij. Bepaald geen kleine speler: men werkt voor een gebruikersorganisatie met een omvang van zo’n 120.000 werkstations.
De ict-organisatie is in twee stukken opgesplitst: ‘service delivery’ en ‘service management’. De eerste afdeling is op zijn beurt ook weer opgedeeld. De eerste groep is ‘consumer services’. Hier is men verantwoordelijk voor beheerprocessen als ‘service’-, ‘problem’- en ‘requirement management’. "Een belangrijke graadmeter voor deze groep is de ‘mean time to repair’ ofwel mttr", vertelt Edwin Freekenhorst, business analyst bij Shell Information Technology Internatonal.
De tweede groep heeft een takenpakket dat betrekking heeft op ‘service availibility’. "Centraal staan hier dus processen als veranderingsbeheer en ‘event’ en ‘inventory management’. Zeg maar, de oude backoffice-processen van de ict waar het vooral om de ‘mean time between failures’ (mtbf) draait."
Onder ‘service management’ vallen bij Shell taken als ‘service monitoring’, ‘service planning’, informatiemanagement en ‘service level management’. Tot deze laatste activiteit behoort onder andere het fenomeen ‘service level agreement’.
Freekenhorst: "Binnen Shell werd de eerste generatie ‘service level agreements’ in feite geïnspireerd door klachten van gebruikers over de kwaliteit van de diensten die zij aangeboden kregen. Daarop werd gereageerd door afspraken te maken die – achteraf bezien – soms zeer gedetailleerd waren, terwijl zij op andere punten juist weer erg algemeen bleken te zijn. Die veelheid aan details had vaak betrekking op allerlei technische onderwerpen, terwijl tegelijkertijd een wel erg algemene afspraak als ‘zal beschikbaar zijn’ werd vastgelegd. Aan dat laatste heb je natuurlijk niet zoveel, het is immers niet meetbaar."
‘Sla’ leesbaar en begrijpelijk
Zo’n vijf jaar geleden is een begin gemaakt met het verbeteren van ‘service level management’. Belangrijk hulpmiddel hierbij is een zogeheten ‘service level management framework’ dat tot doel heeft de kosten te verlagen, micromanagement te voorkomen en goedkopere dienstverlening mogelijk moet maken. "We spreken intern ook wel van de tweede generatie sla‘s. Kenmerkend voor deze nieuwe aanpak is onder andere het feit dat het om ‘end-to-end’ afspraken gaat die zijn afgestemd op de bedrijfsprocessen van de klant en dus niet op de interne processen van de ict-afdeling", vertelt Freekenhorst.
"De genoemde tegenstelling tussen de overmaat aan details en juist te algemene formuleringen hebben we proberen te ondervangen door een algemene afspraak te maken die per klant wordt aangevuld met specifieke onderwerpen. Heel belangrijk daarbij: de sla moet voor een wat we noemen ‘reasonable person’ leesbaar en begrijpelijk zijn. Bovendien moeten de afspraken objectief meetbaar zijn, zodat duidelijke evaluaties mogelijk zijn en een hulpmiddel ontstaat om continu aan verbeteringen te kunnen werken."
De voordelen van deze aanpak zijn in de ogen van Freekenhorst groot. "De kosten gaan omlaag, omdat je minder inspanningen hoeft te leveren, terwijl bovendien de afspraken nu helder en duidelijk vastliggen. Dat biedt voordelen voor de klant, maar ook voor de ict-afdeling. Er is nu geen verwarring meer tussen ‘delivery groups’ wat precies aan een klant geleverd dient te worden. Dat betekent ook dat we een betere grip hebben op de manier waarop we diensten aanbieden. Dat de klant met meetbare resultaten uiteindelijk ook beter af is, zal duidelijk zijn."
Waarop wordt nu precies gemeten? Drie waarden staan hierbij centraal: beschikbaarheid per dienst (het percentage ‘uptime’ gedurende de ‘prime time’ van de klant), de betrouwbaarheid per dienst (het aantal storingen gedurende de lokale ‘prime time’ van de afnemer) en de responstijd per service (met andere woorden: het percentage transacties dat binnen de afgesproken tijden valt). Per waarde dient een hulpmiddel voor objectieve metingen te zorgen.
Robotaanpak
De eerste poging van Shell om de sla-afspraken meetbaar te maken, leverde niet het gewenste resultaat op. Men koos voor een aanpak – intern een ‘robotic approach’ genoemd – waarbij per locatie een speciale pc werd geplaatst die op vaste tijden metingen deed. "Logistiek was dat een enorm probleem. We gebruikten bovendien scripts die erg gevoelig bleken voor veranderingen in de applicaties die we wilden meten. Er ging dus nogal wat mankracht zitten in het uitrollen en onderhouden van deze aanpak."
Uiteindelijk werd gekozen voor de aanschaf van meer specifieke hulpmiddelen. Zo kocht men na een marktonderzoek Etewatch (‘End to end watch’) van softwarebedrijf Candle. "Met dit hulpmiddel wordt de responstijd gemeten zoals deze door de eindgebruiker wordt ervaren. Maar dan wel op een neutrale manier, dus zonder subjectieve invloeden als het humeur van de eindgebruiker, de haast die hij heeft en dergelijke."
Inmiddels heeft Shell op zo’n drieduizend werkstations de voor deze metingen benodigde clientsoftware geïnstalleerd. Deze draait op de achtergrond – "geen waarneembare invloed op de systeemprestaties", stelt Freekenhorst vast – en legt, zodra de gebruiker een transactie of handeling verricht, de snelheid vast waarmee de te meten applicatie reageert. Daarbij gaat het om toepassingen als Outlook, Internet Explorer (voor interne websites), maar bijvoorbeeld ook SAP. Deze gegevens worden verzameld en kunnen – na enige bewerking – in een rapport worden gepresenteerd.
Een probleem waar men vervolgens tegenaan liep, is het feit dat Etewatch alleen meetresultaten kan vaststellen wanneer een eindgebruiker de applicatie ook daadwerkelijk gebruikt. Freekenhorst: "We kwamen in de grafiekjes soms midden op de dag onverklaarbare nulmetingen tegen. Wat was de verklaring daarvoor? Deed men op dat moment een tijd lang niets? Was de service ‘uit de lucht’? Daarom hebben we samen met Candle een zogeheten ‘availibility probe’ ontwikkeld. Deze controleert met instelbare intervallen – bij ons iedere tien minuten – de infrastructuur: functioneert die of niet? Hierdoor kunnen we nu in één grafiek zien of in een bepaalde periode de service beschikbaar was én wat de responstijden waren."
Discussie duidelijk houden
Het voordeel van het gebruik van een hulpmiddel als Etewatch is dat de afspraken met de interne klant meetbaar worden. "De scripts die in het product worden gebruikt, blijken nauwelijks gevoelig voor veranderingen in de te meten applicaties. Bovendien is de sofware eenvoudig uit te rollen. Je kunt voorts groepen van gebruikers definiëren om het meetproces verder te verbeteren. Hierdoor kunnen we niet alleen tot statistisch verantwoorde steekproeven komen, maar ook meetwaarden per specifieke klant genereren."
Freekenhorst zou ten aanzien van prestatiemetingen het liefst het woord ‘gemiddelde’ afschaffen. "Wanneer je alleen maar gemiddelde waarden rapporteert, haal je veel van de detailinformatie weg. Het gaat ons er juist om vast te kunnen stellen hoeveel meetwaarden binnen de afgesproken bandbreedtes liggen en hoeveel niet. We hebben dus niets aan gemiddelden."
Zowel binnen Shell Information Technology International als bij de diverse klanten is men volgens Freekenhorst tevreden over deze aanpak. "Het aardige van dit hulpmiddel zit ‘m in de eenvoud: het doet maar één ding, namelijk responstijden meten. In de evaluaties met klanten biedt zo’n objectief meetrapport duidelijkheid en maakt het de discussie zuiver. Natuurlijk kan het zijn dat de responstijden om een of andere reden oplopen. Maar dat wordt dan neutraal vastgesteld, zonder dat de perceptie van de eindgebruiker daarbij een rol speelt."
Ook voor de ict-afdeling is de situatie nu beter. "De responstijden worden objectief vastgesteld, zodat overschrijdingen van afgesproken grenzen ook neutraal worden geconstateerd. Dat maakt de discussie voor zowel de klant als de ict-afdeling een stuk duidelijker."
Robbert Hoeffnagel, freelance medewerker
