Verbeteren van testvolwassenheid

In het vierde artikel van deze reeks heb ik de cruciale bijdrage van de testdisciplines behandeld. Deze testgebieden spelen een dermate belangrijke rol binnen het testproces dat ze afzonderlijk kunnen worden beschreven en beoordeeld op testvolwassenheid. Het unieke Test Assessment Framework (TAF), waarvoor wereldwijd octrooi is aangevraagd, ondersteunt de organisatie zowel bij het identificeren als het verbeteren van de belangrijkste test- en ontwikkeldisciplines zoals projectmanagement, requirementsmanagement en configuratiemanagement, aangezien deze een directe of indirecte relatie hebben met het testen en de daarmee samenhangende capaciteit van de organisatie om geavanceerde informatiesystemen voorspelbaar te ontwikkelen en toe te passen. Het resultaat: langdurig concurrentievoordeel. TAF geeft een volledige (driedimensionale) indruk van de testvolwassenheid van de gehele testorganisatie: de eerste dimensie: drie testdomeinen (teststrategie, testlevenscyclus, testdisciplines) omvatten in totaal vijftien testgebieden die worden geëvalueerd op hun testvolwassenheid, de tweede dimensie: de evaluatie vindt plaats tegenover de vijf testvolwassenheidsniveaus van het Testing Maturity Model (TMM), ontwikkeld in 1996 aan het Illinois Institute of Technology, via een ‘Quick Assessment’ (kortere periode, meer subjectief) of een ‘Full Assessment’ (langere periode, meer objectief) en de dere dimensie: de testvolwassenheid van elk testgebied wordt bepaald via de drie testinvalshoeken in de organisatie: processen, technologie en de mensen. In dit vijfde en tevens laatste artikel zal ik stilstaan bij een onderzoek dat enige tijd geleden is ingesteld naar de voordelen van testcentralisatie en de verbetering van testvolwassenheid. In dit onderzoek komen interessante feiten naar voren die onderschrijven dat langdurig concurrentievoordeel voor bedrijven en instellingen daadwerkelijk wordt ondersteund door het verbeteren van testvolwassenheid.

TMM en het verbeteren van testvolwassenheid

Iedereen zal het eens zijn met de stelling dat geïntegreerd testen kosten bespaart. Immers, je hoeft het wiel niet iedere keer opnieuw uit te vinden op elk project. Gestandaardiseerde testprocessen kunnen direct worden gebruikt, evenals standaard testtools. De testorganisatie van elk project zal ook zijn vastgelegd, inclusief de andere belangrijke componenten van deze TAF-testinvalshoek (‘mensen'), zoals de communicatiestructuur, het testtrainingprogramma, etc. Een testorganisatie die is gestandaardiseerd, en daarmee gecentraliseerd, is een van de kernpunten van het Testing Maturity Model (TMM) niveau 3: ‘Integrated'.

Het is ook zeer aannemelijk dat nog meer kosten kunnen worden bespaard op projecten als de kwaliteit van de fasen vóór het testen wordt verbeterd. Als bijvoorbeeld alle systeemgerelateerde software en documentatie, zoals requirements en technisch/functioneel ontwerpen, grondig worden geëvalueerd op kwaliteit (volgens vooraf gedefinieerde kwaliteitscriteria), zal het testen een minder groot gedeelte vormen van het gehele project. Immers, het kost altijd meer tijd en geld om iets achteraf te verbeteren dan op het moment dat het wordt gemaakt. Een testorganisatie die dit niveau heeft bereikt, voldoet aan de kernpunten van TMM niveau 4: ‘'Management & Measurement'.

Als een testorganisatie vervolgens in staat is het testproces volledig te optimaliseren met behulp van geavanceerde testautomatisering en statistisch testen, en in staat is zichzelf te verbeteren door het continu analyseren van de hoofdoorzaak (Engels: ‘root cause') van welke problemen dan ook, heeft deze het hoogste TMM niveau bereikt: 5 ‘'Optimization/Defect prevention and Quality Control''. Ook hier zal iedereen verwachten dat additionele kosten kunnen worden bespaard in verhouding tot de voorgaande TMM-volwassenheidsniveaus.

Voordelen van testvolwassenheidsverbetering

Hoe ervaart een testorganisatie nu de kostenbesparingen en andere voordelen met betrekking tot verbeteren van de testvolwassenheid? Het antwoord hierop is niet eenvoudig aangezien er in het verleden maar weinig wetenschappelijk onderzoek is gedaan naar de relatie tussen testen, testvolwassenheidsverbetering, het systeemontwikkeltraject en de performance van de organisatie als geheel.

Om deze vragen beter te kunnen beantwoorden is vorig jaar een baanbrekend onderzoek ingesteld door een gerenommeerd internationaal onderzoeksbureau. Dit bureau benaderde in totaal 201 (senior) ict-executives van bedrijven met hoofdkantoren in de Verenigde Staten en met kantoren in onder andere Europa, Canada, Australië, Zuid-Amerika en Azië. De bedrijven vertegenwoordigden een breed scala aan marksegmenten, zoals de financiële sector, productontwikkeling, detailhandel, telecommunicatie, gezondheidszorg, overheid, bouw, nutsbedrijven, etc. De jaaromzet van 74 procent van deze bedrijven bedroeg tussen de 1 en 5 miljard dollar en van 10 procent zelfs meer dan 5 miljard dollar.

De respondenten kregen in totaal 38 vragen voorgelegd die ze via een website online konden beantwoorden. Voorbeelden van enkele kernvragen waren:

– Is de testorganisatie en/of zijn de testprocessen gecentraliseerd?
– Zijn activiteiten ondernomen om de volwassenheid van de testorganisatie en/of testprocessen te verbeteren? Op welk testvolwassenheidsniveau zag je jezelf eerst en op welk volwassenheidsniveau zie je jezelf nu?
– Hoeveel heeft jouw bedrijf geïnvesteerd in het verbeteren van testvolwassenheid gedurende de afgelopen ywaalf maanden?
– Waren de ervaren voordelen van het verbeteren van de testvolwassenheid groter, gelijk of kleiner ten opzichte van de benodigde inspanningen en investeringen hiervoor?
– Hoeveel gaat jouw bedrijf investeren in het verbeteren van testvolwassenheid in de komende twaalf maanden?
– Welke bedrijfsdoelstellingen hebben de grootste winst geboekt door het investeren in testvolwassenheidverbetering?

Uitkomst van het onderzoek

Allereerst was het interessant dat de respondenten positief waren verrast over het onderzoek zelf. De algemene feedback was dat het nu dé juiste tijd was voor dit soort onderzoeken en dat de vragen bijzonder actueel en toepasbaar waren binnen de context van dagelijkse bedrijfsvoering.

– Bij 94 procent van de bedrijven was de testorganisatie gecentraliseerd. Bij 81 procent van deze bedrijven had de centralisatie de afgelopen drie jaar al plaatsgevonden.
– Zoals verwacht zag een meerderheid van de bedrijven (32 procent) zichzelf nu op TMMvolwassenheidsniveau 3: ‘Integrated', een verdubbeling van voor de centralisatie (16 procent). Een aantal bedrijven vond dat na centralisatie testen ofwel nog niet volledig was geïntegreerd (20 procent), ofwel juist was doorgegroeid naar het volgende TMM-volwassenheidsniveau 4 (27 procent).
– Gedurende de afgelopen twaalf maanden had 68 procent van de bedrijven meer dan een half miljoen dollar geïnvesteerd en had zelfs 32 procent tussen de 1 en 5 miljoen dollar geïnvesteerd in het verbeteren van testvolwassenheid.
– Maar liefst 91 procent van de bedrijven vond dat de ervaren voordelen van het verbeteren van de testvolwassenheid gelijk of groter waren dan de investeringen.
– Gedurende de komende twaalf maanden was 66 procent van de bedrijven van plan meer dan een half miljoen dollar te investeren en 32 procent tussen de 1 en 5 miljoen dollar in het verbeteren van testvolwassenheid.

Wellicht het meest interessant was de feedback van de respondenten over de ervaren voordelen van testvolwassenheidverbetering met betrekking tot het halen van de bedrijfsdoelstellingen. Van de respondenten zag:

– 66 procent winst in merkherkenning en klantentrouw.
– 67 procent winst in klantervaring, klanttevredenheid en klantretentie.
– 69 procent winst in marktintroductietijd en verbeterde kwaliteit van de software.
– 71 procent een toename in marktaandeel, omzet en winstgevendheid.
– 76 procent een toename in ROI (Engels: ‘return on investment') op geïnvesteerde hardware, software, en tools.

Wat betreft de toename in ROI in relatie tot testcentralisering zag 95 procent van de respondenten meer dan 20 procent ROI en 39 procent van de respondenten zelfs meer dan 60 procent ROI gedurende een periode van een tot drie jaar. Wat betreft de toename in ROI in relatie tot testvolwassenheidverbetering zag 89 procent van de respondenten meer dan 20 procent ROI en 39 procent van de respondenten zelfs meer dan 50 procent ROI gedurende een periode van een tot drie jaar.

Enkele citaten van de respondenten:

– 'Onze ingenieurs en wetenschappers zijn nu veel gelukkiger. De laatste getallen die we hebben met betrekking tot kostenbesparing en ROI laten zien dat we 9,5 procent kosten besparen op elk project van 10 miljoen dollar: dat is een toename in efficiëntie per project, per week en opgeteld per maand van bijna 40 procent.'
– 'Voordat we met testcentralisatie en testautomatisering begonnen was het niet eenvoudig, maar nu kunnen we in minuten voorbereiden, we zijn klaar voor de start, we zijn aan het testen.'
– 'We hebben nu meer controle door centralisatie in tegenstelling tot aparte lijnen in de business voorheen; alles gaat in dezelfde richting. We willen meer applicaties uitbrengen die intelligenter zijn. We hebben meer samenwerking bereikt en een betere focus. We hebben ongeveer 20 procent op ons testbudget bespaard door consolidatie.'

Conclusie

Er is een verandering in de markt gaande inzake testen. Bedrijven raken steeds meer geïnteresseerd in het managen, meten en verbeteren van het testproces. Het testproces wordt minder gezien als een noodzakelijk kwaad voor 'go-live', maar juist meer als kritisch onderdeel voor het doorvoeren van potentiële kostenbesparingen binnen projecten.

Een hoogkwalitatief testproces houdt zich niet alleen bezig met activiteiten die puur binnen het testen liggen, maar profileert zich juist als kwaliteitsdiscipline die in meer of mindere mate alle projectactiviteiten beïnvloedt ter ondersteuning van een voorspelbaar en hoog kwalitatief systeemontwikkeltraject, van begin tot eind. Het unieke Test Assessment Framework (TAF) ondersteunt organisaties zowel bij het identificeren als het verbeteren van het gehele testproces en tevens specifieke onderdelen daarbinnen via de drie testdomeinen (teststrategie, testlevenscyclus en de testdisciplines) en bijbehorende vijftien testgebieden. Door deze testgebieden te integreren met de TMM-testvolwassenheidsniveaus en de drie testinvalshoeken (processen, technologie en mensen) is het beeld compleet: je krijg een volledige (driedimensionale) indruk van de gehele testorganisatie; welke testgebieden hebben welk TMM-volwassenheidsniveau en vanuit welke testinvalshoek ( processen, technologie en mensen).

Het internationale onderzoek naar testcentralisatie en testvolwassenheidsverbetering heeft de aannames bevestigd: het centraliseren van testen en het verbeteren van de testvolwassenheid met behulp van een standaard testorganisatie, testprocessen, testmethodologie en omgevingen en tools laat een positieve ROI zien. Toenames in kwaliteit en productiviteit dragen direct bij aan zowel financiële als sociaal/organisatorische doelstellingen binnen een organisatie. Projecten worden voorspelbaar uitgevoerd en opgeleverd waardoor bedrijven beter en sneller kunnen inspringen op veranderingen in de markt door het toepassen van geavanceerde informatiesystemen.

Testen is dé onmisbare factor in de strijd om langdurig concurrentievoordeel.