Tegenwoordig wordt via talloze media een duizelingwekkende verscheidenheid aan gegevens onder de aandacht gebracht middels promoties van uiteenlopend karakter; boeken, onderzoeken, spam, exit polls, virals, Computable, etc. Zo ook in de wereld van het testen, waar de scheiding tussen feit en fictie niet alleen van extra zwaarwegend belang, maar ook de primaire doelstelling is. Of niet? Wat is eigenlijk de waarde van al die gegevens die over ons worden uitgestort?
Dr. Richard Feynman PhD. deed als jongeman, in opdracht van Oppenheimer en Hans Bethe, veel rekenwerk voor de ontwikkeling van de atoombom, ontving een Nobelprijs voor zijn Natuur-kunde maar waarschijnlijk ken je hem daar niet van. Velen zagen Feynman toch ooit op televisie tijdens een persconferentie demonstreren hoe een zachte, flexibele rubberen ring zijn eigenschappen verliest als deze aan ijswater wordt blootgesteld. Gewoon in een koffiebekertje op een bureau tegenover de camera's. Feynman achterhaalde en demonstreerde zo de oorzaak van de ramp met de Challenger-spaceshuttle.
Ik raad je aan Feynman's verslag van zijn onderzoek te lezen. Je zult je niet vervelen. In het kort: ingenieurs die alles weten en onder de aandacht brengen en managers die desalniettemin alleen luisteren naar wat hen of hun bazen goed uitkomt; we verkopen wat verkoopt. Kwaliteit is niet belangrijk. De werkvloer die zich beseft dat minimaal één op de driehonderd shuttles in brokstukken terugkeert, de managers die afgesproken hebben dat het er maar één op de honderdduizend zullen zijn. Wat velen hem van meet af aan als meest voor de hand liggende oorzaak suggereerde, probeerde de commissie buiten het rapport te laten.
Feynman introduceerde ook de term 'Cargo Cult Science', in 1974. De Cargo Cult is een verschijnsel uit de Pacific. Nadat Amerikanen daar in de tweede wereldoorlog op allerlei eilandjes tussen de inboorlingen hun moderne technologie invlogen, begonnen de inboorlingen hun eigen landingsbanen aan te leggen; compleet met verkeerstoren van bamboe, vuren als bakens en koptelefoons van kokosnoten. Zij waren in de veronderstelling alles precies goed te doen en begrepen maar niet waarom de grote metalen vogels met al die handige spullen in hun buik hen niet bezochten. Of de medicijnman wilde het niet begrijpen; hij genoot met zijn 'cokoptelefoon' gewoonweg onweerstaanbaar veel aanzien.
Feynman gebruikte de term in een toespraak voor afgestudeerden om broddelwerk dat men graag verkoopt als wetenschap te onderscheiden van de echte wetenschap. Hij stelde dat echte wetenschap integer dient te zijn en te worden bedreven, zich onomwonden en volledig oprecht op moet stellen. Iedere wetenschapper zou zichzelf niet voor de gek moeten houden en anderen al helemaal niet. Iedereen zou zijn eigen theorieën en bevindingen als meest kritische onder de loep moeten nemen en pas nadat deze meermaals en objectief bevestigd zijn naar buiten moeten brengen. Feynman noemde ook de marketing als notoire recidivist in deze.
Gaan we het nu nog over testen hebben? Zeker wel. En over software-ontwikkelprocessen die volgens sommigen met testen moeten beginnen? Bij deze. Testen kan beginnen bij aanvang van het ontwikkelproces. Dat is heel iets anders. Dat noemen wij testers, en wij niet alleen, een review. Als de test wordt ontworpen voordat het ontwerp wordt gemaakt, dan is de uitvoerder een ontwerper, geen tester. Het wetboek van strafrecht spreekt in zo'n geval van ‘etikettenschwindel'; je verandert de naam van een product en verkoopt dat dan ineens wel waar dit eerder niet lukte. Onder wijnhandeleren een doodzonde. Refereren we gelijk ook aan onbevestigde theorieen: de Cargo Cult Science pur sang, zeg maar.
De ISTQB refereert terecht aan CMM, TMM, ISO TPI en IEEE als zeer bruikbare en gevestigde best practices maar schwindelt daarnaast wel met de etiketten van TMM en TMMi. Het TMMi-boek zelf is volgens Selexyz nog niet verschenen en als standaard mag het dus nergens genoemd worden. Cargo Cult Science. Het heeft zich niet bewezen en mag als zodanig dus ook niet worden aangeprezen.
Afsluitend naar dove managers, de wortel van alle kwaad; gebrek aan communicatie, waar Cargo Cult Science welig tiert. Op de plek waar de Verenigde Staten ooit al hun nucleaire geheimen bewaarden, demonstreerde Feynman aan een generaal hoe eenvoudig zijn kluizen te kraken waren. De generaal schrok. Hij deed een decreet uitgaan dat zijn medewerkers verbood om Feynman nog toe te laten in hun kantoren. De kluizen bleven, het probleem ook.
Dag Sebastiaan,
Ik begrijp eigenlijk niet de kern of de conclusie van je betoog. Bedoel je te zeggen dat het product van een ontwerper niet meer zou worden te hoeven getoetst volgens ISTQB?
Dank voor je reactie Jaap. Ik wil aangeven dat we niet moeten luisteren naar mensen die zeggen dat we de dingen ook in een andere volgorde kunnen doen terwijl zij zelf, laat staan anderen, de juistheid van hun beweringen niet eerst meerdere malen objectief hebben aangetoond.
Er zijn meer dan voldoende sequentiële, iteratieve en incrementele ontwikkelprocessen voorhanden in de markt die hun nut bewezen hebben. Een enkel ding hebben deze allen wel gemeen: ze prediken allemaal min of meer dezelfde stappen, in dezelfde volgorde.
Dan moet je die stappen niet ineens door elkaar gaan halen of overslaan en beweren dat het beter werkt, zonder dit te kunnen staven met serieuze, substantiele en in het openbaar gepubliceerde onderzoekresultaten die dit onderbouwen.
Je moet eerst ontwerpen en dan bouwen en dan testen. Punt. Waarmee ik niet wil zeggen dat het niet loont om testers naar ontwerpen te laten kijken.
Klanten begrijpen vaak nog altijd niet waar automatiseerders mee bezig zijn en hoe onze processen in elkaar zitten, wat er van hen verlangt wordt en wat zij van ons mogen verlangen. Wij als testers worden daar vaker wél mee geconfronteerd dan niet, vaker pijnlijker dan niet. Het aantal klanten dat een geoptimaliseerd ontwikkelproces bezit of daardoor bediend wordt is veruit in de minderheid, terwijl al decennia lang op papier staat hoe het moet.
Als je de tester een testontwerp laat maken voordat er een gewoon functioneel ontwerp is dan is de tester feitelijk dus de ontwerper geworden en daarvoor is de tester niet opgeleid.
Welk werk je ook doet: je moet nadenken voordat je iets doet, ook de ontwerper, ook de tester en ook degenen die betere methodieken aan denken te kunnen dragen waar de problemen vaak slechts ontstaan omdat we de oude methodieken niet gebruiken.
De ene kan echter niet zo 1-2-3 het werk van de andere doen, moet dat werk niet willen doen en anderen moeten ook niet verkopen dat deze herverdeling van verantwoordelijkheden iets zou oplossen.
Je moet ook eerst op eigen kracht een standaard in de markt worden en pas als je merites hebt, voor een aanbeveling daarvan in aanmerking komen. Met de in mijn artikel genoemde methode neemt de ISTQB bewust een loopje met haar eigen ethiek en staat zij jammerlijk buitenspel.