Managementinformatiesystemen worden steeds mooier. Fraaie grafische presentaties in ‘full color’ verhullen dat de informatie onjuist, onvolledig of verouderd kan zijn. In de praktijk blijkt dat regelmatig het geval te zijn. Een consultant stelde de top-10 samen van veel voorkomende fouten in managementinformatie.
Een dienstverlenende organisatie ontving klachten van cliënten dat zij ondanks een afspraak lang moesten wachten. Na een moeizame koppeling van het afsprakenpakket en het behandelingensysteem kon een fraaie managementsrapportage van de wachttijden worden geproduceerd. De wachttijd werd gedefinieerd als het verschil tussen de afspraaktijd en de daadwerkelijke starttijd van de behandeling. Uit de rapportages viel geen eenduidige oorzaak van de wachttijd af te leiden. De behandelaars beweerden dat de gepresenteerde wachttijden absurd lang waren. Nader onderzoek wees uit dat zij gelijk hadden: de starttijdbehandeling in het behandelingensysteem klopte niet. Deze werd door het systeem gegenereerd bij het invullen van het behandelingsscherm. Aangezien behandelaars het ongepast vinden om cliënten te ontvangen vanachter het beeldscherm, duurt het doorgaans enige tijd voordat zij met het intikken van gegevens beginnen. Hierdoor werd een latere starttijdbehandeling gegenereerd, waardoor een lange ‘wachttijd’ ontstond tussen de afspraaktijd en starttijdbehandeling.
Foutenbron 1: Systeemdatum en -tijd
Een systeemdatum en -tijd in plaats van een ingetikte datum en tijd heeft als voordeel dat werk wordt bespaard en intikfouten worden voorkomen. Een nadeel is dat de gebruiker, vaak onbewust, het moment van activeren en daarmee de inhoud bepaalt. Hierdoor kan een datum of tijd worden vastgelegd die afwijkt van de feitelijk bedoelde. Let met name op het effect op doorlooptijden, termijnbepaling, en dergelijke.
Foutenbron 2: Ingetikte datum en tijd
Bij een marketingbureau wordt veelvuldig onderzoek gedaan naar het aankoopgedrag met betrekking tot bepaalde producten. Een standaard interviewvraag is de vraag naar de recentste aankoopdatum van het product. In de verzameldatabase van de interviewresultaten kwamen soms merkwaardige aankoopdatums voor.
Onderzoek wees uit dat bij een kwart van de foute aankoopdatums er wel een aannemelijke datum op het interviewformulier stond. Het invoerprogramma controleerde niet op waarschijnlijkheid maar alleen of de aankoopdatum vóór de systeemdatum lag.
Het handmatig intikken van een datum of tijd gaat uiteraard in een aantal gevallen fout. Invoerprogramma’s zouden de mogelijkheden van domeincontrole en datumvergelijking beter moeten benutten:
Domeincontrole. Het domein van waarden van een ingetikte datum of tijd is vrijwel altijd aan grenzen gebonden. Overschrijding kan door het invoerprogramma worden gesignaleerd.
Een voorbeeld. De aankoopdatum van een product mag niet meer dan x dagen in het verleden liggen, waarbij x een productgebonden waarde is in het productenbestand.
Vergelijking met aanwezige datum. In veel gevallen kan een vergelijking worden gemaakt met een al aanwezige datum. Bijvoorbeeld: De verzenddatum mag niet vóór de vorige verzenddatum liggen en ook niet vóór de orderdatum.
Foutenbron 3: Classificaties
Gezien het groeiend aantal storingen in de categorie ‘onderdeel x stuk’ besloot de directie van een service-organisatie dat er bij de managementsrapportage een afsplitsing hiervan moest worden gemaakt, genaamd ‘onderdeel x stuk, garantie’. De noodzakelijke systeemwijziging was vrij snel klaar. Op de volgende managementsrapportage werd voor elke maand van het afgelopen jaar het aantal storingen gerapporteerd van de categorie ‘onderdeel x stuk, garantie’. Het aantal was verassend laag. Blijkbaar ging het onderdeel doorgaans stuk na de garantietermijn. Bij nader onderzoek bleek dat de verklaring een geheel andere was dan gedacht: De administratie was nog bezig om de storingsdossiers na te lopen en waar nodig de categorie ‘onderdeel x stuk’ te vervangen door ‘onderdeel x stuk, garantie’. Ze was zich er niet van bewust dat er inmiddels nieuwe managementrapportages waren verschenen, terwijl de omzetting nog niet was afgerond. De directie had niet bedacht dat er naast de systeemwijziging een handmatige omzetting moest plaatsvinden voor de nieuwe classificatie.
Classificatie is een middel om handzaam te rapporteren over een bepaald aspect van een verzameling objecten. Het vervelende is dat vaak niet van te voren is aan te geven welke indeling voor de toekomst het meest waardevol is. Bij wijziging van een classificatie moet steeds worden bepaald of ook de al aanwezige objecten moeten worden omgezet of dat het voldoende is om nieuwe objecten volgens de nieuwe indeling te classificeren. Voor een productiesysteem is het laatste meestal voldoende. Voor een managementinformatiesysteem kan echter conversie van bestaande gegevens noodzakelijk zijn om historische reeksen niet abrupt tot een einde te laten komen.
Foutenbron 4: Codes
Tijdens de bespreking van de verkoopresultaten met de regiomanagers presenteerde de directie nogal verassende regiocijfers. Alras bleek dat de verkoopcijfers wel in orde waren, maar dat ze waren gekoppeld aan de verkeerde regio’s. De oorzaak was een wijziging in de regiocode tabel. Daarin waren nu de regionamen op alfabetische volgorde gezet en van een nieuwe code voorzien. De verkopen in het productiesysteem waren geconverteerd naar de nieuwe code, maar vergeten was dat het managementinformatiesysteem nog de oude codetabel gebruikte.
Een code is een kunstmatige toevoeging aan een natuurlijke waarde. Het voordeel is ruimtebesparing bij de gegevensopslag. Het nadeel is dat in productiebestanden nietszeggende codes staan die met name het on-line opvragen van informatie frustreren. Er moet steeds een codetabel worden geraadpleegd.
Foutenbron 5: Restwaarden
De verkoopbinnendienst had de opdracht om aan nieuwe klanten te vragen met wie ze voorheen zaken deden, en om welke reden ze nu hier een order plaatsten. Bij de managementsrapportage bleek de meest voorkomende vorige leverancier niet één van de grote concurrenten maar ‘overige leveranciers’. ‘Overig’ was ook favoriet als het ging om het opgeven van de reden van overgang. Nader onderzoek leerde dat de verkoopbinnendienst veelal de vragen niet aan de klant stelde en zelf ‘overig’ invulde. De informatie was immers niet nodig voor uitvoering van de order en nieuwe klanten zouden de vragen mogelijk indiscreet vinden.
Wanneer bij het invullen van een gegeven veelvuldig gebruik wordt gemaakt van een restwaarde zoals ‘overige’ of ‘diverse’, kan dit een aanwijzing zijn dat de reeks van waarden waaruit kan worden gekozen ontoereikend is. Het is ook zeer wel mogelijk dat het een gegeven betreft dat niet nodig is voor de operationele verwerking en waarvan de invuller het belang niet inziet.
Is de invuller dom? Nee, de invuller is niet dom, maar hij vult routinematig zijn invoerschermen in en voert geen totale visuele controle uit op zijn intikwerk. Hij vaart blind op de foutboodschappen van het invoerprogramma. Verder doet hij productiewerk en heeft hij geen weet van het effect van zijn invoer op managementrapportages.
Foutenbron 6: Afgeleide gegevens
Na de ingebruikname van een nieuw managementinformatiesysteem bleek de omzet van verschillende artikelen hoger uit te vallen dan het geval was bij het oude systeem. Alvorens te juichen werd onderzocht of de cijfers wel klopten. Helaas, in het nieuwe managementinformatiesysteem was men vergeten om de retouren (creditnota’s) in mindering te brengen op de omzet.
Afgeleide gegevens zoals omzet, doorlooptijd, nettoloon, enzovoort vormen een groter risico dan door gebruikers rechtstreeks vastgelegde brongegevens. Niet alleen kunnen de brongegevens waarvan ze worden afgeleid fout zijn, maar ook kan de afleiding onvolledig zijn, op een verkeerd tijdstip plaatsvinden of gewoon foutief zijn. Het wordt helemaal complex als gegevens uit verschillende bronsystemen of uit verschillende locaties worden samengevoegd.
Documentatie van de samenstelling en van de afleidingsregels is noodzakelijk.
Foutenbron 7: Historische reeksen
Bij een overheidsorganisatie werd een nieuw declaratiesysteem in gebruik genomen. De post reiskosten was op de nieuwe managementsrapportage fors lager dan op het oude systeem. Toch was er volgens de managers in de afgelopen periode niet minder gereisd dan voorheen. Bij nader onderzoek bleek dat de oude programmatuur structurele fouten bevatte die nooit waren opgemerkt. De managers vergeleken steeds de reiskosten op de managementsrapportage van de nieuwste periode met die van de voorgaande perioden en namen verder geen actie omdat de post tamelijk constant was.
Eén van de pluspunten van het managementinformatiesystemen is dat historische gegevens worden bewaard, waardoor snel een beter oordeel over de nieuwste periode mogelijk is en trends kunnen worden onderkend. Een nadeel van de presentatie van historische reeksen is dat de aandacht wordt gericht op de reeks en niet op de hoogte van de afzonderlijke getallen. Een fout kan daardoor lang onopgemerkt blijven.
Foutenbron 8: Gemiddelden
Aan een overheidsorganisatie werd de norm opgelegd om vragen met prioriteit A (politiek belangrijk) binnen een maand te beantwoorden. Tot tevredenheid van de directie toonde de managementsrapportage aan dat de gemiddelde antwoordtijd ruim binnen een maand bleef. Klachten werden als incidenten afgehandeld, totdat externe druk noopte tot nader onderzoek. Toen bleek dat (conform de wensen van de staf) in de programmatuur was opgenomen dat vragen die na een kwartaal nog niet waren beantwoord, niet werden meegeteld. Anders zou het gemiddelde onredelijk hoog worden. Het betrof zaken waar de organisatie niets aan kon doen, omdat gewacht moest worden op gegevens van anderen.
Het voordeel van de presentatie van gemiddelden is dat in één oogopslag zichtbaar is hoe iets er voor staat. Het nadeel is dat een gemiddelde waarde vervlakkend werkt en misleidend is bij een grote spreiding of een heterogene populatie.
Foutenbron 9: Prestatie-indicatoren
In een decentrale organisatie werden de automatiseringskosten per werkplek van de verschillende vestigingen vergeleken. Opvallend was dat de kosten per werkplek bij de duurste vestiging meer dan vier keer zo hoog waren als bij de goedkoopste vestiging. Analyse wees uit dat het kencijfer geheel verschillende ladingen dekte. De vestigingen boekten verschillende kosten op de werkplek en ook de omslagregels voor algemene kosten verschilden.
De problematiek bij prestatie-indicatoren komt overeen met die van de foutenbronnen Afgeleide gegevens, Totalen en Gemiddelden. Extra attentie is nodig omdat de indicator wordt gebruikt om de prestaties van een persoon of van een groep personen te beoordelen. Documentatie van de samenstelling en de gevolgde bewerkingen is essentieel om een prestatie-indicator op zijn waarde te kunnen beoordelen. De mogelijkheid tot handmatige reconstructie bij twijfel is zeer wenselijk.
Foutenbron 10: Administratie wijkt af van werkelijkheid
Bij overheidsorganisaties wordt doorgaans stevig gestuurd op budgetten. Zowel een overschrijding als het niet volledig benutten van een budget leveren problemen op. Dit is uiteraard een uitnodiging tot inventief administreren en het is de vraag of de financiële rapportage een goede basis vormt voor besturingsmaatregelen en beleidsvorming.
De administratie wijkt altijd af van de werkelijkheid. De volgende aspecten moeten in het oog worden gehouden:
Tijdigheid: Doorgaans verstrijkt er enige tijd tussen het optreden van een verandering in de werkelijkheid en de administratie daarvan. Pas enige tijd daarna volgt de managementsrapportage.
Volledigheid: Het niet of onvolledig administreren van een verandering in de werkelijkheid leidt niet altijd tot calamiteiten. Bedrijfsprocessen kunnen vaak wonderwel worden uitgevoerd met administratie achteraf.
Juistheid: Gegevens die niet essentieel zijn voor het procesverloop (maar wel voor besturing en beleid) kunnen onjuist zijn zonder dat het opvalt.
Afname kwaliteit
Is de manager dom? Nee, maar hij vertrouwt erop dat het systeem de gegevens afdoende heeft gecontroleerd. Bovendien gaat het om gegevens die afkomstig zijn van productiesystemen. Fouten zouden toch al lang zijn opgevallen, nietwaar?.
De manager is expert op zijn gebied maar een leek in automatisering. Hij verwacht te veel van managementinformatiesystemen die als ‘business intelligence’ worden aangeprezen.
De kwaliteit van managementinformatie zal naar verwachting in de toekomst afnemen.
De business verandert sneller dan informatiesystemen kunnen bijhouden. Er worden trucs gebruikt om de nieuwe situatie in het oude systeem te wringen. Hierbij worden niet altijd alle gevolgen voor het managementinformatiesysteem voorzien.
Er zijn steeds minder materiedeskundigen die het hoe en waarom van bedrijfsprocessen kennen en overzien wat er moet gebeuren in een bepaalde situatie. De schaarse beschikbare tijd van materiedeskundigen is in vrijwel elke organisatie een knelpunt bij het functioneel ontwerp en de gebruikerstest van informatiesystemen. Informatiesystemen worden veelvuldig en onder tijdsdruk aangepast. Vaak is er onvoldoende tijd om de gevolgen van een wijziging systeembreed te testen, laat staan dat de effecten voor het managementinformatiesysteem kunnen worden bekeken.
Mits-team helpt
Het vertrouwen van managers in managementinformatie zal zeer waarschijnlijk afnemen, tenzij er zichtbaar actie wordt ondernomen. In plaats van ad hoc branden te blussen, is het beter om een permanente brandweer op te zetten, oftewel een Management Informatie Trouble Shooting (Mits) team. Zichtbare verbeteringen kunnen worden bereikt door het team de volgende taken te laten uitvoeren.
Fouten uitzoeken: Managers moeten bij het Mits-team terecht kunnen voor het uitzoeken van mogelijke fouten, vermoedelijke onvolledigheid en veronderstelde verouderde informatie. Het team zal dan de weg terug volgen van de gepresenteerde managementinformatie naar de brongegevens.
Steekproeven uitvoeren: Productiedatabases waaruit gegevens voor managementinformatie komen, dienen regelmatig steekproefsgewijs te worden gecontroleerd. Informatiesystemen veranderen voortdurend en er is geen garantie dat daarbij de gevolgen voor managementinformatie zijn meegenomen en uitgetest.
Gevolgen van vastlegfouten bepalen: De tijdigheid, volledigheid of juistheid van gegevensvastlegging kan door allerlei oorzaken (tijdelijk) in het gedrang komen. Het Mits-team kan bij een melding nagaan wat de gevolgen voor de managementinformatie zijn. Het tijdig melden van problemen (en oplossingen) wordt door mis-gebruikers zeer op prijs gesteld.
Risicosituaties in kaart brengen: Dit zijn situaties die niet dagelijks voorkomen en waarbij medewerkers niet blind kunnen varen op hun routine. Voorbeelden zijn nieuwe gewijzigde processen of systemen, herstarts en correctietrajecten. Het Mits-team dient tenminste op de hoogte te zijn van deze potentiële foutsituaties omdat het rode vlaggen zijn die tijd en ergernis kunnen besparen bij het uitzoeken van fouten in managementinformatie.
Is de automatiseerder dom?
De vragen ‘is de invuller dom?’ en ‘is de manager dom?’ konden beide met ‘nee’ worden beantwoord, zij het met wat kanttekeningen. Bij de vraag ‘is de automatiseerder dom?’ ligt dat toch wat moeilijker.
De automatiseerder biedt faciliteiten aan (informatiesystemen, databases) maar voelt zich niet verantwoordelijk voor de inhoud. Managers zijn consumenten van informatie en gaan ervan uit dat de leverancier ervoor zorgt dat voorkomende fouten worden opgelost.
De automatiseerder meent in de regel dat als een invoerprogramma bepaalde controles niet uitvoert, dat te wijten is aan de gebruikers die daar niet om gevraagd hebben. Maar als dezelfde automatiseerder als consument een winkel binnenstapt, verwacht hij wel dat het personeel hem helpt met suggesties en vragen.
De automatiseerder vindt automatiseren belangrijker dan documenteren. Gegevensdocumentatie is vaak nietszeggend en onvolledig. Een goed product met een slechte gebruikershandleiding levert echter geen tevreden klanten op.
Vandaar dat de vraag ‘is de automatiseerder dom?’ niet zonder enige aarzeling met ‘nee’ kan worden beantwoord.
Theo de Natris, DCE Consultants
