Kwantitatief meten is geen kunst, maar de grootste uitdaging van prestatiemeting is het in kaart brengen en meten van de kwalitatieve kant van de prestatie.
Aan de hand van de Computable BI Expert Panel een verhaaltje over prestatiemeting. Deze panel telt 21 BI-enthousiastelingen. Een levende weblog, laten we zeggen 3 blogjes per week = 156 blogjes, delen door 21 = 7 a 8 blogjes per Expert per jaar. Moet lukken zou je zeggen. Daarnaast zien we graag reacties op de blogs. Diverse lezers met een interessante mening zoals Ronald Damhof en Freddy Holwerda zijn actief met reply-en. Maar laten we stellen dat iedere Expert ook 10 reacties per jaar moet posten. Totaal goed voor 210 reacties = 4 reacties per week.
Zowaar een levende blog, daar bij de Computable, en het succes is eenvoudig te meten. Maar nu de volgende stap. Hoe gaan we de kwaliteit van deze blogs en reacties meten? Wie bepaalt dat we het goed doen? Natuurlijk zal de reactie van de Computable of onze pater familias Andries de boel inhoudelijk in de gaten houden, maar die weten ook dat ze te maken hebben met 21 eigenwijze, door de wol geverfde BI-nerds, die zich maar moeilijk laten sturen.
Gaan we de kwaliteit van een geplaatste blog meten aan de hand van het aantal geplaatste reacties ? Gaan we de statistieken van Webtrends of Google Analytics erbij pakken om dit te bepalen. Of kijkt Computable naar de totale oplage van het blad, de totale bezoekers van de site en de advertentie inkomsten, zonder zich te bekommeren om causale verbanden?
Een idee: we gaan alle gegevens in een datawarehouse-apparaat gooien, huren een datamining expert in, die de verbanden gaat bepalen, zodat we echt weten waarnaar te kijken.
Ander idee: we gaan naast de Panel een Panel Review Board inrichten, die bestaat uit BI Opperexperts die een kwaliteitsoordeel kunnen vellen over de blogs.
Nog een idee: we doen marktonderzoek via TNS Nipo, onder de lezers van Computable, en vragen hun om een rapportcijfer. Moraal van het verhaal: de grootste uitdaging van prestatiemeting is het in kaart brengen en meten van de kwalitatieve kant van de prestatie. Ik ben erg benieuwd of de lezers (Freddy, Ronald en collega-Experts) hier vanuit hun dagelijkse praktijk een mening over hebben.
Bij een aantal sites van dagbladen (oa http://www.haarlemsdagblad.nl) zie je dat het mogelijk is om commentaar op het artikel te geven. Vervolgens is het mogelijk om commentaar van anderen door middel van sterren te beoordelen. Wat je ziet gebeuren is dat het niet meer gaat om de kwaliteit van de beoordeelde reactie, maar om het feit of de beoordeler het inhoudelijk eens is met de reactie. Een wereld van verschil, die zich maar moeilijk laat vangen.
Hoi Johan,Leuk dat je dit onderwerp aansnijdt. Naast de functie van het ‘brainstormen’, hoop ik dat mijn comments (/ het bewustzijn dat blogs kritisch gelezen worden)ook tot een kwaliteitsverbetering van de blogs leiden, of deze iig op peil houden.Leuk vind ik ook de dubbele uitleg die je kunt geven aan ‘de kwalitatieve kant van de prestatie’. Dit kan betrekking hebben op:1) de kwaliteit van de prestatie, m.a.w. hoe goed was de prestatie nou echt? De vraagtekens bij sommige wereldrecords in het Guiness Book of Records horen hier bijvoorbeeld bij.2) de kwaliteit van hetgeen wij hebben gepresteerd, dus hoe goed is het eindresultaat nou echt? Jij lijkt je in jouw blog vooral te richten op de tweede vraag. Mijns insziens is deze vraag echter veel meer het terrein van de kwaliteitsbomen en quality assurance functies, dan dat van business intelligence en performance management. De vraag is namelijk of je de kwaliteit van bepaalde zaken zou kunnen en willen meten (neem bijvoorbeeld het eerder de revue gepasseerde vertrouwen, of leiderschap, of blogs). Bij voedingsmiddelen, farmaceutica en project management is dit natuurlijk boven alle twijfel verheven, maar bij cultuur en leiderschap en blogs zou je hier best vraagtekens bij kunnen zetten.De eerste vraag adresseert daarentegen is m.i. zeer relevant binnen ons veld, en het is een vraag die vaak over het hoofd wordt gezien bij bi/pm trajecten. Het is namelijk niet zozeer de prestatie zelf, maar veel meer de hoogte van de prestatie in vergelijking tot … (voorgaande periode, vergelijkbare entiteiten, etc.) die de prestatie kwaliteit en waarde verleent. Naast dus de SMARTheid van de doelstellingen en de validiteit van de metingen, moeten we dus ook zeker aandacht besteden aan de herhaalbaard van de metingen en de vergelijkbaarheid van de resultaten. Want alleen hierdoor kunnen we de prestatie betekenis geven.Binnen Accenture vind ik hier de volgende twee voorbeelden van. Enerzijds worden wij als consultants niet slechts als individu beoordeeld, maar vervolgens wordt onze score gemeten met die van vergelijkbare niveaus binnen ons project, onze klant en de Accenture-organisatie.Een tweede voorbeeld voor de importantie van het vergelijken van resultaten komt uit ons onderzoek naar high performance businesses (http://www.accenture.com/Global/High_Performance_Business/). Hieruit blijkt dat Nederlandse bedrijven het erg slecht doen in vergelijking tot onze internationale concurrenten. Als we slechts de NL markt bekijken lijkt er niks mis. Pas als we de resultaten vergelijken, door ze in de internationale context te plaatsen, wordt de werkelijke kwaliteit van de prestatie duidelijk.
Het bepalen van kwaliteit is niets anders dan een prestatiemeting van de kwaliteit. Dus wat zijn de factoren die bepalen of iets kwalitatief is. Komen we wederom terug op de context en de doelstelling die we bepalen voordat we gaan meten. Het is naar mijn inziens niet moeilijk maar een kwestie van definities en kunde. Deze kunde valt of staat niet met de daarvoor in te zetten middelen, zelfs met pen en papier kun je de kwaliteit van een blog bepalen of zelfs organisaties… Nee het is geen rocketscience maar gewoon een levendige discussie over definities.
Johan – altijd weer een leuke post – sjappoo.Kwaliteit is hier wat mij betreft heel simpel te meten. Voor mij in elk geval – ik kan niet voor anderen spreken.Ik kom hier graag – lees graag de blogs – reply vaak een wat zwart-witte mening…Zolang ik hier nog graag kom is voor mij de kwaliteit goed.Het kan zijn dat dit de algemene norm is…wordt er structureel gebruik gemaakt van deze blog in termen van hits, blog-posts en replies, dan moet de kwaliteit toch goed zijn?
Laten we van de blogs een gecombineerde jury sport maken. Analoog aan skispringen kunnen we de blogs beoordelen op een combinatie van kwantitatieve en kwalitatieve prestatie indicatoren. Bij skispringen het aantal meters verplaatst door de lucht en een beoordeling van de jury of de verplaatsing er esthetisch uitzag (wat dat dan ook moge zijn?). Voorbeeld voor blogs: het aantal reacties op een posting gedeeld door het aantal woorden per blog maal het aantal postings per jaar. De kwalitatieve beoordeling kan uitgevoerd worden door het panel van experts, gewoon een cijfer geven en het gemiddelde berekenen. Het is vast wel mogelijk om volgens een bepaalde verdeelsleutel te komen tot een ranglijst te met aan het eind van het jaar een prijsuitreiking, eervolle vermeldingen, champagne etc. Hm ….. herkenbaar proces als je als BI deskundige (vaker) betrokken bent geweest bij het opstellen van succesfactoren en prestatie indicatoren om de “business te meten en te verbeteren”. Ik heb in de praktijk nog geen sluitend prestatiemodel gezien anders dan “schoenendoos rekeningen in versus schoenendoos rekeningen uit”. Dat is eigenlijk ook niet zo erg, persoonlijk onderzoek heeft uitgewezen dat 100% van de managers voor 75% besluiten neemt op basis van gevoel en intuïtie. Ja ook bij het opstarten van een BI project. Zonde om dan heel veel tijd te besteden aan KPI’s en prestatiemodellen. In die tijd had je een blog kunnen lezen of een reactie kunnen schrijven.