Gemeenten smachten naar een andere meting voor de kwaliteit van hun digitale dienstverlening. Zij willen af van de Overheid.nl-monitor van het ministerie van Binnenlandse Zaken en Koninkrijksrelaties. Deze monitor zou te veel een afvinklijst zijn van websitepunten en als kwaliteitsindicator ernstig tekortschieten. Er is een alternatieve benchmark ontwikkeld, maar een proef is nog niet gestart vanwege geldgebrek.
Tijdens het jaarcongres van Cascadis, de beroepsvereniging voor webbeheerders bij de overheid, bleek de ergernis over de Overheid.nl-monitor van BZK groot. Bij gebrek aan beter baseren veel gemeenten hun beleid voor elektronische dienstverlening op de resultaten van deze monitor. Velen beschouwen het echter als een veredelde checklist voor websites, een afvinklijst met punten die te veel op de techniek zijn gericht en te weinig op de kwaliteit en de gebruiksvriendelijkheid.
Snel scoren
Het toenmalige Ictu-programma Advies Overheid.nl zette de Overheid.nl-monitor rond 2000 op om gemeenten te stimuleren meer te doen aan hun webdienstverlening. De bedoeling was om er na zeven jaar een punt achter te zetten, maar de monitor bestaat nog steeds en is in gemeenteland een toonaangevende graadmeter waaraan gemeentebesturen hun digitale vooruitgang afmeten. In de recente 2009-ranglijst staat Capelle aan den IJssel bovenaan (met stip gestegen van de elfde plaats).
De monitor is een eigen leven gaan leiden, zegt Jacob Boersma, onderzoeker e-overheid van PriceWaterhouseCoopers. 'Het is een simplistisch meetinstrument, dat wel gemeentebeleid voedt. Het heeft een sterk 'Elfsteden'-element in zich: met alle gemeentesites over de finishlijn van het NUP, de e-overheidsagenda van de rijksoverheid .' Boersma wijst op een opdracht die PWC bij een gemeente kon binnenhalen. Als lokkertje bood PWC een gratis advies aan hoe deze gemeente een snelle stijger kon worden op de Advies.nl-monitor. 'We hadden van tevoren op de ranglijst gekeken naar de plek waar die gemeente stond en bepaald met welke simpele handelingen er snel extra punten gescoord konden worden.'
Geen geld
Han van Wel, communicatiemanager van de gemeente Amstelveen, nam het voortouw om een kwalitatieve goede benchmark voor de e-overheid op te zetten. Hij verzamelde een aantal gemeenten, bedrijven en onderzoeksinstellingen om zich heen die hebben meegeholpen met het uitwerken van een alternatieve kwalitatieve benchmark. Een van de partijen die meedoet is PWC. 'Het doel is om uit te groeien tot de standaard benchmark voor de evaluatie van gemeentewebsites', zegt Boersma. 'Naast de Overheid.nl-monitor zijn er ook nog metingen van Capgemini en Ernst & Young. Gemeenten vragen geregeld aan ons op welke monitor zij zich moeten focussen.'
Probleem van de alternatieve benchmark is dat er momenteel geen geld beschikbaar is voor een praktische uitrol, zegt Leo Lentz, senior docent/onderzoeker aan de Universiteit Utrecht, eveneens een partij die meedoet aan de nieuwe meting voor gemeentesites. 'We willen in 2010 aan een proef beginnen en zoeken nog budget. Het is tevens de bedoeling om het ministerie van BZK bij dit initiatief te betrekken. Onze benchmark geeft immers een aanzet tot betere kwaliteitszorg bij gemeentesites.
Vuistdikke pil
Lentz wijst op de nieuwe versie van het 'Human-Computer Interaction Handbook', een vuistdikke pil over computerinterfaces en de interactie met gebruikers. Bevindingen hieruit worden meegenomen in de nieuwe benchmark. Volgens Lentz gaat het om het zaken als het invoeren van een kwaliteitszorgmodel, het observeren van het gedrag van computergebruikers, het houden van peilingen onder bezoekers en het uitwisselen van ervaringen op websites. 'Dat is toch een andere benadering dan een lijstje met af te vinken punten. Onze cijfers komen straks vooral van bezoekers en niet van de gemeenten zelf. '
De nieuwe benchmark voor gemeentesites bestaat onder andere uit het onderzoeken van de gebruiksvriendelijkheid van een website (via een WEQ: een Website Evaluation Questionnaire over de inhoud, bereikbaarhied en vormgeving van een site, opgezet door de Universiteit Utrecht en de Universiteit Twente), het analyseren van logfiles (wat doet een bezoeker op de site), een feedback-button in elke hoek van de site, een scenario-analyse (een diagnose van website-experts) en een analyse van de achterkant van een website (een rol voor PWC).
Moeder aller benchmarks
Tot de deelnemers aan 'de moeder aller benchmarks voor gemeentesites', zoals Han van der Wel deze bestempelt, behoren de gemeenten Vlissingen, Borselle, Den Haag, Leidschendam-Voorburg, Amstelveen, Nijmegen, Almelo en Eindhoeven, en de VNG, SGBO, Datadirection, GX, PWC, Universiteit Utrecht, Universiteit Twente, Nedstat, Parantion en Cascadis.
Het meest opvallende resultaat van de Cascadis-benchmark is, dat inmiddels bijna 60% van de gemeenten, conform het model van Gartner, de transactiefase heeft bereikt. Er is dan sprake van dynamische e-overheidsdienstverlening aan burgers. Dit was een jaar geleden nog maar 30%. Welke revolutie zich in ��n jaar heeft voltrokken, wordt mij nog niet geheel duidelijk op grond van het artikel in Computable.
Er valt wel wat af te dingen op de wijze, waarop Boersma de verschillen (tussen de benchmarks) beargumenteert. Zo sluit hij zich aan bij de al jaren bij veel mensen levende veronderstelling, dat Overheid.nl Monitor de verstrekte dienstverlening meet, doch Overheid.nl Monitor meet het aanbod van dienstverlening. Overigens geldt hierin zeker w�l de relativering van de waarde van de resultaten van Overheid.nl Monitor. Boersma zelf gaat echter niet in op het gebrek aan integraliteit van de Cascadis-benchmark. Ruim 40% van de gemeenten heeft meegewerkt aan het onderzoek. Of moet je zeggen: slechts 40%? In hoeverre controle op de juistheid van de respons heeft plaatsgevonden wordt ook niet duidelijk. Tevens wordt betwijfeld of het aanbieden van een PDF-formulier wel mag scoren op digitale dienstverlening.
Tja, ‘gemeenten zijn Overheid.nl Monitor beu’…
Overheid.nl Monitor bestaat, zo stelt Boersma, slechts uit een afvinklijst van websitepunten en schiet tekort als kwaliteitsindicator. Alle argumenten, die al vanaf de eerste uitvoering van Overheid.nl Monitor, in 2001, tegen de meetmethode van Overheid.nl Monitor worden ingebracht, staan wederom centraal.
Overheid.nl Monitor is zich blijven baseren op de buitenkantmeting; doet wel haar best om nu ook de NUP-metingen te integreren, maar biedt nog te weinig zicht op de ontwikkelingen in de mid- en backoffice en op de wijze, waarop de gemeente zich organiseert in de ontwikkeling van de elektronische overheid. De basis van integraliteit (i.c.: de nood om van buitenaf te meten) breekt Overheid.nl Monitor op. Daartegenover staat, dat wanneer Overheid.nl Monitor haar resultaten in zou brengen b�nnen een breder verband, waarbij ook een diepte- en kwalitatieve meting wordt betrokken, beide “benaderingen” elkaar zouden kunnen voeden.
V��r Overheid.nl Monitor pleit, dat het onderzoek volledig transparant is en niet meer zegt en zeggen wil, dan hetgeen wordt gerepresenteerd in de integraal online beschikbare resultaten �n verantwoording van de methodiek. “De beste gemeente op internet” of “De beste scorende gemeente op e-overheid” zou dan ook iets anders moeten en kunnen betekenen dan “De beste gemeentelijke website volgens de methodiek van Overheid.nl Monitor”. Dan kan er ook weer in redelijkheid over de resultaten worden gesproken.
Alles bij elkaar: Overheid.nl Monitor zal alleen status kunnen behouden, wanneer de brug naar kwaliteitsmeting wordt geslagen. Naar mijn idee kan dat het beste gebeuren m�t behoud van de huidige benadering, maar deze gekoppeld aan de juiste relativering van de resultaten en combinatie met andere benchmarks, gebaseerd op andere, meer kwalitatieve en gebruikersgerichte benaderingen van kwaliteit van e-overheid.
Tot slot: aangegeven wordt, dat gebrek aan financi�le middelen een groot probleem is bij de opzet van een betere (en zo breed mogelijk gedragen) e-overheidbenchmark. Het is inderdaad erg jammer, dat het Ministerie van Binnenlandse Zaken niet zwaarder wil inzettten hierop. Daar wringt ook de schoen: voor opdrachtgever BZK was Overheid.nl Monitor een controle-instrument: halen we de jaarlijkse targets! Dan is een kwalitatieve meting wat lastiger.
Niko Winkel
(Bouwer en ontwikkelaar van Overheid.nl Monitor van 2001 tot 2006)
Het lijkt erop alsof het Cascadis Jaarcongres alleen over benchmarks en monitors ging. Dat was gelukkkig (!) niet het geval. Zie de opnamen van de plenaire sessies: http://www.cascadis.nl/smartsite.shtml?id=52542
Enige nuancering over benchmarks en monitors:
De Cascadis benchmark is ontstaan vanuit een behoefte van de leden die een instrument wilden dat organisaties kon vergelijken om daarmee de e-dienstverlening naar een hoger peil te tillen. Niets meer of minder. Dus GEEN ranglijst of concurrent van de overheidsmonitor. Dat kan ook niet, want alle vergelijkingen qua resources en organisatie gaan mank.
Het initiatief ?Moeder aller benchmarks? is een bewonderingswaardig initiatief van enkele zeer bewogen en enthousiaste personen. Dit initiatief startte aanvankelijk low profile en begint ? misschien wel onverwacht ? de status van een project te krijgen. Cascadis is gesprekspartner en deelnemer in dit initiatief. De uiteindelijke output is nog ongewis. Indachtig de wens van de Leden, focust het Cascadis-bestuur op ��n goede en bruikbare benchmark.
Ron zwetsloot
Voorzitter Cascadis
Allereerst ben ik natuurlijk erg blij met de aandacht voor het Cascadis congres in dit artikel en met aandacht voor de elektronische overheid in het algemeen. Ik sluit mij wel aan bij de nuancering van Ron Zwetsloot hierboven. Ook mijn eigen presentatie was zeker niet een pleidooi om de Overheid.nl monitor te vervangen door ��n andere/betere/nieuwere benchmark.
De boodschap die ik wilde geven was dat er frustratie is over het ‘gebruik’ van de overheid.nl resultaten, oftewel: het meetinstrument wordt tot doelstelling verheven. Ditzelfde gevaar schuilt in de NUP-monitor en eigenlijk elke soortgelijke benchmark.
De alternatieve benchmark die in ontwikkeling is door o.a. Leo Lentz en Han van Wel is overigens niet dezelfde als de Cascadis-PwC benchmark waar op het congres de voorlopige resultaten van werden gepresenteerd. Er wordt wel gesproken over het op elkaar laten aansluiten van deze instrumenten, waarbij er oog moet blijven voor toepassingsgebied van elk individueel instrument: ofwel een brede, oppervlakkige scan, ofwel een gedetailleerde meting op een specifiek deelonderwerp (zoals usability van de website, of beantwoording van e-mail door gemeenten, etc.).
Een goede kwalitatieve meting van e-dienstverlening vereist op dit moment nog een maatwerk aanpak, gesprekken, workshops voor strategiebepaling. De (onvrede over) resultaten van de overheid.nl monitor kunnen wel de aanleiding zijn om over een dergelijke doorlichting in gesprek te komen.
In het juni-nummer van Proces& Document (p.36) schreef ik de discussiestelling: Een vorm van ?peer review? is een effectiever �n goedkoper instrument om de kwaliteit van dienstverlening te meten dan de Overheid.nl Monitor of een benchmark.
Geen enkele reactie daarop, heeft mij bereikt. Verbazingwekkend, vond ik toen. Na dit bericht in Computable.nl over het jaarcongres van Cascadis, vind ik dit des te meer opmerkelijk. Hoe kan dat, gezien de onvrede van de webmanagers en contentbeheerders van de overheid en van andere deelnemers aan de alternatieve benchmark van Cascadis en PWC.
Oorzaak is waarschijnlijk het feit dat de verschillende informatiedisciplines bij de overheid, onderling weinig samenwerken en/of communiceren. Voor het effici�nt realiseren van een adequate e-overheid, is samenwerking tussen alle infovakgroepen noodzakelijk!
Wat bedoelt de heer Han van Wel overigens met ?een kwalitatieve goede benchmark voor de e-overheid?? Wordt gestreefd naar een kwalitatief goede benchmark of naar een kwalitatief goede e-overheid? In dezelfde alinea is het doel van PWC ?uit te groeien tot de standaard benchmark voor de evaluatie van gemeentewebsites?.
De Overheid.nl-monitor van BZK wordt betiteld als checklist voor websites, gericht op de techniek zonder veel oog voor kwaliteit en gebruiksvriendelijkheid. Uit het Computable-artikel begrijp ik echter, dat de nu ontwikkelde alternatieve benchmark net zo?n checklist is, maar (van weeromstuit?) gericht op kwaliteit en gebruiksvriendelijkheid. Over de ?analyse van de achterkant van een website? lees ik nog niets. Gelukkig lees ik daarvan in ?E-overheid krijgt smoel bij gemeenten? in dezelfde Computable.nl-mail.
In een reactie lees ik dat de Overheid.nl-monitor van BZK, een controle-instrument was of de targets van ?De Andere Overheid? wel werden gehaald (in 2007 moet 65% van de publieke dienstverlening via internet verlopen). BZK was dus gericht op de e-overheid, maar de monitor kon als benchmark worden gemanipuleerd. Het nu ontwikkelde alternatief lijkt me gericht op de benchmark.
Even leek het erop dat daarbij nu de e-overheid uit het oog werd verloren. In ?E-overheid krijgt smoel bij gemeenten? staat de nodige inhoudelijke info hierover.
Over de communicatie tussen verschillende informatiedisciplines gesproken. .
Als archivaris wacht ik nog op de benchmark van de provinciale archiefinspecteurs: Welke gemeente heeft het informatiebeheer zo geregeld dat dit klaar is voor die e-overheid? Anders blijven ze op het gemeentehuis de gemailde e-formulieren printen en blijft het primaire proces papiergeori�nteerd.
Vooralsnog ga ik voor een vorm van collegiaal toezicht ofwel ?peer review?. De beoordeling lijkt me betrouwbaarder en kan bovendien nuttige inzichten en leermomenten opleveren voor de beoordelende collega-gemeente.
Ook maak ik me sterk voor de samenwerking tussen ieder die met informatiebeheer aan de slag is.
Dick de Heer
deeltijdstudent Informatie & Media, HvA
senior-medewerker DIV, gemeente Utrecht