In Nederland worden steeds meer besluiten op geautomatiseerde wijze of met ondersteuning van de computer genomen. De overheid maakt daarbij ondermeer gebruik van kennissystemen of beslissystemen. Je kunt dan denken aan ict-systemen die bepalen of je recht hebt op een vergunning of uitkering, verkiezingssystemen, systemen ter ondersteuning van bezwaar en beroep, strafmaatbepalingssystemen in de rechtspraak, maar ook aan fiscale systemen bij de belastingdienst.
In gemeenteland worden dit soort systemen veelal ontworpen en onderhouden door bedrijven zoals Centric die op de software het intellectueel eigendomsrecht bezitten. Door het gebruik van deze rechten kunnen de softwareleveranciers voorkomen dat de broncode van interface en redeneermechanisme alsook de inhoud van de kennisbank openbaar worden gemaakt. Het gebruik van deze 'gesloten' systemen is echter niet zonder problemen.
Uit wetenschappelijk onderzoek (onder andere door Marga Groothuis) is gebleken dat de in de gemeentelijke praktijk gebruikte beslissystemen voor een aanzienlijk deel juridisch inhoudelijke fouten bevatten. Ook nemen leveranciers geen eindverantwoordelijkheid voor de juridische kwaliteit van de door het systeem geboden ondersteuning. De eindgebruiker van het systeem blijft daarbij voor beslissingen genomen met het systeem eindverantwoordelijk, naar mijn mening overigens terecht, en zou in dat geval zelf eventuele tekortkomingen in de kwaliteit moeten kunnen ontdekken. Door het ontbreken van inzicht in de kennisbank en het beslismodel is het echter niet mogelijk om zonder de medewerking van de leverancier de inhoudelijke kwaliteit van het kennissysteem te controleren en eventueel te verbeteren.
Ondanks het gebrek aan mogelijkheden om de integriteit van het systeem te kunnen controleren, is uit het promotie-onderzoek van Jaap Dijkstra gebleken dat de meeste eindgebruikers de adviezen van een kennissysteem desondanks als objectief en rationeel zien. Ze hebben bijna blindelings vertrouwen in de kwaliteit van het systeem. Kennissystemen zijn kennelijk overtuigende adviseurs, zelfs indien zij een onjuist of onvolledig advies geven. De prestaties van het systeem worden hierdoor onvoldoende gecontroleerd door de gebruikers waardoor verkeerde beslissingen kunnen worden genomen. Belanghebbenden kunnen hierdoor bijvoorbeeld ten onrechte een uitkering of vergunning geweigerd krijgen. Veelal is er bezwaar of beroep nodig om duidelijk te krijgen dat het genomen besluit niet deugdelijk is of onvoldoende gemotiveerd. Hierdoor ontstaat extra druk op de rechtbanken.
Voor een transparante en betrouwbare digitale overheid is het noodzakelijk om oplossingen te vinden voor de hierboven genoemde problemen. Enige jaren geleden opperde ik al eens dat hier aan tegemoet kan worden gekomen door de juridische en organisatorische toepassing van open source- en open content-concepten. Open source-software heeft immers als belangrijkste juridische kenmerk dat de broncode vrij beschikbaar is. In het bijbehorende licentiemodel is het auteursrecht dusdanig geregeld dat de licentienemer onder een aantal voorwaarden de broncode mag inzien, verbeteren, aanvullen en distribueren. Een open ontwikkeling van kennissystemen zou naar mijn mening nog steeds goede mogelijkheden kunnen bieden om de gesignaleerde problemen op te lossen. De overheid heeft bij open kennissystemen zelf de beschikking over de kennisbestanden en inzicht in het beslisprogramma. Zij kan deze kennis tevens actief beschikbaar stellen aan burgers, bedrijven of andere belangstellenden waardoor het eenvoudig mogelijk zou worden om de inhoudelijke kwaliteit van een systeem aan een validatie-onderzoek te onderwerpen.
De gebruiker kan controleren hoe het beslisprogramma in elkaar zit, welke denkstappen erin zijn opgenomen en welke juridische keuzes daarbij zijn gemaakt. Fouten in de kennis en in de juridische redenering komen daarbij sneller aan het licht evenals beveiligingsfouten waarmee er misbruik kan worden gemaakt van systemen. Een goed voorbeeld hiervan was het in 2004 ontwikkelde Rijnland Internet Election System (RIES), het internet-stemsysteem dat sinds die tijd reeds ingezet was bij twee waterschapsverkiezingen en in 2006 bij de Tweede Kamer verkiezingen voor Nederlanders die vanuit het buitenland wilden stemmen (1 miljoen kiesgerechtigden). Toen het systeem in 2008 (noodgedwongen) als open source beschikbaar werd gesteld, bleek al binnen zes dagen dat er fundamentele beveiligingsfouten in zaten. Zo bleek dat het voor kwaadwillenden op diverse manieren mogelijk was om de uitslag te beïnvloeden, het verkiezingsproces te saboteren en viel uiteindelijk zelfs te herleiden op welke persoon men heeft gestemd. De overheid had veel tijd en geld kunnen besparen wanneer er reeds eerder was besloten tot een open ontwikkeling. Daarvoor is het niet eens noodzakelijk dat er wordt gekozen voor het open source-model waarbij een ieder de broncode kan bewerken en verder verspreiden. Die open ontwikkeling had bijvoorbeeld ook alleen kunnen bestaan uit het openlijk publiceren van de broncode en de documentatie waardoor een ieder die daarvoor belangstelling heeft (dus ook derden buiten de overheid) kan meekijken en wijzigingen kan voorstellen, de zogenaamde Open Access Development Methode. Uiteraard ligt hier niet alleen een rol en verantwoordelijkheid voor de overheid maar ook zeker voor de leveranciers van gesloten gemeentelijke systemen. Ook van hen zal verwacht kunnen gaan worden dat ze inspringen op de roep van burger en overheid om meer openheid en transparantie.
Eens met de suggestie om alle overheidssoftware die in feite een codering van wetten en regels is, als open source uit te voeren. In het geval van zo’n kennissysteem, of het nou open is of gesloten, zou het echter al een belangrijke stap zijn als de gevolgde redenering om tot een bepaalde conclusie te komen, door het systeem gegeven wordt tezamen met de conclusie.
Even zonder afbreuk te willen doen aan het concept van open source:
Is het niet diep triest dat er binnen 6 dagen fundamentele fouten in de beveiliging gevonden worden ???
Dit betekent toch gewoon dat de leverancier prutswerk heeft geleverd ???
Overigens vind ik het concept dat je de open source gemeenschap gebruikt om de kwaliteit van je code te controleren zeer interessant. Zolang je code geen zinvolle informatie bevat voor je concurrentie, kan dit aboluut interessante ideeen en verbeteringen opleveren.
Maar als er bij zo’n controle fundamentele beveilingsfouten aan het licht komen, zoals in bovengenoemd voorbeeld, dan moet je je als bedrijf toch ook even achter de oren krabben lijkt me
Gesuggereerd leesvoer: ‘Computer power and human reason’ van Joseph Weizenbaum.
Een belangrijke stelling uit het boek is dat het nemen van beslissingen voorbehouden moet blijven aan de mens (jammer voor chimpansees, dolfijnen, honden en andere intelligente rassen).
We gebruiken ingewikkelde hulpmiddelen zoals tekstverwerkers waarvan slechts weinigen de werking doorgronden, maar waarvan we wel het resultaat kunnen verifieren. Als de eindgebruiker de werking van een kennissysteem niet in grote lijnen doorgrondt en het resultaat controleert, dan is het beter om dat systeem niet te gebruiken.
Daniel, ik ben het helemaal met je eens. Beslissingen moeten door mensen genomen worden en niet door “kennis-systemen” die kunnen slechts als hulpmiddel worden ingezet.
Het is m.i. niet mogelijk om grote complexe systemen in een set van beslissingsregels te gieten die dan als bindend gelden. Een computer blijft een computer, een apparaat, en menselijkheid laat zich niet programmeren, daar zijn al heel veel romans over geschreven.
Dat het open source ontwikkelingsmodel bij ondersteunende programma’s zinvol is lijkt me logisch, hoe meer mensen zich bezig houden met de inhoud hoe minder kans op fouten vooruit gesteld dat er een hierachie is die in dit proces eindverantwoordelijkheid neerlegt bij een beperkt aantal personen.
Waarom zouden beslissingen door mensen *genomen* moeten worden? Als de regels waarop de beslissingen gebaseerd zijn door mensen zijn opgesteld (bij voorkeur in een democratisch proces) dan kan een machine ze toch wel uitvoeren? Sterker nog, de machine kan dat beter, sneller en betrouwbaarder.
Dit gebeurt al op vele plekken, ook bij de overheid. Aan de beslissing u een boete op te leggen als u te snel rijdt komt geen mens te pas, uw belastingheffing wordt meestal automatisch geregeld, etc.
Enige voorwaarde is dat de feiten redelijk eenduidig zijn vast te stellen, maar voor de overgrote meerderheid van de gevallen is dat het geval.
Uiteraard is er altijd bezwaar en beroep mogelijk waarbij u uiteindelijk vast bij een mens terechtkomt.