Waarom zet de overheid algoritmes in om de beslissingen van de belastingdienst en UWV vorm te geven? Inzicht in hoe fraude bestreden wordt, geeft het niet. Zodra algoritmes worden losgelaten op gevoelige informatie, gaat elke vorm van controle verloren. In haar zoektocht naar het op een transparante manier nemen van goede beslissingen slaat de overheid een paar essentiële stappen over.
De Algemene Rekenkamer bekeek 86 algoritmes van ministeries en van instanties als het UWV en de Sociale Verzekeringsbank. Daar zit ook het algoritme bij dat door de Belastingdienst is gebruikt bij het opsporen van toeslag-fraudeurs. Discriminatie en andere misstanden hierbij leidden onlangs tot de val van het kabinet. Nu duidelijk is geworden dat uitvoeringsinstanties als de Belastingdienst, het UWV en de Sociale Verzekeringsbank (SVB) op grote schaal algoritmes hebben ingezet om burgers te controleren, zal de overheid pas op de plaats moeten maken. Elke vorm van controle door de overheid op deze algoritmes lijkt te ontbreken. Als je de kwestie nader bekijkt, is dat ook geen verrassing.
Computer says no
Als de overheid een algoritme niet kan doorgronden, dan mag het simpelweg niet worden ingezet. Zo ontstaan situaties die we kennen als ‘computer says no’, waarbij de computer de beslissing neemt. Door gebrek aan kennis van het achterliggende algoritme weet niemand waaróm de computer ‘nee’ zegt. Als de overheid zonder controle data aan een algoritme voert en dat algoritme vervolgens beslissingen laat nemen, dan geeft het eigenlijk de macht aan degene die dat algoritme ontwikkeld heeft waarvan we niet echt weten op basis van welke parameters de uiteindelijke beslissingen genomen worden. Dat is eng en staat haaks op de democratische samenleving die we voor ogen hebben.
Zet de overheid toch artificial intelligence in, dan dienen daar een paar stappen aan vooraf te gaan. Allereerst dient gecontroleerd te worden of de wet door de uitvoeringsinstanties goed geïnterpreteerd is. Veel uitvoeringsinstanties zetten hier ook algoritmes bij in. Bij de inzet van algoritmes is het van groot belang om de kwaliteit en verantwoorde inzet van algoritmes in de praktijk te kunnen beoordelen en de check te kunnen maken of de interpretatie van de wet juist is uitgevoerd. De beslisregels die in de algoritmes zitten, zouden zodanig gemodelleerd moeten worden dat een verantwoordelijke van de wetgevende instantie de juistheid kan controleren en kan terugvoeren op de wet. Vervolgens kan deze verantwoordelijke daar zijn handtekening onder zetten. Hij heeft dan immers gezien dat de wet op een juiste manier geïnterpreteerd is in het algoritme. Als de wetgevende instantie dit niet kan controleren in een algoritme zou dit ook niet ingezet mogen worden in de praktijk.
Ten tweede is het van groot belang dat het algoritme tijdens de ontwikkeling gevoed wordt met een volledige dataset. Het algoritme zal patronen ontdekken in deze datasets en die inzetten voor toekomstige beslissingen. Het gaat mis als de datasets incompleet zijn of vooroordelen bevatten. Een voorbeeld hiervan is het door overheden voor uitkering doelen gebruikte systeem Syri waarvan een rechter beoordeelde dat het discriminerend werkt, waarop het gebruik werd stopgezet.
Vergelijk het met chatbot Tay van Microsoft. Die werd enkele jaren geleden door het bedrijf offline gehaald vanwege discriminatie. Een bepaalde subset van gebruikers leerden de bot allerlei racistische taal, waardoor het systeem zichzelf verder ontwikkelde en zelf steeds meer racistische antwoorden gaf. Dit is een mooi voorbeeld van wat er kan gebeuren als een systeem eenzijdig wordt gevoed. Een dergelijke, incomplete voeding kan ook overheden overkomen als ze niet de complete data maar een subset voeden aan algoritmes die de de uitvoering van de wet ondersteunen.
Sneller en goedkoper
De overheid is niet ingericht op het juiste gebruik van algoritmes. Uiteraard wil ze ondersteund worden door software en technologie om beslissingsprocessen efficiënter en sneller te maken. Ook de overheid voelt de druk dat processen allemaal sneller en goedkoper moeten worden, maar de ingeslagen weg lijkt te snel gekozen.
Automatiseren van overheidsbeslissingen kan uiteraard een oplossing zijn en dit pad moet ook ingezet worden. Hierbij wordt de wetgeving wel vertaald in geautomatiseerde beslissingen, maar het systeem is niet zelflerend. Zo houdt de overheid de controle over de te nemen beslissingen. De beslisregels die daarin worden geprogrammeerd, dienen zo gemodelleerd te worden dat de overheid ze kan controleren. Bij iedere beslissing kan dan ook aangetoond worden waarom deze zo genomen is, aangezien het geen black box is. Ook zijn de beslissingen sneller aan te passen, omdat er geen systeem is dat met de uitkomsten aan de haal gaat en zelfstandig verder ontwikkelt.
Veel minder kans op misstanden
Het overgrote deel van een te controleren groep burgers zal binnen de parameters van de geautomatiseerde beslissing vallen. Zo kan een instantie als de belastingdienst of het UWV snel beoordelingen doen. Het overblijvende deel, waar niet direct een duidelijke beslissing voor in beeld komt, wordt vervolgens beoordeeld door zeer goed getrainde mensen. Bij onduidelijkheid is de menselijke maat nodig om tot een beoordeling te komen. Met deze werkwijze kan de overheid tijd en geld besparen, en is de kans op misstanden vele malen kleiner.
De Rekenkamer heeft een toetsingskader ontwikkeld om algoritmes doorlopend te beoordelen. Dat is een goede zaak. De belangrijkste toets is een ethische: wordt er niet gediscrimineerd, en komt de ‘menselijke maat’ niet in de knel? Ook moet een burger de gebruikte data kunnen opvragen.
De overheid moet meer zicht krijgen op de uitvoering van dergelijke beslissingsondersteunende systemen. Niet ieder ministerie hoeft een verantwoordelijke te hebben. Een nieuw op te richten overheidsdienst zou toezicht kunnen houden op alle door de overheid gebruikte beslissingssoftware en algoritmes. Het zal het handelen van de overheid vele malen transparanter en efficiënter maken.
Misschien zegt een computer in de toekomst nog steeds ‘nee’, maar het wordt dan wel: ‘computer says no, because…’
