Ministeries hebben bij de inzet van algoritmen te weinig aandacht voor ethische aspecten zoals profilering. In de praktijk ontbreekt het vaak aan maatregelen om vooroordelen te beperken. Het risico van discriminatie ligt daarom op de loer.
Dit is de voornaamste conclusie die de Algemene Rekenkamer trekt in het rapport ‘Aandacht voor algoritmes’. In het onderzoek worden de kansen, bedreigingen en mythes over algoritmen belicht. Een betere kwaliteitscontrole is nodig. Hanny Kemna, it-auditor en lid van dit toezichthoudend orgaan, constateert dat ambtenaren zich vaak achter computermodellen verschuilen. Ze moeten er beter op letten dat algoritmen niet discrimineren.
Kemna gaat niet specifiek in op de Toeslagenaffaire die leidde tot de val van het kabinet. Wel zegt ze dat bij gebruik van algoritmen een meer kritische blik past op wat daar uitkomt. Dit geldt zeker als die algoritmen tot besluiten leiden die veel impact op burgers en bedrijven hebben. Algoritmes zijn sets van regels en instructies die een computer geautomatiseerd volgt bij het maken van berekeningen om een probleem op te lossen.
Anti-fraudesysteem
Voorbeeld daarvan is Syri (Systeem Risico Indicatie), een systeem dat de overheid gebruikte om fraude op te sporen met algoritmes. Een jaar geleden werd op last van de Haagse rechtbank de stekker uit dit anti-fraudesysteem gehaald vanwege een te grote inbreuk op het leven van burgers.
Afgelopen zomer oordeelde de Autoriteit Persoonsgegevens (AP) dat de werkwijze van de Belastingdienst tussen januari 2014 en mei 2018 op bepaalde onderdelen discriminerend en in strijd met de wet was. Het ging daarbij om de verwerking van data door de Afdeling Toeslagen. Vorige week vrijdag bleek na vragen van Computable dat de AP door personeelsgebrek nog geen boete of sanctie heeft opgelegd, terwijl de deadline al lang is verlopen.
Ook in de Tweede Kamer leven zorgen over discriminatie en vooringenomenheid die bij de inzet van algoritmes op de loer zouden liggen. Die ongerustheid werd afgelopen maandag extra aangewakkerd door Aleid Wolfsen. De AP-voorzitter waarschuwde tijdens een gesprek met Kamerleden herhaaldelijk voor discriminerende algoritmes. Volgens hem biedt de overheid haar burgers op dit punt onvoldoende rechtsbescherming. Hij sprak van een groot gat door het massale gebruik van algoritmes.
Rekenregels
De Rekenkamer constateert dat de rijksoverheid inderdaad veel algoritmes inzet, maar deze zijn doorgaans vrij simpel. De effecten hiervan op de burgers zijn beperkt, luidt de conclusie. Meestal gaat het om het automatiseren van een administratieve handelingen zoals het versturen van brieven en een ontvangstbevestiging. Volledig zelflerende algoritmes werden niet aangetroffen. De ‘rekenregels’ die de Rekenkamer bekeek, namen zelf geen besluiten. Altijd kwam er nog een ambtenaar aan te pas. Maar als algoritmes straks wel zelflerend en daardoor complexer worden, moeten deze rekenregels veel beter op kwaliteit worden gecontroleerd, aldus de Rekenkamer.
Daarom ontwikkelde het orgaan een manier om de gebruikte algoritmes te toetsen. Dit toetsingskader bevat ook ethische vragen. De toets test een algoritme op aspecten van sturing en verantwoording, model en data, alsmede de privacy-waarborgen. Ook de kwaliteit van de It General Controls (ITGC) komt aan de orde, zoals wie toegang heeft en hoe met backups wordt omgegaan. Doel van de test is het opsporen van mogelijke zwakheden bij het gebruik van algoritmes.
Verder stelt de Rekenkamer dat bij algoritmes de burger onvoldoende centraal staat. Burgers moeten het gebruik en de werking van een algoritme kunnen begrijpen. Ook moeten zij weten waar zij terecht kunnen met vragen of bezwaren. Nu is voor hen onduidelijk waar ze moeten aankloppen. Zorgen of twijfels over algoritmes verdienen serieuze aandacht. Hanny Kemna: ‘De bezwaar- en beroepsmogelijkheden moeten scherper.’
Je hebt dus foute topambtenaren die opdracht geven voor discriminerende systemen.
Je hebt foute IT-ers die discriminerende systemen bouwen.
Je hebt foute ambtenaren die geen zin hebben om zelf na te denken en te beslissen.
Deze problematiek speelt al decennia. Het gebruik van algoritmes met meer dan één functie (beschrijvend, diagnostisch, voorspellend en voorschrijvend), kan gemakkelijk tot ontsporingen leiden. Kunstmatige intelligentie/zelflerende algoritmes zonder goed beleid en goede controle inzetten, levert vanzelf ellende op. Fouten in algoritmes moeten meteen opgelost worden, anders worden ze leidend in het verwerkingsproces.
In het minst slechte scenario worden alleen fraudeurs gepakt, waarbij fraudeurs uit bepaalde groepen meer kans hebben om gepakt te worden dan fraudeurs uit andere groepen. In het slechtste geval krijg je een situatie zoals bij de kinderopvangtoeslagaffaire waarbij onschuldige slachtoffers gemangeld worden. De gevolgen bij deze affaire zijn pijnlijk in de openbaarheid gebracht door de vasthoudendheid van de kamerleden Pieter Omtzigt en Renske Leijten en later de Parlementaire ondervragingscommissie Kinderopvangtoeslag en al die mensen die hen hebben ondersteund. Er waren voldoende externe adviezen en interne waarschuwingen afgegeven om het foute gedrag te laten stoppen. Maar foute mensen willen fouten in het systeem niet aanpakken.
Maar mits goed toegepast, kunnen algoritmes juist veel goeds opleveren. Het kind dus niet weggooien met het badwater.
In aanvulling op bovenstaand artikel zijn ook de volgende linkjes interessant:
https://www.nu.nl/tech/6112590/toezichthouder-overheid-moet-transparant-zijn-over-beslissing-door-computer.html
https://www.rekenkamer.nl/publicaties/rapporten/2021/01/26/aandacht-voor-algoritmes
Op heel veel terreinen zou de overheid juist af moeten van het gebruik van algoritmen.
Algoritmen zijn kenmerkend voor 3GL-talen; van Cobol in de jaren 60 tot Java en Python nu.
Het betreft een procedurele vastlegging van kennis: feiten + logica/rekenregels leiden tot nieuwe feiten en daarmee is het dus een datagedreven aanpak en gericht op het HOE.
Een 4GL-taal als SQL is meer declaratief dan procedureel, omdat je in één keer, zonder procedurele tussenstappen kunt formuleren welke gegevens gewenst zijn, en daarmee dus gericht op het WAT.
Het alternatief voor 3GL (en dus voor algoritmen) dient zich aan met de doelgedreven aanpak van een 5GL; niet vanuit de feiten wordt op onverklaarbare (!) wijze toegewerkt naar een eindresultaat, maar vanuit de gewenste resultaten (ofwel de doelen) worden de benodigde feiten opgevraagd, waarbij deze doelen (en hiervoor te realiseren subdoelen) weer als verklaring dienen voor de opgevraagde gegevens. Waarmee een 5GL dus gericht is op het WAAROM.
Een 5GL is hiermee een vorm van kunstmatige intelligentie (namelijk declaratieve of responsible AI); geen zinnig mens staat in de keuken aardappelen te schillen om zich vervolgens af te vragen wat hij hiermee eens zal doen. Integendeel, er kan juist direct antwoord worden gegeven op de vraag waarom de aardappelen worden geschild, namelijk als voorbereiding van het beoogde gerecht.
Kortom; je gaat niet van feiten met allerlei rekenregels/logica naar doelen, maar vanuit de gewenste (talige) doelen kom je wel tot de feiten (en uiteraard alleen de feiten die relevant zijn).
Interessant is nu een conclusie in het bovenvermelde rapport (blz. 18):
“De rijksoverheid gebruikt vooral eenvoudige algoritmes, nauwelijks geavanceerde algoritmes.”
Als voorbeeld van eenvoudige algoritmes wordt nu genoemd:
Beslisbomen; bijvoorbeeld: Het bepalen van de hoogte en de duur van een uitkering.
Persoonlijk vind ik deze algoritmes juist helemaal niet eenvoudig, maar het is wel precies het toepassingsgebied waar 3GL-algoritmen vervangen kunnen worden door 5GL-services ( “SOA done right”).
Er is dus helemaal niets mis met beslisbomen (vastgelegd in overzichtelijke beslissingstabellen), maar ‘verwerk’ deze dan wel top-down vanuit de doelen en niet bottom-up vanuit de feiten. Volgens dit principe van ‘stepwise refinement’ is er een goede kans dat ook de (gemiddelde) burger deze functionaliteit zal kunnen volgen en begrijpen.
Uiteindelijk wil de burger niet een digitale overheid, maar een humane, rechtvaardige overheid.
hi Jack, ken je nog het osi model voor netwerken ?
Het werd tcp/ip.
Bijzonder dat je je nooit lijkt af te vragen waarom.
Jack,
Discriminatoire algoritmen kunnen volgens mij zowel in 3GL of 5GL geschreven worden, een algoritmische vooringenomenheid lijkt me nameliijk niet in de generatie van een taal te zitten. Als je vanuit de gewenste doelen naar bij passende feiten wilt gaat dan doe je precies dat wat onwenselijk is, de (aard)appel valt dan niet ver van de (beslissings)boom;-)
Overheid worstelt vooral met het recht op inzage, correctie en zonodig een verwijdering van gegevens als deze onrechtmatig zijn. Je kunt met een gerechtelijk bevel gaan staan zwaaien maar als je uitgelachen wordt omdat bezwaar- en beroepsmogelijkheden geen (tegen)kracht hebben dan ben je als Josef K. in een raadselachtig rechtssysteem. Van onschuldig tot het tegendeel bewezen is naar schuldig tot het tegendeel bewezen is gaat dan ook om de wortels van een beslisboom.
Oudlid, zoals je weet is het begrip ‘algoritme’ dubbelzinnig; enerzijds zijn het redeneerstappen in een 3GL-programmeertaal en anderzijds met data trainbare neurale netwerken (machine learning/deep learning); precies het verhelderende plaatje in het eerder vermelde rapport (blz. 18). In het eerste geval is discriminatie (of bijvoorbeeld een ongekende disproportionaliteit in de uitgevoerde wetgeving zoals bij de toeslagenaffaire) verborgen in de duistere code van de toegepaste programmeertaal (en hier is een taal als java berucht); in het tweede geval kan discriminatie verborgen zitten in de gebruikte data voor het trainen van de modellen.
Discriminerende algoritmen kunnen niet in een 5GL worden geschreven, omdat ik in mijn vorige reactie juist aangaf dat een 5GL niet algoritmisch is. Mocht er in de beschreven doelen/services echter iets van discriminatie zitten, dan is dit direct voor iedere burger, maar ook voor politici en ambtenaren navolgbaar en aantoonbaar (transparantie van de toegepaste wetgeving). Als je vanuit de gewenste doelen naar bijpassende feiten gaat doe je dus precies wat wenselijk is 🙂
Nog even een aanvulling op mijn vorige reactie:
We bevinden ons tegenwoordig op veel doodlopende wegen en één daarvan is gemakkelijk te herkennen: digitalisering.
Zodra een auteur van een artikel of opiniestuk begint over digitalisering, zoals bijvoorbeeld in ‘digitale wereld’, ‘digitale overheid’, ‘digitale economie’, ‘digitale transformatie’, ‘digitale tweeling’, etc, etc. is het (voor mij in ieder geval) direct duidelijk dat hij zich op een doodlopende weg bevindt.
Een heel mooi voorbeeld van zo’n doodlopende weg kwam ik onlangs tegen in dit artikel:
https://www.brcommunity.com/articles.php?id=c059
In dit artikel is een aantal uitzonderlijk slechte ideeën terug te vinden, zodat het zeker is dat Nederlandse overheden hier weer miljarden euro’s belastinggeld mee gaan verbranden (vooral ook om de IT faalindustrie een nieuwe impuls te geven).
Deze uitzonderlijk slechte ideeën laten zich met 2 zinnen uit het artikel samenvatten:
4) Digital Twin. RAC prescribes a digital twin for government rules. Any rule for use by humans must also be available in a form usable by machines — one that is both readable and highly precise.
5) Isomorphism. RAC prescribes that every machine-consumable rule should remain tightly coupled with its human-consumable counterpart throughout its lifetime so that changes can be effectively synchronized at all times.
Met deze aanbevolen scheiding tussen specificatie (wat) en implementatie (hoe) ondergraaft het artikel de uitleg van punt 4:
“There is no way to ensure consistency of intent with dispersed implementations like this.”
Deze scheiding tussen wat en hoe doet wel denken aan het lichaam-geest dualisme van Descartes, en wetenschappers die hier geen raad mee weten komen dan aanzetten met een begrip als ‘isomorfie’. Het alternatief voor deze scheiding is één gemeenschappelijke taal, die zowel leesbaar is voor mensen als uitvoerbaar in bedrijfsapplicaties.
@Dino, geen idee wat je met je opmerking wilt zeggen.
Je weet dat ik met “SOA done right” juist niet doel op microservices?
osi is hoe het zou moeten volgens de boekjes, computernetworking done right ?
tcp/ip is hoe de markt het maakt.
En politicus die roept dat bulgarenfraude aangepakt moet worden is een soort 6GL voor een implementatie door engineers met discriminerende algoritmen. Welke burger gaat er nou 5GL code lezen, maar mischien dat een vertaling in het Duits wel voor iedereen duidelijk maakt wat de bedoelingen zijn 🙂
Jack, waarom zou het voor de burger/consument navolgbaar en aantoonbaar zijn of je met discriminerende 5GL bedrijfsregels te maken hebt, terwijl dat niet zou kunnen als er discriminerende 3GL of 4GL algoritmen gebruikt worden? De burger/consument ziet één of meerdere schermen om in te vullen om een respons te verkrijgen. Een eventueel getoonde jip-en-janneketaal versie van de doelen/services staat op helpschermen of aparte webpagina’s. Maar deze populaire versie staat los van de werking van het systeem. Daarom is er meestal een disclaimer te zien dat er geen rechten kunnen ontleend aan de uitleg.
Jack,
In plaats van een algoritme welke door een programmeur is geschreven kun je ook redeneerstappen programmeren die een discriminatoire redenering zijn op basis een vooringenomenheid aangaande de input om zodoende alsnog tot de gewenste oplossing te komen. Navolgbaar en aantoonbaar heeft namelijk alleen maar betrekking op de transparantie en aangaande de input om tot een wenselijke output te komen wees ik daarom op het ontbreken van het recht op inzage, correctie en verwijdering waardoor het proces als vanouds Kafkaësk blijft ook al kun je in de code kijken.
Betreffende het lichaam-geest dualisme van Descartes heeft Dino een punt, we willen passende antwoorden en niet teveel nadenken of het de juiste antwoorden op de goede vraag zijn. Ik vrees dat de meeste mensen niet eerst lezen welke ingrediënten in de soep van Unilever zitten en als de ingrediënten wel gelezen worden dan is het nog maar de vraag of ieder weet waar alle E-nummers voor staan. Want koken met allerlei synthetische ingrediënten kan navolgbaar en aantoonbaar door het recept te volgen maar blijft uiteindelijk gifmengen.
Jaap, om 2 redenen denk ik dat mogelijke discriminatie in een 5GL veel eerder aan het licht komt dan in een 3GL of 4GL.
De achterliggende gedachte bij de opeenvolgende generatie’s programmeertalen is mijns inziens: “meer doen met minder code”. En dan het liefst met code die voor normale stervelingen ook nog te begrijpen is.
Om die reden wordt tegenwoordig ook wel gesproken van lowcode en nocode. Toch worden deze tools nooit aangeprezen als 5GL, en dat is correct want ze zijn hooguit 4GL. En een tool aanprijzen als 4GL is marketingtechnisch niet erg interessant aangezien 4GL in de vorm van SQL al zo’n 40 jaar bestaat.
De geschiedenis van 5GL-talen is overigens nogal snel verteld. In de jaren 80 werd 5GL vooral gepresenteerd als ‘Programming in Logic’ en/of ‘List-Processing’, wat de academische programmeertalen Prolog en Lisp opleverde.
Zo’n 25 jaar later had de Business Rules Approach de pretentie met een nieuwe 5GL te komen volgens de formule: flexibiliteit = 5GL = BRM + BPM (+ SOA). Deze visie werd rond 2007 in Nederland vooral verwoord in het nog steeds in Computable terug te vinden artikel ‘5GL springlevend’ (in 2 delen).
Het verbaast mij dat de belangstelling voor 5GL (ook vanuit de academische wereld) sindsdien toch weer volledig is weggeëbt. Terwijl het toch overduidelijk ‘the way to go’ is.
In mijn optiek zal een 5GL vooral bestaan uit impliciet gekoppelde beslissingstabellen, die doelgerichte, kunstmatig intelligente redeneertechnieken mogelijk maken. Deze aanpak is overigens erg goed te combineren met bestaande 4GL in de vorm van database vraagtalen (SQL); hiervoor heb ik in het verleden al eens een opzetje gemaakt:
https://dmcommunity.org/challenge/challenge-march-2019/
(en dan deel 2).
Het zou beslist interessant zijn om te onderzoeken of deze 5GL-aanpak ook is te combineren met bestaande 4GL in de vorm van lowcode/nocode!
En dan nu eindelijk naar je terechte vraag waarom discriminatie in een 5GL eerder aan het licht zou komen dan in een 3GL of 4GL. En het antwoord geef je eigenlijk zelf al.
De uitdaging is natuurlijk om zoveel mogelijk jip-en-janneketaal op te nemen in de beslissingstabellen.
En dan zeg je: “Maar deze populaire versie staat los van de werking van het systeem.”
Dat is dan precies waar we van af moeten.
Dezelfde jip-en-janneketaal kan een 5GL vervolgens gebruiken om een uitleg te geven hoe het tot bepaalde beslissingen is gekomen (zoals in “explainable ai”); zie nogmaals het eerder genoemde artikel:
https://www.nu.nl/tech/6112590/toezichthouder-overheid-moet-transparant-zijn-over-beslissing-door-computer.html
En dat is precies wat 3GL en 4GL talen niet kunnen.
Oudlid, ik kan je niet helemaal volgen, maar ik probeer er wat van te maken 🙂
Als je geflitst wordt en je krijgt een boete van 150 euro, dan maak je misschien wel gebruik van een handig rekentooltje, zoals: https://snelheidsovertredingen.om.nl/
De boete blijkt heel aardig te kloppen, want kijk maar:
U heeft aangegeven:
U reed met een auto.
U reed binnen de bebouwde kom.
U reed met een snelheid van 120 km/u.
De maximaal toegestane snelheid ter plaatse was 100 km/u.
U heeft de maximumsnelheid dus met 20 km/u overschreden.
Boetebedrag: € 149,-
Persoonlijk ben ik voorstander van een inkomensafhankelijk verkeersboetesysteem (want onderaan dezelfde website zie ik staan: Rechtvaardigheid is een kernwaarde van onze rechtsstaat), en dan wordt bovenstaande een heel ander verhaal.