De rechtbank in Den Haag boog zich op 29 oktober over de vraag of gemeenten het systeem ‘SyRI’ mogen gebruiken om frauduleus gedrag van burgers op te sporen. Dit systeem levert inmiddels een verhitte discussie op in de media. Het zou bijvoorbeeld de burgers in ‘de Zuidas en Wassenaar links laten liggen’. Een discriminerend systeem dus dat niet genoeg draagvlak zou hebben om de juiste verdachten eruit te pikken. Maar is dat werkelijk zo?
SyRI is een systeem dat ontwikkeld is voor en door de overheid, dat verschillende databronnen aan elkaar koppelt met gegevens over schulden, inkomens, bezittingen, uitkeringen en vergunningen. Het systeem bepaald door middel van datamining en patroonherkenning welke zogenoemde ‘verwonderadressen’ mogelijk verdacht zijn als het gaat om fraude en misbruik van Belastingdienst en uitkeringsinstanties. De jaarlijkse belastingfraude wordt geschat op een bedrag van maar liefst vier miljard euro. Misbruik van belasting en uitkeringen ondermijnt het sociale vangnet en schaadt de Nederlandse economie. Een vrij logisch gevolg van dit probleem is dat de regering gaat zoeken naar passende maatregelen. Zodoende diende minister Asscher in 2013 een wetsvoorstel – Fraudeaanpak door Bestandskoppeling – in, en werd het voorstel zonder stemming aangenomen. Nu, na zes jaar lang bouwen, ontwikkelen en testen, staat het systeem SyRI in zijn kinderschoenen en is het de vraag of het zijn eerste levensjaar wel gaat halen.
Transparantie
De zaak van 29 oktober is aangespannen door een brede coalitie aan organisaties, waaronder FNV, Stichting Platform Burgerrechten, Stichting Privacy First, Stichting KDVP en het Nederlands Juristen Comité voor de Mensenrechten. Naar aanleiding van de kritiek op SyRI hadden GroenLinks en D66 de regering gevraagd om de gebruikte databestanden, algoritmes en analysemethodes van SyRI openbaar te maken en een audit uit te voeren. Men is op zoek naar transparantie omdat ze graag de beweegredenen en de stappen van het algoritme uitgelegd krijgen. Onderzoek naar de juistheid van het model lijkt echter niet zo zinvol. De discussie zou moeten gaan over; hoe objectief is de data tot stand gekomen? Hoe zijn de databronnen gekoppeld? En wellicht nog belangrijker; wat doet men met de conclusies van het model?
Wanneer de overheid bekend zou maken welke risico-indicatoren voor fraude er worden gebruikt, zouden mensen hun gedrag gaan aanpassen aan het nieuwe systeem, en dit is volgens de overheid niet de bedoeling. Daarnaast werken data mining algoritmes vaak als een black box, wat juist de kracht is van dit soort systemen. Als je wilt weten hoe deze systemen precies werken, dan zou je deze goed moeten testen. Het opmerkelijke is ook dat wanneer er modellen worden ontwikkeld die verzekeringsfraude of fraude bij banken opspoort, er hier geen haan naar kraait.
Verdacht
De website bijvoorbaatverdacht.nl oppert dat het systeem iedere Nederlandse burger als verdacht beschouwt, en daar is de organisatie niet van gediend. Het tegenstrijdige hiervan vind ik dat wanneer er trajectcontroles op de snelwegen plaatsvinden, ook iedereen bij voorbaat verdacht is, maar hier zijn geen beren op de weg, omdat dit algoritme wellicht beter te begrijpen is. Ook ABN Amro heeft een algoritme ontwikkeld, waarbij iedereen in eerste instantie verdacht is. Het algoritme zou een opsporingsmethode zijn tegen arbeidsuitbuiting, wat een vorm is van mensenhandel. Hier zijn tot op heden geen klachten over.
Volgens de FNV is SyRI gericht op het op grote schaal profileren van burgers, en dan met name op leeftijd en etniciteit. Als er echter een hoge correlatie bestaat tussen leeftijd en fraude, waar gaat de discussie dan werkelijk om? Alle vrouwen tussen de 50 en de 75 krijgen bijvoorbeeld een uitnodiging voor het bevolkingsonderzoek borstkanker. Dit komt omdat de meeste vrouwen die borstkanker krijgen ouder dan 50 jaar zijn. Is dit dan niet een gevalletje leeftijdsdiscriminatie? Want borstkanker komt toch ook voor bij vrouwen die jonger zijn dan 50? De definitie van discriminatie volgens de Rijksoverheid luidt als volgt: “Discriminatie betekent dat er onterecht verschil wordt gemaakt in de behandeling van mensen. Bijvoorbeeld op basis van geslacht of godsdienst.” Wanneer er dus terecht onderscheid wordt gemaakt, op basis van statische bewijslast, kan men niet spreken over discriminatie.
Ook wat betreft etniciteit wordt niet iedereen als gelijk gezien in de gezondheidszorg. Nederland heeft bijvoorbeeld het hoogste aantal gevallen van borstkanker in Europa. Hindoestanen tussen de 35 en 60 jaar hebben een driemaal grotere kans op diabetes en hart en vaatziekte. En bij Marokkanen en Turken komen stofwisselingsziekten als diabetes vaker voor dan bij autochtone Nederlanders. In de praktijk worden ziekten die minder vaak voor komen onder de Nederlandse bevolking vaak niet herkend door artsen. Eveneens moet ook bij deze voorbeelden rekening worden gehouden met stigmatisering en discriminatie. De kans op een dergelijke ziekte hangt natuurlijk af van veel meer factoren. Dit geldt ook voor de kans op het plegen van fraude. Het is niet zo zwart wit.
Proportionaliteit
Een ander argument is dat het systeem financieel te weinig zou opleveren. Als er slechts tien van de 119.000 gecontroleerde personen gepakt zouden worden, dan zouden de kosten van het systeem hoger zijn dan de financiële baten. Maar is financiële baat dan het doel van het systeem? Dit zijn aannames van tegenstanders van het systeem. SyRI is op de eerste plaats niet ontwikkeld om geld binnen te brengen maar misstanden en misbruik aan te pakken zodat het draagvlak van sociale zekerheid behouden blijft. Er gaat bovendien een preventieve werking uit van handhaving.
Omdat algoritmes altijd op historische data worden getraind, is het moeilijker om een algoritme ‘bias-vrij’ te trainen. Wanneer er al bevooroordeelde data in wordt verwerkt, dan kan de output van een dergelijk algoritme dus ook bevooroordeeld zijn. Als bijvoorbeeld een politieagent bewust of onbewust mensen uit een bepaalde bevolkingsgroep vaker staande houdt, komen hun kenmerken vaker in de politiestatistieken. Heel erg belangrijk is dus dat de keuze van databronnen en hun kenmerken onbevooroordeeld zijn (dus rekening houdende met confirmation bias en selection bias) en daarnaast de interpretatie van bepaalde uitkomsten niet bevooroordeeld is. Een goed getraind algoritme heeft geen vooroordelen.
Een systeem zoals SyRI heeft de schijn van discriminatie. Daardoor lijkt het voor bestuurders mogelijk lastig om voorstander te zijn van dit soort systemen. Ik ben er van overtuigd dat wanneer alle data objectief tot stand is gekomen en het model getraind wordt zonder teveel menselijke sturing, het model per definitie niet onterecht discriminerend beslist in vergelijking tot de gemiddelde mens. De invoer van een onafhankelijk controle orgaan, dat dit soort systemen inspecteert en beoordeelt, zou ervoor kunnen zorgen dat soortgelijke overheidssystemen ook voor de burger als betrouwbaar en rechtmatig worden gezien. Daarbij blijft dit systeem een adviserend platform. De Inspectie SZW levert alleen de risicomeldingen of potentiële fraudegevallen aan de deelnemende partijen zoals UWV et cetera. Zij zijn verplicht om te onderzoeken of het echt gaat om fraude, voordat ze een sanctie treffen.
Op 29 januari 2020 doet de rechtbank uitspraak over de vraag of gemeenten het systeem SyRI in de toekomst mogen gaan gebruiken. Ik denk dat het goed is dat de discussie tot stand is gekomen omtrent dit systeem. Er zijn namelijk een aantal punten waarbij in de toekomst, tijdens de ontwikkeling van een innovatief overheidssysteem, beter over gecommuniceerd kan worden. Allereerst zouden de betrokken partijen haar burgers moeten informeren over het feit dat bepaalde gegevens met elkaar worden gedeeld en gekoppeld. Ten tweede zou het slim zijn om de doelen (pakkans, winst) van het systeem helder te communiceren zodat er geen aannames gemaakt worden. Tot slot hadden ze bij de uitrol, en het testen van probleemwijken, duidelijk kunnen maken in welke fase het systeem zit en wat de roadmap is.
Bronnen
https://nos.nl/artikel/2307278-verzekeraars-betrappen-meer-fraudeurs-nog-even-dure-tv-opgeven-bij-inbraak.html
http://szwweb.adlibhosting.com/PDF/72887.pdf
https://www.security.nl/posting/627725/Bodemprocedure+tegen+Staat+over+risicoprofileringssysteem+SyRI
https://www.security.nl/posting/592637/Staatssecretaris:+SyRI+geen+middel+om+burgers+te+profileren
https://www.volkskrant.nl/columns-opinie/in-de-surveillancemaatschappij-is-het-alle-ballen-op-de-pechgroep~b2b494e5/?referer=https://www.google.nl/
https://nos.nl/artikel/2286930-kan-kunstmatige-intelligentie-racistisch-of-seksistisch-zijn.html
https://www.volkskrant.nl/nieuws-achtergrond/ziektes-kijken-wel-naar-ras~be6cb891/?referer=https://www.google.com/
https://www.rivm.nl/bevolkingsonderzoek-borstkanker
[https://www.wrr.nl/binaries/wrr/documenten/working-papers/2016/04/28/big-data-voor-fraudebestrijding/WP021-Big-Data-fraudebestrijding.pdf
https://www.nrc.nl/nieuws/2019/10/25/een-sinister-gedrocht-a3978105
https://www.rijksoverheid.nl/onderwerpen/discriminatie/vraag-en-antwoord/wat-is-discriminatie
https://www.rtlz.nl/beurs/bedrijven/artikel/4906896/abn-amro-mensenhandel-arbeidsuitbuiting-algoritme-inspectie-szw
De schrijfster doet zich voorkomen als een vrij stereotype Data Scientist die leeft in een gedachtewereld dat alle data die beschikbaar is gebruikt mag worden als je maar vindt dat het mogelijk ergens aan kan bijdragen.
Fundamenteel onderdeel van onze rechtstaat zijn de privacy beginselen die je primair terug kan vinden in het Europees verdrag voor de rechten van de mens. Deze grondrechten vormen de basis waarop o.a de AVG gestoeld is als het gaat om verwerkingen van persoonsgegevens.
Het niet uit kunnen leggen van een black box algoritme bestempelen als “wat juist de kracht is van dit soort systemen” is bijna Freudiaans. De redenatie is blijkbaar dat als het maar te moeilijk is om te doorgronden het wel goed moet zijn. Daarnaast is -het uitleg krijgen over op basis van welke informatie en beslisregels tot een oordeel is gekomen- 1-op-1 als recht vastgelegd in de AVG. Als een technologie daar niet in kan voorzien is deze technologie niet geschikt om persoonsgegevens mee te profileren. En dus niet andersom.
Volgens schrijfster zou de discussie o.a. moeten gaan over “Hoe zijn de databronnen gekoppeld?”. Nee dat moet het niet. De discussie moet eerst gaan over de vraag of deze bronnen wel voor dit doel gebruikte mogen worden (doelbinding). Of de beoogde verwerking wel proportioneel is. De resultaten tot op heden maken het er zeker niet makkelijker op om dat te staven. Daarna is er de subsidiariteitstoets die moet plaatsvinden. Zijn er andere manieren om het beoogde doel te bereiken die minder inbreuk hebben op de privacy. Zolang de mindset achter Syri (en de schrijfster) is van hoe meer hoe beter kun je er haast vanuit gaan dat ook die toets niet bevredigend beantwoord kan worden.
En pas nadat al die punten afdoende onderbouwd zijn en de grondslagen en doelbinding er zouden zijn komen we pas toe aan de technische discussie over het omgaan met onvermijdelijke bias, effecten van data fouten en de menselijke effecten die vervolgens onvermijdelijk optreden omdat “het systeem het zegt”.
NB: De vergelijking met modellen die banken gebruiken om o.a. witwassen op te sporen gaat hierop ook mank. Daar zijn bv al niet allerlei databronnen bij betrokken die niet voor dat doel verzameld zijn (bij Syri wel).
Doen alsof een model volledig onbevooroordeeld kan zijn en dat de aan het model gevoerde data het stempel ‘objectief’ kan krijgen is in mijn ogen naief en er is aardig wat wetenschappelijk onderzoek over hoe onwaarschijnlijk moeilijk het is om op dat punt te komen en hoe vaak dat mis gaat. Als illustratie zie bv: https://www.technologyreview.com/s/612876/this-is-how-ai-bias-really-happensand-why-its-so-hard-to-fix/
De gehele discussie over algoritmes gaat altijd over ‘het algoritme’, en nooit over de basis die daaronder zou moeten liggen. En ik vind dat dat zwaartepunt een enorm verschil maakt.
Als het algoritme is gebaseerd op verkeerde aannames, conclusies uit eerder onderzoek, etc. dan is het algoritme uit de aard der zaak minstens even fout. Als er echter een gedegen onderzoek onder zit als basis, dan staat een algoritme er al beter voor. Als het bijvoorbeeld gaat over leeftijd van vrouwen en de kans dat borstkanker voorkomt bij een mens, dan zitten daar wel onderzoeken onder die aantonen dat in die bepaalde leeftijdsgroep borstkanker meer voorkomt dan in andere leeftijdsgroepen. Net zoals borstkanker meer voorkomt bij vrouwen dan bij mannen (maar dat percentage is niet nul!). Dat geeft wel een bepaalde correlatie aan, maar een causaal verband is bij mijn weten niet 100% aangetoond. Een algoritme dat vanuit geslacht (=vrouw) en leeftijd (= in risicogroep) concludeert dat die persoon dus borstkanker heeft is ook fout, dat snappen we wel allemaal.
Het probleem is dat de onderzoeken onder de algoritmes niet altijd even goed zijn uitgevoerd, en dat de vertaling naar een algoritme ook niet altijd even goed gebeurt. Als de algoritme-gebruiker daar rekening mee houdt dan kan zo’n algoritme (beperkt) gebruikt worden. En anders: doorspoelen en opnieuw beginnen.
Zoeken naar belastingfraude en dan de ZuidAs c.q. Wassenaar overslaan ? Hmmm. En de Gooische Matras dan ? Of Bloemendaal ?
Wat hier lijkt te worden verward is de intentie van wat wetten plachten te bereiken en wat hier met het algoritme wordt gepoogd te bereiken. Of liever gezegd met de bijbehorende ‘infrastructuur’.
Er wordt hier een vergelijk gemaakt tussen verkeerscontroles en de Syri controles. Bij verkeerscontroles wordt iedereen die op weg A rijdt gecontroleerd. Er wordt niet uitgegaan van discriminatoire selectiecriteria, maar alle voertuigen worden tegen het licht gehouden, en bij die voertuigen waarvan wordt vastgesteld dat ze een bepaalde maximum snelheid te boven gaat, gaat de flitslamp af.
Bij Syri controles zou dit ook kunnen: van iedereen die zich in bestand A bevindt worden de cijfers gecontroleerd. En ook in dat geval zou er geen sprake zijn van een discriminatoir uitgangspunt. Of je nu toevallig met je auto op weg A rijdt is min of meer te vergelijken met de toevallige situatie dat je gegevens zich in bestand A bevinden.
Maar dat vergelijk gaat niet helemaal op:
Het algoritme van verkeerscontroles is heel openbaar, EN er zijn voldoende verkeersborden die aangeven wat de maximale snelheid is EN iedereen die op de weg rijdt met een auto heeft daartoe verplicht een examen afgelegd. Daarenboven is de meerderheid van mensen toch vrijwillig op de weg. Misschien indirect verplicht door arbeid, maar in de meeste gevallen had ook kunnen worden gekozen voor alternatieve vervoersmiddelen (ov om er maar een generieke te noemen) of thuiswerken (niet altijd mogelijk). Even kort door de bocht: borden, rijbewijs, etc. vormen samen het algoritme.
Dit algoritme is algemeen bekend, sterker nog: deze is gepubliceerd geweest in de Staatscourant en is dusdanig openbaar bekend dat iedereen in het bezit van een rijbewijs wordt geacht deze te kennen (dit uitgangspunt is voor andere doeleinden opgezet -zie ook later-, maar gaat niettemin op).
Bij Syri vindt de regering dat het algoritme NIET openbaar mag worden, omdat men anders wegen eromheen gaat vinden. Maar dat is vreemd. Men wordt geacht zich volgens een bepaalde manier te gedragen, maar men wil niet dat de grenzen van geoorloofde en niet geoorloofde gedragingen duidelijk worden. Dat houdt in dat wanneer men ongemerkt, en ongewild de grenzen toch over gaat je opeens schuldig bent en feitelijk veroordeeld zou kunnen worden.
Dat is niet conform de normale regels van een rechtstaat. De enige reden dat een rechter iemand kan en mag veroordelen is het uitgangspunt dat elke bewoner van een land wordt geacht kennis te hebben van de wet. De reden is dat anders iedereen die voor de rechter staat kan claimen “Ja, dat wist /ik/ niet, hoe kon ik dat nou weten?”.
Als het algoritme dus niet bekend wordt gemaakt, kan iedereen claimen ‘ja, hey, mij wat niet verteld dat ik dat niet mocht doen’ en wordt het veroordelen van iemand op basis van dat Syri algoritme feitelijk ondoenlijk.
Ook vervalt de mogelijkheid om zowel het algoritme als de juistheid van de bewijsvoering als de juistheid van het vonnis te controleren en dan schurken we al weer snel aan tegen dictatoriale toestanden.
Het lijkt me niet dat we met zijn allen die laatste kant op willen gaan.
Dan gaat e.e.a. ‘dus’ op andere manieren fout: waar bij rijden op wegen het (binnen de regels van de wet) voor mensen vrij staat om de route te kiezen, is het voor de mensen niet altijd vrij om te kiezen voor GEEN opname in bestand A. Noch voor bestand B die toevallig door het algoritme van Syri aan wordt gekoppeld. Er is met andere woorden weinig keuze. Maar kennelijk bestaat er de mogelijkheid om zowel in bestand A te komen met een aantal gegevens, en een manier om in bestand B te komen de gegevens tussen bestand A en bestand B dusdanig te manipuleren dat er voor de aanvrager een voordelige (en voor de overheid een nadelige) situatie ontstaat.
De manier van de regering om dit te voorkomen is om de fraude te laten ontstaan (door de beide aanvragen te accepteren) en dan via grote sleepnet constructies (en veel pijn en moeite) de fraude op te sporen. En dat met een niet openbaar algoritme, maar met een obscuur (en eenvoudig te wijzigen, dus onmogelijk om je tegen te verdedigen) algoritme.
En in plaats het voorkomen van bestandsvervuiling, laat de regering de boel dus op de beloop. Als iemand achteraf blijkt te frauderen, wordt niet de instantie die de frauduleuze situatie heeft helpen ontstaan, maar wordt de mogelijk onschuldige (waarbij overigens het uitgangspunt hoort te zijn dat deze niet mogelijk onschuldig is, maar in principe onschuldig).
Had de overheid niet alle middelen moeten inzetten om fraude te voorkomen door bij het invoeren de gegevens al te controleren? Wij ICT-professionals wordt al heel vroeg het adagio GIGO voor ogen gehouden.
Syri is een managers beslissing met als uitgangspunt: “beter ten halve verdwaald en ten hele gekeerd” (m.a.w. geen flauw benul hoe dit te voorkomen, laten we een aantal dooddoenders verkeerd citeren en dan de schuld maar bij de ander leggen).
Ook dit is niet iets waar we heen moeten willen gaan lijkt me.
Syri lijkt wel een poging om als overheid AI, Big Data en andere zogenaamd technisch vooruitstrevende initiatieven te kunnen ontplooien. Syri lijkt een implementatie van een probleem om bij een gewenste oplossing te passen.
Geachte mevrouw Burg,
Er is – zoals andere schrijvers eveneens melden – ook nog zoiets als “doelbinding” bij grootschalig datagebruik. Als titel voor uw bijdrage had misschien gekozen kunnen worden voor: SyRI ligt nog steeds onder vuur, want dat is al sinds de start van het systeem aan de orde.
Het komt mij voor dat de discussie rondom ethiek en dataverwerking van de afgelopen jaren volledig langs u heen is gegaan. Inderdaad: in 2013 vonden “we” misschien nog dat een dergelijk systeem door de beugel kon, maar het kan u toch niet ontgaan zijn dat daarna op allerlei niveau’s scepsis is ontstaan rond het verzamelen, bewerken en hergebruik van data?! Belastingontwijking bestrijden ten bedrage van 4 miljard euro? En dat in de wijken van Rotterdam waar de laagste lonen worden verdiend? U gelooft toch niet echt in sprookjes? Geen wonder dat de burgemeester van Rotterdam SyRI in zijn stad heeft afgehamerd: “een disproportioneel en daarmee onacceptabel systeem”. Er zijn belastingdomeinen waar echt veel meer te verdienen valt voor onze fiscus (nieuwe benadering van rulings en ATAD 2 – bronbelasting op rente en royalty’s – een stroom van 22 miljard) en waar de moraal rondom belastingbetaling misschien een klein beetje geholpen kan worden, bijvoorbeeld door aanpassing van fiscale regels en niet door de inzet en bouw van systemen als SyRI.
Het valt niet uit te leggen dat bij de onderklasse van de samenleving deze niet transparante controles wel plaatsvinden maar diezelfde overheid innig samenwerkt met lobby clubjes zoals AmCham om de belastingdruk van Amerikaanse multinationals nog meer te verlagen via geheime rulings.
Nederland is geen democratie en krijgt steeds meer contouren van een fascistische totalitaire staat. Het meest erge is wel dat wij dit allemaal maar pikken.
Welterusten Pleuni als de maatschappij ontmenselijkt wordt middels de algoritmen van een systeem dat een grote gelijkenis heeft met de geschiedenis. Antwoord op eerste vraag of SyRI een discrimentoir systeem is lijkt me volmondig met JA te beantwoorden want de statistische wetenschap in dit soort systemen blijkt fraudeleus nogal door het weglaten van ontlastende bewijzen omdat de overheid een vooringenomenheid heeft dat de burger schuldig is tot het tegendeel bewezen is. In het ‘koppelvlakken circus’ van SyRI zijn gemeentelijke ambtenaren dan ook straks de clowns, het systeem wijst de dader aan en de gemeente mag vervolgens het vuile werk doen. Uiteraard zonder het budget om serieus (en objectief) onderzoek te doen naar de potentiële fraudegevallen.
Het ethisch besef van een pinda, Wellicht zou Pleuni voor de Chinese overheid moeten gaan werken.
Beste Pleuni,
Veel te laat kwam je column mij onder ogen maar na lezing van de reacties wil ik toch graag nog op je verhaal reageren. Laat je vooral niet door het bekende “op de man” spelen uit het veld slaan. De voorspelbaar kritische geluiden, komen als vaker uit de bekende hoek waarbij een enkeling, ongetwijfeld uit intellectuele nood, zich gemakshalve beperkt tot inhoudsloze diffamerende opmerkingen. Je artikel verdient daarentegen lof. Lof omdat je het aandurft zo’n gevoelig onderwerp te bespreken en dat ook nog eens op een toegankelijke wijze doet. Waar het (wel) om gaat is niet zozeer de relatief ongetwijfeld geringe opbrengst van SyRI als wel om het laten zien dat de overheid het fenomeen fraude daadwerkelijk aanpakt. Diverse gemeentelijk gebruikers toonden zich enthousiast over de scoringskansen bij gebruik van het systeem. Niet zo verwonderlijk trouwens want de ingevoerde data kwamen ongetwijfeld niet uit de lucht vallen. Ook de rechtbank Den Haag vergat gemakshalve dat het om wel wat meer gaat dan een afweging van het maatschappelijk belang van fraudebestrijding tegenover de inbreuk op het privéleven namelijk een geloofwaardige controle en sanctionering van hen die tot irritatie van de veel grotere rest bij herhaling bewust over de randen lopen. Wie daar geen oog voor heeft, of vanuit een even onwrikbaar als bij herhaling misplaatst gebleken geloof in het veronderstelde goede van de mens niet voor wil hebben, ondermijnt het draagvlak voor ons systeem van sociale zekerheid. Asscher had dat in 2013 wel goed begrepen.
Groet, Ruud
@Ruud
Kollega van Pleuni?