SyRI ligt nu al onder vuur

De rechtbank in Den Haag boog zich op 29 oktober over de vraag of gemeenten het systeem ‘SyRI’ mogen gebruiken om frauduleus gedrag van burgers op te sporen. Dit systeem levert inmiddels een verhitte discussie op in de media. Het zou bijvoorbeeld de burgers in ‘de Zuidas en Wassenaar links laten liggen’. Een discriminerend systeem dus dat niet genoeg draagvlak zou hebben om de juiste verdachten eruit te pikken. Maar is dat werkelijk zo?

SyRI is een systeem dat ontwikkeld is voor en door de overheid, dat verschillende databronnen aan elkaar koppelt met gegevens over schulden, inkomens, bezittingen, uitkeringen en vergunningen. Het systeem bepaald door middel van datamining en patroonherkenning welke zogenoemde ‘verwonderadressen’ mogelijk verdacht zijn als het gaat om fraude en misbruik van Belastingdienst en uitkeringsinstanties. De jaarlijkse belastingfraude wordt geschat op een bedrag van maar liefst vier miljard euro. Misbruik van belasting en uitkeringen ondermijnt het sociale vangnet en schaadt de Nederlandse economie. Een vrij logisch gevolg van dit probleem is dat de regering gaat zoeken naar passende maatregelen. Zodoende diende minister Asscher in 2013 een wetsvoorstel – Fraudeaanpak door Bestandskoppeling – in, en werd het voorstel zonder stemming aangenomen. Nu, na zes jaar lang bouwen, ontwikkelen en testen, staat het systeem SyRI in zijn kinderschoenen en is het de vraag of het zijn eerste levensjaar wel gaat halen.

Transparantie

De zaak van 29 oktober is aangespannen door een brede coalitie aan organisaties, waaronder FNV, Stichting Platform Burgerrechten, Stichting Privacy First, Stichting KDVP en het Nederlands Juristen Comité voor de Mensenrechten. Naar aanleiding van de kritiek op SyRI hadden GroenLinks en D66 de regering gevraagd om de gebruikte databestanden, algoritmes en analysemethodes van SyRI openbaar te maken en een audit uit te voeren. Men is op zoek naar transparantie omdat ze graag de beweegredenen en de stappen van het algoritme uitgelegd krijgen. Onderzoek naar de juistheid van het model lijkt echter niet zo zinvol. De discussie zou moeten gaan over; hoe objectief is de data tot stand gekomen? Hoe zijn de databronnen gekoppeld? En wellicht nog belangrijker; wat doet men met de conclusies van het model?

Wanneer de overheid bekend zou maken welke risico-indicatoren voor fraude er worden gebruikt, zouden mensen hun gedrag gaan aanpassen aan het nieuwe systeem, en dit is volgens de overheid niet de bedoeling. Daarnaast werken data mining algoritmes vaak als een black box, wat juist de kracht is van dit soort systemen. Als je wilt weten hoe deze systemen precies werken, dan zou je deze goed moeten testen. Het opmerkelijke is ook dat wanneer er modellen worden ontwikkeld die verzekeringsfraude of fraude bij banken opspoort, er hier geen haan naar kraait.

Verdacht

De website bijvoorbaatverdacht.nl oppert dat het systeem iedere Nederlandse burger als verdacht beschouwt, en daar is de organisatie niet van gediend. Het tegenstrijdige hiervan vind ik dat wanneer er trajectcontroles op de snelwegen plaatsvinden, ook iedereen bij voorbaat verdacht is, maar hier zijn geen beren op de weg, omdat dit algoritme wellicht beter te begrijpen is. Ook ABN Amro heeft een algoritme ontwikkeld, waarbij iedereen in eerste instantie verdacht is. Het algoritme zou een opsporingsmethode zijn tegen arbeidsuitbuiting, wat een vorm is van mensenhandel. Hier zijn tot op heden geen klachten over.

Volgens de FNV is SyRI gericht op het op grote schaal profileren van burgers, en dan met name op leeftijd en etniciteit. Als er echter een hoge correlatie bestaat tussen leeftijd en fraude, waar gaat de discussie dan werkelijk om? Alle vrouwen tussen de 50 en de 75 krijgen bijvoorbeeld een uitnodiging voor het bevolkingsonderzoek borstkanker. Dit komt omdat de meeste vrouwen die borstkanker krijgen ouder dan 50 jaar zijn. Is dit dan niet een gevalletje leeftijdsdiscriminatie? Want borstkanker komt toch ook voor bij vrouwen die jonger zijn dan 50? De definitie van discriminatie volgens de Rijksoverheid luidt als volgt: “Discriminatie betekent dat er onterecht verschil wordt gemaakt in de behandeling van mensen. Bijvoorbeeld op basis van geslacht of godsdienst.” Wanneer er dus terecht onderscheid wordt gemaakt, op basis van statische bewijslast, kan men niet spreken over discriminatie.

Ook wat betreft etniciteit wordt niet iedereen als gelijk gezien in de gezondheidszorg. Nederland heeft bijvoorbeeld het hoogste aantal gevallen van borstkanker in Europa. Hindoestanen tussen de 35 en 60 jaar hebben een driemaal grotere kans op diabetes en hart en vaatziekte. En bij Marokkanen en Turken komen stofwisselingsziekten als diabetes vaker voor dan bij autochtone Nederlanders. In de praktijk worden ziekten die minder vaak voor komen onder de Nederlandse bevolking vaak niet herkend door artsen. Eveneens moet ook bij deze voorbeelden rekening worden gehouden met stigmatisering en discriminatie. De kans op een dergelijke ziekte hangt natuurlijk af van veel meer factoren. Dit geldt ook voor de kans op het plegen van fraude. Het is niet zo zwart wit.

Proportionaliteit

Een ander argument is dat het systeem financieel te weinig zou opleveren. Als er slechts tien van de 119.000 gecontroleerde personen gepakt zouden worden, dan zouden de kosten van het systeem hoger zijn dan de financiële baten. Maar is financiële baat dan het doel van het systeem? Dit zijn aannames van tegenstanders van het systeem. SyRI is op de eerste plaats niet ontwikkeld om geld binnen te brengen maar misstanden en misbruik aan te pakken zodat het draagvlak van sociale zekerheid behouden blijft. Er gaat bovendien een preventieve werking uit van handhaving.

Omdat algoritmes altijd op historische data worden getraind, is het moeilijker om een algoritme ‘bias-vrij’ te trainen. Wanneer er al bevooroordeelde data in wordt verwerkt, dan kan de output van een dergelijk algoritme dus ook bevooroordeeld zijn. Als bijvoorbeeld een politieagent bewust of onbewust mensen uit een bepaalde bevolkingsgroep vaker staande houdt, komen hun kenmerken vaker in de politiestatistieken. Heel erg belangrijk is dus dat de keuze van databronnen en hun kenmerken onbevooroordeeld zijn (dus rekening houdende met confirmation bias en selection bias) en daarnaast de interpretatie van bepaalde uitkomsten niet bevooroordeeld is. Een goed getraind algoritme heeft geen vooroordelen.

Een systeem zoals SyRI heeft de schijn van discriminatie. Daardoor lijkt het voor bestuurders mogelijk lastig om voorstander te zijn van dit soort systemen. Ik ben er van overtuigd dat wanneer alle data objectief tot stand is gekomen en het model getraind wordt zonder teveel menselijke sturing, het model per definitie niet onterecht discriminerend beslist in vergelijking tot de gemiddelde mens. De invoer van een onafhankelijk controle orgaan, dat dit soort systemen inspecteert en beoordeelt, zou ervoor kunnen zorgen dat soortgelijke overheidssystemen ook voor de burger als betrouwbaar en rechtmatig worden gezien. Daarbij blijft dit systeem een adviserend platform. De Inspectie SZW levert alleen de risicomeldingen of potentiële fraudegevallen aan de deelnemende partijen zoals UWV et cetera. Zij zijn verplicht om te onderzoeken of het echt gaat om fraude, voordat ze een sanctie treffen.

Op 29 januari 2020 doet de rechtbank uitspraak over de vraag of gemeenten het systeem SyRI in de toekomst mogen gaan gebruiken. Ik denk dat het goed is dat de discussie tot stand is gekomen omtrent dit systeem. Er zijn namelijk een aantal punten waarbij in de toekomst, tijdens de ontwikkeling van een innovatief overheidssysteem, beter over gecommuniceerd kan worden. Allereerst zouden de betrokken partijen haar burgers moeten informeren over het feit dat bepaalde gegevens met elkaar worden gedeeld en gekoppeld. Ten tweede zou het slim zijn om de doelen (pakkans, winst) van het systeem helder te communiceren zodat er geen aannames gemaakt worden. Tot slot hadden ze bij de uitrol, en het testen van probleemwijken, duidelijk kunnen maken in welke fase het systeem zit en wat de roadmap is.