D66 en CDA maken zich zorgen over het gebruik van algoritmes door de overheid. De partijen roepen het kabinet vandaag in een motie daarom op om strengere regels op te stellen. Ook stellen ze voor een orgaan in het leven te roepen dat op het gebruik toeziet en bepaalt in welke gevallen de inzet van algoritmes gelegitimeerd is.
Aanleiding voor de verontrusting bij de beide regeringspartijen is berichtgeving van de NOS over de overheid die op grote schaal voorspellende algoritmes gebruikt. Daarbij is het doel en effect ervan niet altijd even duidelijk voor burgers. Soms hebben voorspellende algoritmes zelfs negatieve effecten, want op basis van statistieken kunnen er ‘discriminerende’ elementen gevormd worden.
D66 stelt bij monde van Kamerlid Kees Verhoeven vast dat er een wildgroei aan algoritmes bij de overheid is. ‘Maar nergens wordt dat centraal bijgehouden’, aldus Verhoeven, die samen met zijn collega-Kamerlid Harry van der Molen van het CDA initiatiefnemer van de motie is.
Verhoeven: ‘We willen dat er een toezichthouder komt die soms kan zeggen: ‘nee, hier is de kans op discriminatie te groot’.’ Het Kamerlid voegt eraan toen niet tegen het gebruik van algoritmes te zijn, maar dat die vraag nu niet wordt gesteld.
Volgens CDA’er Van der Molen heeft de overheid de verantwoordelijkheid om open te zijn over zijn gebruik van algoritmes en moeten zij die secuur inzetten. De twee Kamerleden verwachten dat een meerderheid van de Kamer het voorstel steunt.
Transparantie
Eerder dit jaar sprak de Autoriteit Persoonsgegevens (AP) zijn bezorgdheid uit over de inzet van voorspellende algoritmes door de overheid. AP-voorzitter Aleid Wolfsen riep de overheid op om transparantie te betrachten. Ook hebben burgers volgens hem het recht te weten hoe die rekenmodellen tot een conclusie komen, zeker als het gaat om beslissingen over individuele zaken als aanvragen of het toekennen van regelingen.
In de oude AI (gebaseerd op een verzameling IF THEN regels) was het nog wel mogelijk om te laten zien hoe een conclusie is bereikt. Maar bij een neuraal netwerk lijkt mij dat onmogelijk.
Vanmorgen nog in de krant: de inzet van gezichtsherkenning bij een zwembad in Tilburg dat te kampen heeft met overlast van Marokkaanse jongeren: https://www.bd.nl/tilburg-e-o/maatregel-na-verpest-feest-tilburgs-zwembad-gezichtsherkenning-bij-stappegoor~a6102cc7/
Aan de ene kant wil de samenleving dit soort middelen juist inzetten om schijn van discriminatie te vermijden, maar de overheid (D66 & CDA althans) wil dit de inzet van dit soort middelen juist vermijden omdat ze bang zijn dat het algoritme “discrimineert”.
Elk zelflerend AI netwerk discrimineert inherend, omdat discriminatie (in de betekenis van het maken van onderscheid) nu eenmaal een basis is van kennisvergaring. Dus als je een netwerk traint om slecht gedrag te herkennen en als dat vervolgens herleid wordt naar een groep mensen die grotendeels samenvalt het een bepaalde bevolkingsgroep, dan heet dat helaas”werkelijkheid”.
Dar kan het algoritme zelf verder ook niets aan doen. Als je als overheid per se een roze bril wenst op te zetten, moet je vooral niet aan AI gaan doen, maar vooral in je eigen sprookjeswereld blijven leven.
Ho ho KJ, dat is wel héél kort door te bocht.
Het probleem met neurale netwerken is niet dat ze “discrimineren”, in de betekenis van onderscheid maken, maar dat ze onbedoeld bevooroordeeld (biassed) blijken te zijn.
Tekenend voorbeeld is een neuraal netwerk dat getraind was om, op basis van foto’s, een criminele inborst te voorspellen. Bleek dat dit netwerk iedereen met een stropdas als “niet crimineel” classificeerde. Dit bleek te komen door de data waarmee het netwerk was getraind: de foto’s van criminelen kwamen van ‘mugshots’, de foto’s van niet-criminelen kwamen van LinkedIn. En aangezien de kans dat je niet-crimineel bent op LinkedIn aanzienlijk groter is dan bij mugshots, én de kans dat je op LinkedIn een stropdas draagt aanzienlijk groter is dan op je mugshot, legde het netwerk een statistisch verband dat absoluut geen causaal verband is. Niks “helaas werkelijkheid”. Gewoon een onhandig opgezet neuraal netwerk.
Ander voorbeeld van bias: Amazon is vorig jaar gestopt met het gebruik van een neuraal netwerk bij het selecteren van sollicitanten. Omdat er meer mannen dan vrouwen werken bij Amazon, vond het netwerk dat mannen geschiktere kandidaten waren dan vrouwen.
Heel boeiend vind ik, en dat sluit aan bij je eerste punt over good-old-fashioned IF-THEN-ELSE kennissystemen, is dat een belangrijke overweging van Amazon om te stoppen was, dat ze wel konden zien *dat* het netwerk discrimineerde maar niet konden zien welke kenmerken van CVs het neurale netwerk gebruikte om de uitkomsten op te baseren. Daarom konden ze het netwerk ook niet bugfixen of bijstellen. Het neurale netwerk was een black box, dus stoppen was de enige oplossing.
Dit voorstel is een poging om mooie sier te maken voor iets wat hoe je het wendt of keert gewoon gaat gebeuren. Wat dat betreft zullen zij als samenleving hier zo kort mogelijk op moeten zitten om te zorgen dat deze machtspositie (want dat is het) niet misbruikt gaat worden. Voordat je het weet krijg je gemeentes die op basis van oncontroleerbare systemen lukraak boetes uit gaan geven omdat de computer beweert dat er een overtreding begaan zou zijn.
Waarom wil de overheid zoveel over ons weten? Mogen wij als burgers niet eisen dat zij bijv. niets over ons geloof, geslacht, seksuele of politieke oriëntatie opslaan? Terwijl er regelmatig blijkt dat gemeentes nog wel eens gegevens lekken maakt je er niet bepaald gerust op.
Van het AP hoef je weinig te verwachten. Die hebben het eenvoudig weg te druk en met een bestuurlijk lichtgewicht als dhr Wolfsen hoef je ook geen doortastend beleid tegemoet te zien. Die is waarschijnlijk meer tijd bezig met zijn eigen carrière dan zijn werk.
@Bas
Goed commentaar. Inderdaad hangt de kwaliteit van het neurale netwerk af van de ‘kwaliteit’ van de trainingsset (de mate waarin deze de werkelijkheid reflecteert).
Dat opent weer een interessante discussie, want wat als de overheid voorschrijft dat trainingssets en gewenste uitkomsten niet de werkelijkheid moeten reflecteren, maar de door de overheid gewenste situatie?