Een openbaar algoritmeregister vergroot de transparantie van ai-tools van de overheid, maar brengt ook risico’s met zich mee. Dat stellen data & decision-scientist Véronique van Vlasselaer en dataprivacyexpert Rein Mertens van SAS.
In december 2023 is het Centrale algoritmeregister van de overheid gelanceerd. Bij aanvang bevatte dat informatie over 109 artificiële intelligentie (ai)-systemen die door overheden worden gebruikt. Het register is nog in ontwikkeling en moet ertoe leiden dat burgers de overheid kritisch kunnen volgen en bevragen over de inzet van ai.
Los van het feit dat doorontwikkeling nodig is, liggen er gevaren op de loer. Met een openbaar register kunnen fraudeurs eenvoudig inzien hoe zij onder de radar van de algoritmes blijven. Bovendien brengt een dergelijk register ook onze privacy in het geding. Het is namelijk mogelijk om de onderliggende data waarop het algoritme is gebouwd, te reconstrueren. Daarmee ligt persoonlijke data straks voor het oprapen, waarschuwen Van Vlasselaer en Mertens, beideen werkzaam voor SAS.
Onvoldoende
Van Vlasselaer wijst erop dat het register is bedoeld om burgers en experts meer transparantie en toegankelijkheid te bieden in de algoritmes die worden ingezet door de overheid. Het idee is dat actieve burgers de overheid kunnen controleren om zo discriminatie en willekeur te voorkomen. Het register schiet volgens haar te kort omdat de informatie die hierin opgenomen wordt, zeer beschrijvend van aard is. Het geeft in algemene bewoordingen aan welke beslissingen ondersteund worden met een bepaald algoritme. ‘Dat is onvoldoende om de werking van de algoritmes daadwerkelijk te contoleren. Een voor de hand liggende oplossing hiervoor is om de algoritmes meer gedetailleerd te beschrijven, maar dan ontstaan andere problemen.’
Op het moment dat de set van regels die het algoritme gebruikt openbaar worden gemaakt, kan dit namelijk fraude in de hand werken, stelt de datawetenschapper. ‘Denk aan hoe je bepaalde formulieren of aanvragen invult; als je weet dat het ene of het andere vinkje een verschil maakt, kun je daar misbruik van maken.’ Dit is volgens haar ook een direct probleem bij algoritmes die bedoeld zijn om fraude of misdrijven op te sporen, zoals het tegengaan van illegale vakantieverhuur. ‘Als je weet dat een algoritme gebaseerd is op het bezit van meerdere huizen en bepaald gedrag rondom je inschrijfadres, kunnen fraudeurs eenvoudig inzien hoe zij onder de radar van de algoritmes blijven.’
Kortom, het algoritmeregister schiet tekort omdat het te weinig gedetailleerde informatie biedt, maar dit is niet zomaar op te lossen want een kwaadwillend persoon profiteert eerder van een register met detailgegevens dan een actief controlerende burger.
Kunt u een voorbeeld geven van een scenario waarin data worden gereconstrueerd?
Van Vlasselaer: ‘Ai kan gebruikt worden om ai te hacken. Zo zijn er al tal van voorbeelden. Als je de logica van een ai-algoritme publiek beschikbaar stelt, kan je hier een ander ai-algoritme op loslaten die de originele data waarop de logica gebouwd is, zal kunnen terughalen. De basis is als volgt: een ai-algoritme geeft buiten een beslissing ook een betrouwbaarheid in de beslissing weer. Hoe groter de betrouwbaarheid in de beslissing, des te groter de kans dat het algoritme deze kennis gebruikt heeft voor het aanleren van zijn logica.’
Als voorbeeld noemt ze een leerling die de maaltafels moet leren voor alle vermenigvuldigen met getallen onder tien. Diegene zal heel veel vertrouwen hebben in zijn antwoord wanneer hem de vraag gesteld wordt hoeveel twee keer vijf is. Als de juf hem vraagt om de vermenigvuldiging zes keer elf uit te rekenen, zal hij minder vertrouwen hebben in deze uitkomst, omdat dit buiten zijn aangeleerde kennis ligt. ‘Bij ai werkt het hetzelfde. Voor alle beslissingen waarop een algoritme zijn kennis gebaseerd heeft, is de betrouwbaarheid zeer hoog. Maar zodra het algoritme een beslissing neemt dat het niet aangeleerd heeft, daalt het vertrouwen in de juistheid van de beslissing. Deze redenering wordt gebruikt om algoritmes te ‘hacken’ en de originele data af te leiden.’
Welke risico’s kleven er nog meer aan een verplicht openbaar register?
Van Vlasselaer: ‘Het risico is dat het register slechts een papieren werkelijkheid toont, waarmee uiteindelijk niks wordt opgelost. Instanties zijn zelf verantwoordelijk voor de registratie van algoritmes die zij inzetten. Hierbij kan een kloof ontstaan tussen wat er wordt geregistreerd en de werkelijke situatie – bijvoorbeeld omdat procedures rondom het gebruik van het algoritme wel beschreven zijn, maar in de praktijk niet goed gevolgd worden.’
Ze benadrukt dat de ontwikkeling en het gebruik van een algoritme daarnaast mensenwerk blijft. ‘Als data-scientists (onbedoeld) vooroordelen laten meewegen in de ontwikkeling, of als de algoritmes niet goed worden toegepast, kunnen er discriminerende modellen ontstaan. Zie ook dit artikel over Bias in ai begint bij de mens. Dit kan alleen echt goed gecontroleerd worden door het algoritme te testen in een onderzoek; een beschrijving in een register legt dergelijke tekortkomingen niet bloot.’
Welke algoritmeregisters zijn er op dit moment en waarin verschillen die ?
Mertens: ‘De gemeentes Amsterdam, Rotterdam, Den Haag en het UWV zijn elk afzonderlijk al eerder van start gegaan met een register. De verschillende registers worden nu verzameld in Het Algoritmeregister van de Nederlandse overheid.’
Hij ziet dat alle partijen nog zoekende zijn naar welk type informatie partijen moeten aanbieden over algoritmes. ‘Rotterdam heeft nu bijvoorbeeld vooral een bestuurlijk procedurele insteek, met informatie over controleerbaarheid, het bestuurlijke doel en de risicobeheersing. Amsterdam zegt meer over de datasets die gebruikt worden, de architectuur van het model en over de menselijke component: wat is de rol van medewerkers in het gebruik van de algoritmes.’
Mertens ziet dat het overkoepelende register van de overheid op dit moment nog veel lege velden toont – ‘zij geven dan ook expliciet aan dat de website nog in ontwikkeling is en zij bieden de mogelijkheid om feedback te geven.’ Minister Van Huffelen heeft in een Kamerbrief ook expliciet aangegeven dat het de bedoeling is dat er toegewerkt wordt naar een standaard ofwel eenduidige omschrijving.
Daarnaast lijkt het hem in het kader van bredere acceptatie van het gebruik van algoritmes raadzaam te vermelden wat de daadwerkelijke uitkomst van het gebruik van het betreffende algoritme is geweest. Bijvoorbeeld: het gebruik van algoritmes bij de handhaving van illegale vakantieverhuur heeft ervoor gezorgd dat een bepaald percentage minder illegaal wordt verhuurd en zoveel procent van de eigenaars is beboet.
Welke landen of organisaties of branches zijn voorloper in een algoritmeregisters?
Dat zijn volgens Mertens gemeenten en overheidsorganisaties. ‘De EU werkt ook aan een ai-verordening. Die bevat een verplichting om hoogrisico-ai-systemen die in de EU op de markt zijn en beschikbaar voor gebruik, op te nemen in een publiek toegankelijke EU-databank. Als deze definitief is vastgesteld dan neemt Nederland dit mee in de doorontwikkeling van het register.’
De privacy-expert: ‘Met het voorstel van de nieuwe Europese ai-verordening wordt het nog belangrijker om ai te ontwikkelen dat niet alleen accuraat en effectief is, maar ook fair en onbevooroordeeld ten opzichte van minderheidsgroepen. Bewustwording kan bedrijven helpen de kans op discriminerende ai-modellen te minimaliseren.’
Zo kunnen bedrijven een aantal stappen zetten om de uitkomst van ai-projecten op een meer ethische manier te controleren. Mertens helpt bedrijven met welke stappen ze moeten nemen en hoe ze betrouwbare en onbevooroordeelde conclusies kunnen halen uit algoritmes en ai.
Hoe zou het anders of beter kunnen?
Van Vlasselaer ‘De burger heeft het meest aan een op maat gesneden toelichting bij een bepaalde beoordeling: hoe is deze beslissing in mijn specifieke situatie tot stand gekomen, en wat is de rol van algoritmes hierin? Dat is een andere insteek dan ‘dit zijn de algoritmes, ga maar zoeken.’
Gespecialiseerde instanties of organisaties zouden volgens Van Vlasselaer een rol moeten spelen bij de controle van algoritmes, bijvoorbeeld op basis van steekproeven of periodieke audits. Daarnaast zouden certificeringen een rol kunnen spelen; het specifieke algoritme zou dan écht doorgelicht en gecontroleerd kunnen worden door een onafhankelijke instantie.
‘En natuurlijk zetten wij ons vanuit ons vakgebied ook in om het gebruik van algoritmes te begeleiden en bedrijven te helpen om de kans op discriminerende ai-modellen te minimaliseren. Zo helpen we bedrijven met welke stappen ze moeten nemen om betrouwbare en onbevooroordeelde conclusies te kunnen trekken uit algoritmes en ai.’
