Het kabinet houdt een noodplan achter de hand mocht het onverhoopt misgaan met algoritmes die discriminerend werken. Een eerste versie van een discriminatieprotocol is gemaakt. Dat meldt staatssecretaris van Koninkrijksrelaties en Digitalisering Zsolt Szabó in antwoord op vragen van Kamerlid Ergin (Denk). De nieuwe prescriptie is opgenomen in het algoritme-kader en bevat lessen uit de toeslagenaffaire en de problemen bij DUO.
Het kabinet investeert in vroegtijdige toetsing op discriminatie. Maar mocht het ondanks voorzorgsmaatregelen fout lopen, is het belangrijk om een werkwijze te hebben om de situatie te herstellen.
Het discriminatieprotocol is een handvat dat overheidsorganisaties kunnen gebruiken om hun eigen werkwijze in te richten. Een onderdeel van het protocol is om een noodplan achter de hand te hebben om een algoritme te kunnen stoppen. Ook richt het protocol zich op het herstellen van de schade. Onderdeel is het informeren van betrokkenen en zorg dragen voor passende herstelprocedures.
Uit onderzoek van de Algemene Rekenkamer bleek onlangs dat bij meer dan de helft van de overheidssystemen die gebruik maken van kunstmatige intelligentie geen gedegen risicoanalyse wordt uitgevoerd. Het is straks verplicht om voor hoog-risico-ai-systemen de risico’s af te wegen onder de ai-verordening. Dit zal bijvoorbeeld moeten gebeuren bij de inzet van ai-toepassingen, zoals robothonden voor celinspecties bij gevangenissen. De Dienst Justitiële Inrichtingen (DJI) houdt daarbij rekening met naar de privacy van gedetineerden. Deze pilot duurt waarschijnlijk nog twee jaar.
