De behoefte aan meer duidelijkheid over het toezicht op de inzet van algoritmes en kunstmatige intelligentie (ai) groeit. De vraag is wanneer en in welke mate deze controle gaat plaatsvinden. Momenteel is niet helder waar bedrijven en instellingen op kunnen rekenen. Verschillende Nederlandse organisaties claimen een rol als toezichthouder, elk met een eigen invalshoek. Te veel stapeling kan echter funest zijn. Zoveel kwam naar voren tijdens een door KPMG geïnitieerde webinar over ai en algoritmen.
KPMG acht het niet wenselijk dat iedere toezichthouder straks op zijn eigen manier invulling gaat geven. Frank van Praat, hoofd Trusted Analytics en senior consultant Mourad Fakirou (beiden KPMG), roepen op tot een duidelijke en voorspelbare aanpak. Ze laten in het midden of er een nieuwe centrale toezichthouder moet komen dan wel dat meerdere bestaande instanties deze rol decentraal moeten gaan vervullen. Bestaand of nieuw, centraal dan wel decentraal: alles heeft zijn voor- en nadelen.
Groot is het aantal instanties die op dit gebied voor zich zelf een rol weggelegd zien. Te denken valt aan de Autoriteit Persoonsgegevens (AP), Algemene Rekenkamer, het Agentschap Telecom, de Nederlandse Zorgautoriteit, Autoriteit Financiële Markten (AFM), Autoriteit Consument & Markt (ACM), het college voor de rechten van de mens en de Nationale Ombudsman.
Van Praat: ‘Probleem is dat je op heel verschillende manier naar algoritmes kunt kijken. Daar komt bij dat een groot aantal van de huidige organisaties op dit gebied niet voldoende kennis en middelen hebben om hun taken naar behoren te vervullen.’ KPMG ziet ook situaties ontstaan waarbij bijvoorbeeld banken bij hun hypotheekverstrekking te maken krijgen met meerdere toezichthouders. Van Praat: ‘De vraag is hoe dat in de praktijk uitpakt.’
Rode draad
KPMG ziet alle redenen om het toezicht beter te organiseren. Voorkomen moet worden dat iedereen wat over algoritmes roept zonder dat er een rode draad valt te bespeuren. Niet alleen het bedrijfsleven maar vooral ook de overheid heeft daar behoefte aan. Ook de vele incidenten rond toezicht hebben de noodzaak daartoe aangetoond. Denk bijvoorbeeld aan het stopzetten van het computersysteem Syri na een gerechtelijke uitspraak.
Bovendien zijn veel organisaties grondig aan het experimenteren. Ze kijken hoe ze met algoritmen en ai hun processen kunnen verbeteren. ‘Onzekerheid over wat wel en wat niet mag houdt de inzet hiervan op grotere schaal tegen. Een impactvolle uitrol blijft dan uit’, aldus Van Praat. Hij ziet deze terughoudendheid niet alleen bij de geavanceerde zelflerende ai maar ook bij de minder complexe ‘rule based’ systemen.
Containerbegrip
Overigens begint ook in politiek Den Haag het besef te groeien dat het toezicht beter moet worden geregeld. VVD, D66, ChristenUnie, Partij voor de Dieren en SGP zeggen hier iets over in hun verkiezingsprogramma’s. De VVD wil rapportage in de jaarverslagen. Dit zorgt ervoor dat organisaties zelf hun verantwoordelijkheid nemen. Opvallend is dat juist de linkse partijen geen aandacht voor het toezichtsvraagstuk hebben. Overigens bestaat er voor het toezicht al wel een wettelijke basis, zo blijkt uit een eerdere studie van het juridisch adviesbureau Hooghiemstra en partners.
Volgens Fakirou zijn algoritmes een containerbegrip. ‘Ten onrechte is de perceptie van algoritmes momenteel nogal negatief. Vaak wordt gesproken over organisaties die iets verkeerds hebben gedaan. Maar het draait in wezen om geautomatiseerde besluitvorming en impact. De toezichtvraag ligt niet op organisatie-, maar op algoritme-niveau. De impact van het algoritme is wat ertoe doet. Uiteraard blijven organisaties wel zelf verantwoordelijk voor de juiste en verantwoorde inzet van algoritmes.’
Schijnoplossing
Bij de toezichtvraag moeten drie elementen centraal staan die de impact van zo’n toepassing beïnvloeden. Als eerste wordt gekeken naar de mate van autonomie. Volledig autonoom zijn besluitvormingsprocessen die zijn gebaseerd op de automatische verwerking van data, zonder dat er sprake is van een effectieve ‘human in de loop’ die de beslissingen neemt.
Maar ook als er iemand tussen zit, kan een algoritme verkeerd uitwerken. Als die persoon niet de juiste middelen heeft of nalaat de juiste dingen te doen, bijvoorbeeld door gebrek aan tijd, kan het toch misgaan. Dan is sprake van een soort schijnoplossing.
Voorbeeld is het algoritme dat ING toepaste voor het monitoren van bepaalde financiële transacties. De drempel werd verlaagd om te voorkomen dat de medewerkers van de afdeling compliance overladen zouden worden met werk. De tijd (en de menskracht) ontbrak daarvoor. Volgens KPMG had men het omgekeerde moeten doen, namelijk meer mensen inzetten om de uitkomsten van het ai-systeem te checken. Nu gebeurde dat niet met als gevolg dat veel potentieel frauduleuze transacties er door heen glipten.
Frank van Praat: ‘De medewerkers moeten in staat worden gesteld om alle uitkomsten zorgvuldig te kunnen beoordelen. Anders vormt menselijke tussenkomst in de praktijk slechts een schijnoplossing. Daarnaast verschuilen mensen zich in dit soort situaties qua besluitvorming al gauw achter de computer. Ze wentelen hun verantwoordelijkheid af met alle gevolgen van dien.’
Uitlegbaarheid
De tweede dimensie die van belang is, betreft de complexiteit. Die is hoog bij geavanceerde algoritmes gebaseerd op een vorm van kunstmatige intelligentie, of bij een complexe samenhang met andere algoritmes. De derde as is de mate waarin de interactie met het algoritme invloed heeft op de rechten en plichten van een individu, groep of organisatie. Groot is de invloed als de uitkomsten van het algoritme leiden tot bijvoorbeeld het intrekken van een toeslag. Ook als de kans bestaat dat mensen zich gediscrimineerd voelen, is de invloed groot.
Daarnaast kent de inzet van algoritmes en ai een aantal bijzonderheden die meespelen in het toezicht. Belangrijk kan de uitlegbaarheid zijn. De persoon in kwestie moet weten hoe een bepaalde beslissing tot stand is gekomen. Want anders kan je zo’n besluit niet goed aanvechten. De AVG sluit daarom eigenlijk deep learning uit voor besluitvorming die directe impact heeft op burgers. Behalve die individuele uitlegbaarheid moeten organisaties ook in bredere zin duidelijk maken hoe ze te werk gaan. Ze moeten kunnen aangeven welke algoritmes bij een bepaalde dienstverlening zijn gebruikt. Van Praat constateert dat veel organisaties momenteel zeer terughoudend zijn met toepassing van deep learning bij grootschalige besluitvorming, met name vanwege een gespannen voet met de privacywetgeving.
Dossierbehandelaar
Ook ethiek en compliance zijn belangrijke thema’s. Wat per definitie is toegestaan bij de wet hoeft niet per se ethisch te zijn. Fakirou onderstreept verder de noodzaak kennis goed te borgen in de teams die aan ai-projecten werken. De developer die een algoritme maakt, heeft weer een andere ‘bias’ dan een dossierbehandelaar. Gewerkt wordt in multidisciplinaire teams.
Van Praat en Fakirou signaleren ook dat beroepsdevaluatie op de loer ligt. Data science zit tegenwoordig bij allerlei opleidingen van nogal verschillend niveau. ‘Iedereen noemt zich data scientist.’ Het gevaar doet zich voor dat mensen zonder enige kennis van statistiek kant en klare bouwstenen gaan gebruiken voor machine learning. Onder meer Microsoft biedt zulke front end applicaties aan. Als mensen zonder de juiste basiskennis machine learning gaan toepassen en complexe analyses gaan maken, kan het snel misgaan. Fakirou spreekt van shadow analytics. Dit kan tot hele verkeerde besluitvorming leiden.
Van Praat: ‘Zoals wel vaker bij beroepen is het beroep data scientist niet geformaliseerd. Waar een advocaat klagers en beklaagden begeleidt, een accountant financiën controleert en een burgemeester de voorzitter is van de gemeenteraad, is dat bij data scientists minder evident. Dat begint bij het type opleiding. Een data scientist kan je dan ook op veel verschillende manieren worden.’ Zo zijn er data scientists zonder relevante opleiding die er zijn ingegroeid, zijn er data scientists met echte een beta-achtergrond (wiskunde, statistiek, econometrie, natuurkunde) en zijn er data scientists die een specifieke data science opleiding hebben gevolgd. Iedereen kán en mag zichzelf data scientist noemen.’
Je ziet ook dat data scientists in de praktijk samenwerken met anderen, al worden ze vaak over één kam geschoren. Vaak is er sprake van een onderscheid tussen data engineers, machine Learning engineers, en data scientists maar in de praktijk worden ze allemaal hetzelfde genoemd. Ook zie je dat een vrij eenvoudige query ontwikkelaar zich steeds vaker data scientist noemt, terwijl deze in de praktijk eerder een data analist is.
