De EU gaat ai strenger reguleren. Er komt een lijst met verboden toepassingen en veel nu al ingezette ai-oplossingen krijgen een hoog-risicoclassificering. Omdat producten op tal van punten toetsing nodig hebben, zijn de gevolgen voor ontwikkelaars en gebruikers van ai-toepassingen groot.
Dat blijkt uit de concepttekst van regelgeving die 21 april door de Europese Commissie wordt behandeld. Het gaat om overkoepelende wetgeving over ai en machine learning.
De kern van die nieuwe ai-verordening is dat veel ai-systemen een hoog-risicoclassificering krijgen. Ze moeten daarmee voldoen aan specifieke EU-regels over productveiligheid. Het gaat bijvoorbeeld over ai-toepassingen voor luchtvaartapparatuur, speelgoed, radioapparatuur en medische apparatuur. Ook worden specifieke toepassingen van ai als een hoog risico beschouwd. Bijvoorbeeld biometrie, identificatie, kredietscore, hr-analyse en risicobeoordeling.
Voordat aanbieders van ai-toepassingen met een hoog-risicoprofiel een product op de markt brengen, moeten ze een conformiteitsbeoordeling doen. Daarin worden eisen gesteld aan trainingsdata, documentatie en administratie. Ook zaken als menselijk toezicht, robuustheid, nauwkeurigheid, veiligheid en transparantie naar gebruikers worden vastgelegd. De Commissie kan de lijst van risicovolle systemen gaandeweg bijwerken. Bijvoorbeeld bij letsel, nadelige gevolgen voor de samenleving of als deze in strijd zijn met mensenrechten. Uiteindelijk moet er een database ontstaan waarin ‘goedgekeurde’ ai-toepassingen staan.
AI-wetgeving
Er bestaat al EU-wetgeving rondom geautomatiseerde besluitvorming, bijvoorbeeld in de AVG. Ook zijn er sectorspecifieke regels rondom automatisering en ai. Het is voor het eerst dat gepoogd wordt specifieke wetgeving op te stellen voor ai. Het doel is de burger beter te beschermen tegen mogelijke negatieve gevolgen van ai.
Verboden systemen
De ai-verordening betekent een flinke administratieve druk voor partijen die met ai bezig zijn, verwacht Bart Schermer, expert op het gebied van privacy- en ict-recht voor Considerati. Volgens de oprichter van dat bureau voor juridisch advies over ict en digitalisering kunnen ai-ontwikkelaars hun borst natmaken en zal de nieuwe regelgeving fors meer aandacht vragen van juristen. Datawetenschappers zullen vaker ruggenspraak moeten plegen over ai-projecten.
Ook komt er een lijst met verboden ai-toepassingen. Het gaat bijvoorbeeld om ai-systemen die in strijd zijn met privacy- en mensenrechten. Ook systemen die voorspellingen doen van een persoon of zijn omstandigheden voor willekeurig toezicht of sociale scores worden verboden. Alleen voor activiteiten die wettelijk zijn toegestaan of de openbare veiligheid waarborgen, worden uitzonderingen gemaakt. Overheden en opsporingsdiensten moeten dan ook uitgebreid toelichten waarom ze ai inzetten.
Losse eindjes
Volgens Schermer biedt de conceptregelgeving een aardig inzicht in wat er op EU-vlak te gebeuren staat rondom ai-regelgeving, maar kent het document ook losse eindjes. Zo is het de vraag hoe het toezicht in de praktijk werkt als de EU van de ai-oplossingen binnen het hoog-risicoprofiel moet gaan controleren of ze wel beschikken over een gedegen beoordeling.
Ook zijn er bij hem vragen over de strikte scheiding tussen de begrippen ‘ontwikkelaar’ en ‘gebruiker’ van ai-toepassingen, zoals vermeld in de concepttekst. Bij veel ai-projecten is de ontwikkelaar namelijk dezelfde partij als de gebruiker.
Boetes
De verordening verplicht EU-lidstaten om zelf regels over sancties bij ai-misbruik op te stellen. In het concept van de verordening worden boetes tot twintig miljoen euro of vier procent van de totale wereldwijde jaaromzet genoemd. Bijvoorbeeld voor overtredingen van verboden ai-praktijken, het verstrekken van onjuiste informatie aan aangemelde instanties en het niet naleven van bevoegde autoriteiten.
De vraag is of toezichthouders kunnen handhaven. In Nederland heeft de Autoriteit Persoonsgegevens niet de capaciteit om de AVG te handhaven. Laat staan als daar straks ook ai-claims bijkomen.
