Ai-governance, -assurance en -audit (en verschillen)

Het concept van ai-governance duikt in toenemende mate op bij bedrijven die proactief werken aan verantwoordelijke, veilige en betrouwbare ai. Sinds kort bestaat er ook zoiets als ai-assurance en ai-audits. De vraag is of deze ontwikkelingen niet juist extra complexiteit en daardoor onzekerheid in de hand werken. Wat zijn de verschillen?

Een ai-governance-kader dwingt organisatorische prioriteiten af door middel van gestandaardiseerde regels, processen en vereisten die vorm geven aan hoe ai wordt ontworpen, ontwikkeld en ingezet. Deze organisatorische prioriteiten worden bepaald door verschillende factoren. Bijvoorbeeld door intern beleid en externe regelgeving of de implementatie van ai die moet voldoen aan vastgestelde drempels voor vooringenomenheid, eerlijkheid of fout-ratio’s.

Gestandaardiseerde regels, processen en vereisten betekenen dat het voldoen aan prioriteiten niet wordt overgelaten aan toeval. In plaats daarvan worden praktijken geïdentificeerd en geïmplementeerd. Voer de overeengekomen test uit vóór de implementatie en documenteer hem. Wordt er overwogen om een model te implementeren dat de grenzen verlegt van de prioriteiten rond vooringenomenheid, eerlijkheid of drempelwaarden voor foutenpercentages omdat de bedrijfswaarde veelbelovend is? Dan moet dit worden voorgelegd aan een intern comité. 

Ten slotte is het belangrijk om zowel de ontwerp-, ontwikkelings- en implementatiefase binnen de scope te hebben. Op deze manier zorg je ervoor dat prioriteiten, regels, processen en vereisten aanwezig zijn bij een use -ase vanaf de conceptfase tot en met de post-implementatie. Dit schept intern vertrouwen dat de ingezette modellen hun beoogde doelstellingen zullen blijven halen. Mocht dit niet het geval zijn, dan zullen tegenvallende prestaties vroeg of laat worden vastgesteld en worden gecorrigeerd of, als dat niet mogelijk is, kan het model buiten gebruik worden gezet.

Ai-assurance

Omdat vertrouwen een breed begrip is en wijdverspreid aanwezig is binnen ai-projecten, gaat ai-assurance na hoe dit proactief is te verstrekken. Dit in tegenstelling tot de dwingende of straffende middelen waarop regelgeving zich berust. Er is een lange lijst van mechanismen die worden gezien als ’technieken om ai-systemen te verzekeren’ en derden (‘assurance-providers’) worden gezien als belangrijke partners om dit te bewerkstelligen. 

Maar ai, en in het bijzonder op machine learning gebaseerde modellen, zijn aan verandering onderhevig. Ai-assurance levert echter vaak een point-in-time-beeld op, zonder garantie dat de situatie (en dus ook de zekerheid) altijd zo blijft. Als assurance-praktijken worden genormaliseerd en gereguleerd, dan is er ook informatie over modellen en use-cases door de tijd heen nodig. Ai-governance faciliteert dit. 

Een voorwaarde voor succesvolle assurance-activiteiten is dat de juiste informatie intern beschikbaar is. Dergelijke informatie komt bijvoorbeeld vanuit business- en ops-teams, in de vorm van spreadsheets, e-mails en notulen. Wanneer een organisatie sterke governance-praktijken hanteert, kan dergelijke informatie in een gecentraliseerde opslagplaats worden bewaard. Op deze manier is alle belangrijke en relevante informatie beschikbaar. 

Ai-audit

Een van mijn favoriete citaten over ai-audits komt van het Engelse Digital Regulator Cooperation Forum (DRCF). In een recente paper over het ai-auditlandschap noemden de geraadpleegde belanghebbenden de ai-auditindustrie een ‘grotendeels ongereguleerde markt voor auditing (…) met het risico een Wilde Westen te worden waar nieuwkomers de markt voor algoritme-auditing kunnen betreden zonder enige garantie van kwaliteit.’

Het Wilde Westen was wetteloos en beheerst door angst, kracht en geweld. Succes in deze contreien hing af van intriges, manipulaties, en toegang tot wapens (de technologie van die tijd). Deze eigenschappen zijn niet iets wat men typisch associeert met de rol van audits: een klinisch proces dat feiten zoekt, verteert en reproduceert om nuchtere conclusies te trekken over de toestand van een zaak.

In een wereld waar de druk toeneemt op organisaties om klaar te zijn voor ai-regulering en om ai op een verantwoorde manier aan te schaffen, te ontwikkelen en te gebruiken, lijkt het middel om dit te bereiken te suggereren dat we op onze hoede moeten zijn. Dit is niet geruststellend, en wanneer we hierover nadenken in de context van ai-governance, zoals hierboven gedefinieerd, en ai-assurance, laat het een heleboel vragen onbeantwoord. Hieronder volgen er een paar.

De relatie

Organisaties moeten worden verzekerd dat de risico’s rondom ai op veel verschillende manieren worden aangepakt, en dat dit ongetwijfeld positieve gevolgen zal hebben op de gezondheid van het bedrijf en de acceptatie van klanten of eindgebruikers van diensten die ai omvatten. 

De grote ‘echter’ hier is dat de middelen om vertrouwen in ai te creëren niet moeten worden gezien als pleisters, maar als een integraal onderdeel van het ai-proces: er is informatie nodig voordat het kan worden ondervraagd, verteerd en opnieuw gepresenteerd. De startvraag moet daarom niet zijn: kan ik ai-assurance of – audits gebruiken om vertrouwen op te bouwen of om iets te bewijzen over hoe mijn bedrijf ai ontwikkelt, aanschaft en gebruikt? In plaats daarvan moeten de startvragen zijn: 

• Wat zijn de prioriteiten van de organisatie? 

• Wat zijn de risico’s?

• Wat zijn volgens ons de juiste operationele procedures om consequent toe te passen?

• Wat is de juiste manier om informatie te documenteren over hoe we aan onze prioriteiten voldoen en onze risico’s aanpakken?

• En hoe kunnen we hier in de toekomst gebruik van maken wanneer we aan onszelf, onze klanten en potentiële regelgevers of certificeringsinstanties moeten bewijzen dat we hebben gedaan wat we hebben gezegd?