‘Maatschappelijke ai vraagt andere kijk op algoritmen’

Wetenschapper Sennay Ghebreab wil een Civic Ai Lab oprichten. Die onderzoeksgroep is een antwoord op bedrijven en organisaties die met ai-toepassingen en algoritmes vaak onvoldoende rekening houden met fundamentele burgerrechten. Ook ligt discriminatie op de loer, zo stelt hij. Een gesprek over de noodzaak van ai die in dienst staat van mens en maatschappij.

Artificiële intelligence (ai) is enorm in opkomst. Steeds meer systemen en apparaten maken gebruik van algoritmes die min of meer zelfstandig beslissingen nemen. Bedrijven en overheden nemen vaker beslissingen op basis van die rekenmodellen die ook steeds complexer worden. Door de opkomst van iot-apparatuur (internet of things) komen mensen ook vaker in contact met aan internet gekoppelde apparaten die allerlei beslissingen nemen, schetst Sennay Ghebreab, een informaticus van Eritrese komaf, die op zesjarige leeftijd met zijn ouders naar Nederland vluchtte.

Ai is een buzzword. Bijna elk bedrijf en iedere organisatie claimt iets met ai te doen. Welke definitie van ‘ai’ hanteert u?
Ghebreab: ‘Ai houdt zich bezig met het leren van vaardigheden aan computers waarvoor normaal gesproken menselijke intelligentie is vereist, zoals waarnemen, leren, redeneren en interacteren. De kern van ai is een technologie die machine learning heet. Deze technologie gebruikt algoritmes om autonoom, dus zonder begeleiding, patronen te herkennen in inputdata. De computer stelt door middel van algoritmes zelf bepaalde regels op om bijvoorbeeld bepaalde objecten te herkennen in plaatjes. Een voorbeeld van een zeer succesvol en breed gebruikte machine learning-algoritme word ‘deep learning’ genoemd.’

Binnen het wetenschappelijk onderzoek staat ai volop in de belangstelling, vertelt Ghebreab. Hij gaat in op het Innovation Center for Artificial Intelligence (ICAI, zie kader). Ghebreab werkt momenteel aan de oprichting van een nieuw onderzoekslab binnen ICAI, maar gaat eerst in op zijn rol als onderzoeker en docent waarin hij de overeenkomsten tussen beeldherkenning door het menselijk brein en beeldherkenning van machines bestudeerde.

Wat zijn die overeenkomsten?
‘In mijn onderzoek bestudeerde ik de overeenkomsten tussen de manier waarop mensen in hun hersenen beelden verwerken en hoe computer vision werkt. Er zijn veel overeenkomsten. Mensen hebben een beperkte hersencapaciteit. We kunnen niet alles gebruiken en opslaan wat we zien. Daarom gebruiken we bepaalde patronen of voordelen van wat we eerder hebben gezien en labelen we wat we zien aan de hand van vooroordelen. Zo herkennen we een koe heel snel en grof op basis van makkelijk te detecteren kenmerken zoals grasachtige kleuren en structuren: een koe staat immers vaak in de wei, en dat aangeleerde vooroordeel gebruiken we voor herkenning van een koe. Vooroordelen helpen ons vaak onbewust objecten te identificeren of concepten te begrijpen.

Dat doen machines ook. Door te leren van de mensen en de labels over te nemen van de mensen die de data in die systemen invoeren en labelen, ontstaan ook bepaalde aannames. Wat wij in de machine stoppen, komt er ook weer uit. Daar zit de bias (wanneer externe factoren een negatieve invloed hebben op de uitkomsten van een onderzoeksvraag, red.). Nu we ai zo grootschalig inzetten, moeten we dus opletten dat we niet die bias zomaar overnemen. Zeker als die discriminerend is.’

Ghebreab haalt een voorbeeld uit eigen ervaring aan. In 2005 wilde hij met een groep medestudenten ’s avonds de universiteit verlaten. Een draaideur met camera voor beeldherkenning zorgde ervoor dat de deur voor hem niet openging terwijl deze voor zijn blanke collega’s wel draaide. De camera en het achterliggende systeem herkende Ghebreab, die een donkere huid heeft, niet. Ghebreab legt uit dat het systeem waarschijnlijk alleen was gevoed met foto’s van blanke mensen en daardoor niet regeerde op een persoon met een donkere huid. ‘Dat is al bijna vijftien jaar geleden, maar het gaat nog steeds fout. Bijvoorbeeld met algoritmes voor fotoherkenning in smartphones, die donkere mensen aanzien voor gorilla’s, of zelfrijdende auto’s die donkere mensen minder goed herkennen, waardoor donkere mensen grotere risico’s hebben om aangereden te worden.’

Discriminerende ai

Ghebreab vertelt dat zijn verhaal over discriminerende systemen aanvankelijk niet landde bij zijn studenten. ‘Toen ik in 2009 het vak Information Communication Cognition gaf, wilden de studenten nauwelijks aannemen dat machines bevooroordeeld kunnen zijn en kunnen discrimineren. Ze wilden niet inzien dat zij als mensen ook discrimineerden op basis van bepaalde aannames en labels.’

Pas toen hij studenten met machine learning in aanraking bracht en aantoonde dat de machine foute aannames kan doen door data die door mensen verkeerd wordt geïnterpreteerd en gelabeld, viel het kwartje. ‘Als we machines gaan maken zoals mensen, kunnen we de goede dingen overnemen maar ook de slechte. Dat verhaal herhaal ik al vijftien jaar. Inmiddels is het idee dat machines fouten maken doordat mensen ze voeden met discriminerende data geaccepteerd geraakt. Het is de tijd om naast de kansen ook op de gevaren te wijzen.’

Toch heeft Ghebreab vaak moeite met veel doemscenario’s waarin ai als bedreiging voor de mens wordt gezien.

Waar komt dat doemdenken volgens u vandaan?
‘Veel mensen weten niet goed wat ai is en hoe het werkt. Dan is het al snel een bedreiging. Ook voor de relatie tussen mens en machine geldt namelijk ‘onbekend maakt onbemind’. Iedereen moet tot een zeker niveau weten hoe ai werkt. Daar ligt een belangrijke rol voor bedrijven die ai inzetten, maar ook voor wetenschappers en de overheid. Naast mijn colleges op de universiteit, geef ik zelf al tien jaar voorlichting over ai aan basisschoolleerlingen in groepen 7 en 8 en aan leerlingen op middelbare scholen. Jongeren pakken ai snel en goed op. Nu richt ik mij op het overbrengen van kennis over ai aan het grote publiek. Mensen kunnen namelijk niet meer om ai heen. Het is er en het is beter om ermee aan de slag te gaan en te zorgen dat het zich op een goede manier ontwikkelt, dan om te doemdenken.’

Veelgehoorde kritiek op complexe algoritmes is dat niet meer te herleiden is hoe het tot een bepaalde uitkomst is gekomen. Hoe kijk u daar naar?
‘Deep learning, ofwel machine learning op basis van meerdere datalagen en abstracties, hebben een basis in neurale netwerken en die zijn gebaseerd op de mechanismen van onze hersenen. Die gelaagdheid is complexer geworden. Tien jaar geleden bestond een algoritme voor computer vison bijvoorbeeld uit tien lagen. Nu zijn dat er al ruim tweehonderd. Je kunt technisch wel traceren waar een uitkomst vandaan komt, maar het lukt niet altijd om ook te interpreteren waarom iets op een bepaalde manier is gegaan. Ook hier vergelijk ik het met ons menselijke brein. Als we naar onszelf kijken en nagaan waarom we bepaalde beslissingen nemen, dan is dat ook niet altijd helemaal helder te verklaren. Sommige beslissingen worden impulsief of reactief genomen. Daarmee is menselijk gedrag soms ook een soort black box.’

Er zijn steeds meer bedrijven die claimen dat ze ‘explainable ai’ toepassen. Is dat geloofwaardig?
‘Die claim dat ze alles kunnen traceren en uitleggen, geloof ik niet. Ik ben ervan overtuigd dat partijen die algoritmes toepassen niet altijd de uitkomst volledig kunnen uitleggen, verklaren en verantwoorden.’’

Er zijn ook steeds meer partijen die stellen dat ze ethische ai ontwikkelen. Hebben tech-giganten genoeg zelfregulerend vermogen om deze onderwerpen aan te pakken?
‘Fair, explainable en ethical ai. Veel bedrijven zeggen er mee bezig te zijn, maar het risico op lippendienst is reëel. Want uiteindelijk draait het bij de bedrijven om een verdienmodel. Daarin staat de klant centraal staat, niet de burger met rechten als gelijke behandeling. Ik kan mij moeilijk voorstellen dat Google, Facebook en Twitter hun verdienmodel aanpassen om alle burgers en bevolkingsgroepen eerlijker te dienen. Die illusie wordt wel gecreëerd. Ik noem het bewust een illusie omdat zelfs daar waar stappen worden gezet in de richting van eerlijke, transparante en ethische ai, er nog veel fout gaat, bedoeld of onbedoeld. Zo blijken algoritmes die ontwikkeld zijn en toegepast worden om haat zaaiende uitspraken te detecteren, bijvoorbeeld op Facebook en Twitter, zelf ook bepaalde bevolkingsgroepen te benadelen.’

Uitdagingen binnen de overheid

Wie moet er dan op toezien dat die claims kloppen?
‘Ik vind dat typisch iets voor de overheid. Het gaat om maatschappelijk vraagstukken, om civiele burgerrechten waar de overheid een rol in moet spelen. Maar de overheid zit zelf ook met uitdagingen rondom ai. Het mist de technische capaciteiten en personele diversiteit om op een eerlijke en inclusieve manier ai te gebruiken en reguleren. Sterker, het zet mogelijk zelf algoritmes in die discrimineren, dus moeten zelf ook nog een flinke stappen maken.’

Onlangs kwam bijvoorbeeld Rotterdam in het nieuws omdat deze gemeente algoritmes inzet om fraude met uitkeringen en toeslagen op te sporen. Via het SyRI-systeem werden twaalfhonderd adressen aangewezen waarop mogelijk zou worden gefraudeerd. De algoritmes merkten deze adressen als ‘hoog risico’ aan. Volgens FNV, dat acties aankondigde, zou één op de tien adressen in bepaalde wijken waar veel migranten wonen, een huisbezoek van de sociale recherche mogen verwachten.

‘Het Civic Ai Lab ontwikkelt ai-technologie die burgers en gemeenschappen laat participeren op een eerlijke, inclusieve en transparante manier. We kijken naar nieuwe manieren om discriminatie en ongelijkheden te onthullen en minimaliseren, bijvoorbeeld door ai-concepten toe te passen, zoals Differential Fairness, geïnspireerd door de Intersectionality theory (kruispuntdenken, red.) van de zwarte Amerikaanse feministe en hoogleraar Kimberlé Crenshaw. We kijken ook naar nieuwe manieren om kansengelijkheid te vergroten in het onderwijs of op de arbeidsmarkt. Zo kan ai worden gebruikt om nieuwkomers op basis van hun talenten en achtergronden op plekken terecht te laten komen waar zij het best kunnen bijdragen aan de economie.’ Hij legt uit dat het COA asielzoekers nu op basis van beschikbaarheid verdeelt over asielzoekerscentra.

De financiering van dat lab is overigens nog wel een uitdaging. De huidige labs bij het ICAI zijn bijna allemaal opgericht in samenwerking met bedrijven. Die bedrijven zien kansen in ai en zijn bereid daar flink in te investeren. ‘De vraag is welke overheden en maatschappelijke organisaties geld in het lab willen steken. Ik ben in gesprek met potentiële partners zoals overheid, gemeenten en corporate foundations, die het belang van het Civic Ai Lab zien. Zodra het definitief is kan ik pas namen noemen, maar het is tijd dat partijen die dit onderwerp belangrijk vinden ook de daad bij het woord voegen en erin investeren.’

‘Ai for all’

Hoe verwacht u dat ai zich zal ontwikkelen? En waarop moeten ict’ers, die bij die ontwikkelingen betrokken zijn, zich richten?
‘In Amerika, Europa en Azië neemt het aantal ai-onderzoekers, ontwikkelaars en toepassingen snel toe. Ook in Nederland. Ik zie nieuwe, creatieve ai-oplossingen ontstaan voor allerlei maatschappelijke en economische problemen . Het aantal panklare, ofwel ‘off the shelf’, algoritmes zal groeien. Niet alleen maar programmeurs en ict’ers zullen deze algoritmes oppakken, aanpassen en inzetten, maar ook leken en digibeten. Aan de ene kant is dit goed, aan de andere kant brengt het ook risico’s met zich mee van oneigenlijk en oneerlijk gebruik van algoritmes. Een vraag die bijvoorbeeld gesteld moet worden is wat de consequentie voor wie is van een bepaalde methode op een bepaalde dataset. Het kritisch algoritmische denken ontbreekt vaak, en dat is ontzettend nodig in deze globaliserende en digitaliserende samenleving vol met ongefundeerde aannames en stellingnames. Daarom zou je ai altijd moeten ontwikkelen en toepassen in teams van mensen met verschillende expertisen en achtergronden. Zeker als het gaat om zogenoemde ‘ai for all’ of ‘ai for social good’. Dat is niet haalbaar als het niet door ‘all’ wordt ontwikkeld. Mijn mantra is: ‘ai for all cannot be without ai by all’.’

Dit artikel is eerder verschenen in Computable Magazine nummer 5 van  september 2019.