Computers zijn abstracte apparaten, hebben geen mening en geven resultaten waarin geen vooroordelen liggen besloten. Daar denkt Sennay Ghebreab, universitair hoofddocent Sociaal-Intelligente AI aan de Universiteit van Amsterdam, anders over.
Met de acceptatie van ai in de gangbare informatiesystemen zitten steeds vaker vooroordelen ingebakken. Soms bewust, soms door onwetendheid bij de ontwikkelaars. Sennay Ghebreab doet onderzoek naar de voorspel- en beslisregels van algoritmen en ziet mogelijkheden om ai-technologie in de basis neutraal te maken. Pas dan zijn volgens hem slimme toepassingen te ontwikkelen die gelijke kansen vergroten op het gebied van onderwijs, welzijn, milieu, mobiliteit en gezondheid.
Naast zijn werk aan de UvA besteedt Ghebreab sinds december 2020 ook tijd aan het leidinggeven aan het Civic AI Lab. Dit onderzoeksinstituut, opgezet door de UvA en de gemeente Amsterdam, legt zich toe op het maken van ai-modellen met specifieke aandacht voor een niet-discriminerende en gelijke behandeling. Uit studies blijkt dat de focus nu te veel is gericht op de technische invulling van ai, waarbij weinig aandacht voor fundamentele mensenrechten. De uitkomsten van ai-systemen vallen soms negatief uit voor minderheden in de samenleving, zeker als het gaat om systemen van gemeenten en andere overheden.
Slimme reclameborden
De aandacht voor ai-technologie is volgens de directeur van Civic AI Lab deels economisch gedreven. Daar is niks mis mee, ware het niet dat bepaalde toepassingen mensen of bevolkingsgroepen discrimineren. Als voorbeeld noemt Ghebreab reclameborden met slimme camera’s op straat of in winkels. Die systemen herkennen vaak niet goed burgers met een donkere huidskleur. Ook worden in werving- en selectieprocedures ai-instrumenten ingezet die vrouwen benadelen tijdens het sollicitatieproces. En inmiddels weten we dat er overheidsinstanties zijn die via algoritmen toezicht houden op armlastige burgers, woonachtig in achterstandswijken. Misbruik van de technologie maakt de inschatting lastiger: is ai niet eerder een vloek dan een zege?
AI scoort positief op VN-doelstellingen
Om daar een oordeel over te vellen, hanteert de Amsterdamse neuro-informaticus een internationale studie van Ricardo Vineusa. Samen met collega’s onderzocht hij in welke mate ai een positieve en negatieve impact heeft op de zeventien door de VN geformuleerde ’Sustainable Development Goals’, plus 160 subdoelen, die de wereld in 2030 een beter aanzien moeten geven. Het gaat om het uitbannen van extreme armoede, het realiseren van een betere gezondheid en beter onderwijs, het opwekken van duurzame energie, het aanpakken van de problemen rond klimaatverandering en het verminderen van de ongelijkheid. Uit de studie blijkt dat ai voor meer dan tachtig procent een positieve impact heeft op de VN-doelen. Dus gewoon doorgaan, zou je zeggen. Maar Ghebreab wijst naar de twee doelstellingen waar ai negatief uitpakt: de kwaliteit van onderwijs en de vermindering van ongelijkheid. Civic AI Lab gaat juist op die aspecten nader onderzoek doen.
Het instituut is gestart met projecten op de domeinen: onderwijs; omgeving; mobiliteit; gezondheid en welzijn. Alle vijf hebben als doel inzicht te creëren in kansenongelijkheid in de (digitale) stad en het handelingsperspectief om kansengelijkheid te vergroten met behulp van nieuwe ai-technologieën. Per project doet een promovendus vier jaar lang aan onderzoek en ai-technologie ontwikkeling onder begeleiding van een interdisciplinair team van (ai) wetenschappers. De gemeente Amsterdam zorgt voor de aanlevering van use-cases en data. Als voorbeeld noemt Ghebreab de samenwerking met de dienst onderwijs van de gemeente met als doel eerlijker modellen te maken voor de verdeling van financiën over leerlingen en scholen. Daarmee krijgen Amsterdamse leerlingen een zo’n eerlijk mogelijke kans op goed onderwijs en een juist aanbod
Award
De jury van de Computable Awards 2021 nomineerde Dr. Ghebreab voor zijn inspanningen in de categorie technologie-leiderschap (CxO).
