De gemeente Amsterdam beschikt sinds 10 december 2020 over een Civic AI Lab. Dat is een groep onderzoekers die artificiële intelligentie (ai)-technologieën ontwikkelt voor bijvoorbeeld onderwijs, welzijn en de mobiliteit van inwoners. Bij die ontwikkeling van ai-modellen is specifiek aandacht voor non-discriminatie en gelijke behandeling. Wetenschappelijk directeur en initiatiefnemer Sennay Ghebreab (47) licht toe waarom dat noodzakelijk is.
‘Gemeenten en overheden nemen steeds vaker beslissingen over burgers op basis van ai-systemen. De uitkomsten van die systemen kunnen grote gevolgen hebben. Kijk maar naar de problemen met de toeslagenaffaire bij de Belastingdienst’, schetst Sennay Ghebreab. De neuro-informaticus en ai-specialist is wetenschappelijk directeur en initiatiefnemer van het Civic AI lab. Volgens De Volkskrant behoort hij tot de tweehonderd invloedrijkste Nederlanders van 2020.
Ghebreab, die in de ranglijst op plek 195 staat, wordt geroemd om zijn rol als neuro-informaticus, zijn hoogleraarschap aan de Universiteit van Amsterdam (UvA) en zijn specialisme in ai dat volgens de krant ‘een hoogst actueel werkterrein’ is. Het profiel eindigt met de zin: ‘Krijgt drie miljoen euro van de overheid om racisme te bestrijden met ai.’
De Eritreeër van geboorte reageert wat onderkoelt op de verkiezing tot één van de tweehonderd invloedrijkste Nederlanders: ‘Tsja.., ik heb het ook gelezen, je wordt vooraf niet geïnformeerd dus het was wel een verrassing. Ik ben vereerd, maar ben vooral blij met de aandacht voor mijn vakgebied en mijn lab.’ De omschrijving ‘racisme bestrijden met ai’ vindt hij als wetenschapper wat kort door de bocht. Er volgt een uitgebreide uitleg over de doelstellingen van het lab. Zo wil hij de brug slaan tussen fundamenteel en toegepast onderzoek en gebruikt hij liever het woord ‘inclusie’ omdat dat een positievere klank heeft dan het woord ‘racisme’.
‘De nadruk ligt te veel op techniek’
In de huidige focus op ai ligt de nadruk vaak op de technische beloften van ai, stelt Ghebreab. Betrokken programmeurs en ict’ers zijn te weinig gefocust zijn op fundamentele mensenrechten en de sociale gevolgen van de uitkomsten van het systeem. Ook de herleidbaarheid van uitkomsten en bescherming van minderheden komen volgens de ai-specialist vaak op een tweede plaats.
Hij noemt een aantal voorbeelden. ‘Denk aan de toeslagenaffaire bij de Belastingdienst, waarbij duizenden ouders met migratieachtergrond onterecht zijn benadeeld. Het gaat om etnisch profileren via algoritmen, constateerde de Autoriteit Persoonsgegevens eerder dit jaar.’ Ook noemt hij een recent voorbeeld in het Verenigd Koningkrijk, waarbij een algoritme is gebruikt om eindexamenuitslagen te voorspellen voor leerlingen die vanwege corona geen examen hebben kunnen doen. Ghebreab: ‘Men dacht dat dit een snelle en kostenbesparende manier zou zijn om eindexamenproblemen op te lossen. Het algoritme bleek echter deels gebaseerd op locatie, in plaats van op individuele prestaties, waardoor leerlingen uit sociaal- economische achterstandswijken werden benadeeld.’
Als derde voorbeeld noemt hij een algoritme dat de grootste gezondheidsinstellingen en zorgverzekeraars in de VS toepassen op tweehonderd miljoen Amerikaans burgers. ‘Dat algoritme geeft zwarte personen die net zo ziek zijn als witte personen een lager gezondheidsrisico, waardoor zwarte personen minder toegang krijgen tot gezondheidszorg.’
VU en UvA
In de huidige opkomst van ai-technologie is er vaak erg veel aandacht voor algoritmen en minder voor de gevolgen voor mensen. Het Civic AI Lab, een samenwerking tussen de gemeente Amsterdam, de Vrije Universiteit Amsterdam (VU), en de Universiteit van Amsterdam (UvA) moet daar verandering in brengen.
Ghebreab wilde aanvankelijk eind 2019 starten met het lab, maar kreeg de benodigde financiering niet rond. Eén van de geldschieters trok zich op het laatste moment terug waardoor hij niet aan de voorwaarde kon voldoen om met vijf promovendi te starten. Die stelregel komt van ICAI, een ai-netwerkorganisatie in Nederland. Om impact te hebben is het minimaal aantal promovendi gesteld op vijf. Het ministerie van Binnenlandse Zaken en Koninkrijksrelaties besluit om het lab deels te financieren en dan wordt op de wereldwijde dag van de mensenrechten (10 december 2020) met enige vertraging alsnog het Civic AI lab officieel geopend tijdens een online sessie.
Volgens Ghebreab is de verzamelde drie miljoen euro voldoende om de komende vier jaar met vijf promovendi onderzoek te doen. In de eerste serie onderzoeken van het lab starten de vijf onderzoekers aan studies naar de inzet van ai in de gemeente Amsterdam. Ze bestuderen toepassingen voor onderwijs, welzijn, milieu, mobiliteit en gezondheid. Het lab wordt ook ingericht als informatiepunt voor inwoners en bedrijven die vragen hebben over ai-toepassingen en de gevolgen ervan voor bijvoorbeeld ethiek, gelijkwaardigheid en mogelijke discriminatie van minderheden.
Iedereen doet iets met ai
Ghebreab: ‘Ai-toepassingen worden vandaag de dag ook buiten techbedrijven en universiteiten ontwikkeld en ingezet. Tegenwoordig is bijna iedereen met ai bezig. Dat gaat niet altijd even goed. Daarom is het belangrijk om open te zijn over toepassingen en gevolgen en om de samenwerking op te zoeken. Alleen zo kunnen wij ai incrementeel verbeteren en inclusief maken.’
Het Civic AI Lab maakt onderdeel uit van het Innovation Center for Artificial Intelligence (ICAI) Dat is een netwerkorganisatie met op dit moment zeventien labs verdeeld over zeven steden in Nederland. De labs onderzoeken publiek-private en publiek-publieke samenwerkingen rondom verschillende ai-toepassingen.
Amsterdam is op dit moment een belangrijke plek voor ai-ontwikkelingen en toepassingen die om een grote focus op ethiek en gelijkheid vragen. Het lab is ook aangesloten bij AI Technology for people. Dat onlangs een special gepubliceerd heeft in het magazine New Scientist. Daarin wordt uitgebreid aandacht besteed aan onderzoek, onderwijs en innovatie op het gebied van ai binnen de regio Amsterdam.
Het lab is nu nog gevestigd in het hoofdgebouw van het Science Park in Amsterdam maar verhuist in het voorjaar van 2022 naar een nieuw ai-centrum dat op die campus gebouwd wordt.
De vijf thema’s van het Civic AI Lab
Civic AI Lab onderzoekt en ontwikkelt maatschappelijke ai-technologieën die rechtvaardigheid, gelijkwaardigheid en inclusie als kernwaarden hebben en waarvan de uitkomst van algoritmen herleidbaar moet zijn. Ook wel ‘responsible en explainable ai’ genoemd.
Dat gebeurt op de gebieden:
Zorg: ontwikkeling van slimme algoritmen die datastromen rondom geboorte- en jeugdgezondheidszorg in Amsterdam en omgeving integreren en voorspellende factoren extraheren, met naleving van fundamentele mensenrechten zoals non-discriminatie [link], gelijkheid en privacy.
Op het vlak van onderwijs worden algoritmen onderzocht die moeten zorgen voor meer kansengelijkheid voor opleiding en scholing van burgers.
Op het gebied van welzijn wordt ai-technologie ontwikkeld voor het inzichtelijk maken van ongelijkheid in overgewicht en obesitas en de invloed van bijvoorbeeld sociale en geografische omgevingsfactoren, kennisoverdracht en mogelijkheden voor sport en beweging.
In het project omgeving worden algoritmen ontwikkeld die op basis van beeld-data van straten en buurten een nieuwe kijk geven op ongelijkheid in de stad in termen van gezondheid, opleidingsniveau, criminaliteit, inkomen en andere factoren.
Mobiliteit. Aan de hand van gegevens over het openbaar vervoer in de stad, vervoersbewegingen en informatie over de sociale achtergrond van burgers moet een beeld ontstaan van mobiliteitsarmoede bij bepaalde groepen in bepaalde delen van de stad.
