Event | Nextcloud, Berlijn
Bedrijven en overheidsorganisaties hebben grote belangstelling voor het integreren van ai in enterprise-applicaties. Tegelijkertijd groeit de zorg over de transparantie en ethische aspecten van ai-modellen – en daarmee de behoefte aan een classificatiesysteem dat openheid en transparantie van ai-modellen beoordeelt. Met name in de opensource-wereld bestaan hier ideeën over, zoveel bleek tijdens een community-bijeenkomst van Nextcloud, dat een opensource-oplossing levert voor content collaboration.
Dat het integreren van ai in de werkprocessen van een organisatie voordelen kan opleveren, is duidelijk. Meer moeite hebben we met de vraag hoe we dat voor elkaar krijgen. Hierbij spelen tal van technische problemen een rol, maar minstens zo belangrijk is de vraag welk ai-model het beste past bij de organisatie en het werkproces waarin ai opgenomen moet worden. Met name bias laat zich gelden, vertelt Jos Poortvliet, een van de oprichters van Nextcloud onlangs tijdens een community-bijeenkomst van het Duitse opensource-bedrijf in Berlijn.
Een voorbeeld van hoe een ai-model schadelijke bias kan veroorzaken, is Amazon. Het bedrijf ontwikkelde een ai-systeem om sollicitanten te selecteren, maar ontdekte dat het model systematisch witte mannen bevoordeelde. Dit gebeurde omdat het model getraind bleek te zijn op historische gegevens van het bedrijf, waarbinnen vooral witte mannen met succes waren aangenomen. Deze situatie benadrukt de dringende behoefte aan meer transparantie en controle over hoe ai-modellen worden getraind en toegepast.
Classificatie
Om dergelijke situaties te voorkomen, is er een groeiende behoefte aan een rating- of classificatiemodel voor ai-systemen dat aangeeft hoe open en transparant een ai-model is. Transparantie dient inzicht te bieden in hoe een ai-model is opgebouwd, op welke gegevens het is getraind en hoe het presteert ten opzichte van bepaalde ethische en technische standaarden. Het kunnen beoordelen van een ai-model op basis van zijn transparantie is essentieel om bedrijven ai in te laten zetten zonder onbedoeld vooroordelen of ethische problemen te introduceren.
Een probleem is dat veel ai-modellen gesloten omgevingen zijn. Denk aan modellen zoals Openai’s ChatGPT of Google’s Gemini. Hetzelfde geldt voor kleinere maar evenzogoed commerciële modellen die op specifieke markten of kennisdomeinen zijn gericht. Dit soort modellen zijn niet openbaar toegankelijk. Het is voor gebruikers bovendien lastig om vast te stellen hoe ze precies zijn getraind en welke datasets daarbij zijn gebruikt. Dit maakt het moeilijk om te beoordelen of deze modellen vrij zijn van ongewenste invloeden. Opensource-modellen daarentegen bieden meer inzicht, omdat de broncode en soms zelfs de gebruikte trainingsdata openbaar beschikbaar zijn.
Risico’s
Het voorbeeld van Amazon laat zien dat dit soort problemen ook kunnen optreden bij zelfontwikkelde ai-modellen. Wie niet goed kijkt naar de manier waarop het model is opgebouwd en welke trainingsdata is gebruikt, neemt risico’s. Zeker wanneer een organisatie meerdere ai-modellen bouwt, zal dit soort meta-achtige informatie dus goed vastgelegd moeten worden.
Bij het bepalen van de transparantie van een ai-model moeten de volgende drie criteria in overweging worden genomen, laat Poortvliet in Berlijn zien.
- Openheid van de software: is zowel de code voor inferentie als voor training opensource? Dit geeft inzicht in hoe het model werkt en hoe beslissingen worden genomen.
- Beschikbaarheid van het getrainde model: is het model vrij beschikbaar voor selfhosting? Dit maakt dat gebruikers het model zelf kunnen testen en controleren, en in hun eigen omgeving inzetten.
- Beschikbaarheid van de trainingsdata: is de data waarmee het model is getraind vrij beschikbaar en ook beschikbaar voor hergebruik? Dit maakt het mogelijk om te begrijpen op welke manier het model zijn beslissingen maakt en of de data representatief is.
Op basis van deze insteken zijn modellen te beoordelen en in te delen in verschillende transparantieniveaus.
Tools voor ai-transparantie
Er zijn verschillende tools en frameworks in ontwikkeling die zijn ontworpen om de transparantie van ai-systemen te meten en te verbeteren. Voorbeelden hiervan zijn:
- IBM’s Ai Explainability 360 (AiX360): deze toolkit biedt een reeks fairness-metingen voor datasets en modellen, evenals uitleg en algoritmen voor het verminderen van bias.
- Adversarial Robustness Toolbox: dit hulpmiddel beoordeelt en verdedigt machine learning-modellen tegen vijandige aanvallen, zoals evasie, vergiftiging en extractie, en zorgt ervoor dat modellen transparant omgaan met deze bedreigingen.
- Foundation Model Transparency Index: dit raamwerk, ontwikkeld door Stanford University’s Institute for Human-Centered Artificial Intelligence, beoordeelt foundation-modelontwikkelaars op honderd transparantiecriteria, waaronder het gebruik van data, arbeidspraktijken en risico’s.
- Trustible’s Model Transparency Ratings: dit systeem beoordeelt ai-modellen op dertig criteria met betrekking tot transparantie en geeft het een gedetailleerd beeld van de naleving en ethische implicaties van ai-systemen.
Ethical
Poortvliet wijst er in Berlijn ook op dat Nextcloud een classificatiemodel heeft ontwikkeld voor de beoordeling van ai-modellen. Deze aanpak – Ethical Ai Rating geheten – beoordeelt modellen op vier niveaus: rood, oranje, geel en groen. De indeling is gebaseerd op een aantal factoren, namelijk: of de software opensource is, of het getrainde model vrij beschikbaar is voor selfhosting, en of de gebruikte trainingsdata openbaar en herbruikbaar zijn. Is aan al deze criteria voldaan, dan krijgt het ai-model via dit stoplichtmodel een groene beoordeling. Voldoet het model aan geen van deze criteria, dan krijgt het een rode beoordeling. Dit systeem biedt bedrijven een snel inzicht in de ethische implicaties van het gebruik van ai binnen hun systemen.
Voor Nextcloud is dit stoplichtmodel belangrijk, zegt Poortvliet. Het bedrijf biedt software voor content collaboration voor zowel enterprise-organisaties en teams als voor individueel gebruik. De oplossing is volledig opensource en biedt file storage, videoconferencing & chat, groupware en office-functionaliteit. Organisaties kunnen deze programmatuur zelf on-premise hosten of via partnerbedrijven afnemen als een cloudservice. Security en privacybescherming staan hierbij centraal. Het opensource-project kent bovendien een uitgebreide community die zelf extra functionaliteit heeft ontwikkeld in de vorm van apps. Deze zijn beschikbaar via een marktplaats. In deze apps wordt steeds vaker ai toegepast. Ook maakt het bedrijf het zijn gebruikers mogelijk om zelf ai-modellen in Nextcloud op te nemen.
De eigen ai-ratingmethode van Nextcloud is bedoeld om in beide situaties zoveel mogelijk transparantie te bieden. Deze classificatie is nu circa twee jaar beschikbaar. Gebruikers die in de Nextcloud-marktplaats apps kiezen die ai gebruiken, krijgen het eerder beschreven stoplicht te zien, zo licht Poortvliet toe. Zij kunnen mede op basis daarvan zelf een afweging maken of zij de app wel of niet willen gebruiken.
Stoplicht
Zaak is natuurlijk wel, zo bleek uit een presentatie die Nextcloud-ceo Frank Karlitschek eerder dit jaar gaf tijdens de Foss Backstage-conferentie in Berlijn, dat de gebruiker ook daadwerkelijk van de geboden transparantie gebruik maakt. Het stoplicht geeft weliswaar een indicatie van de mate van transparantie, maar iedere organisatie die ai-modellen in enterprise workflows wil opnemen, doet er uiteraard goed aan om zelf gebruik te maken van de geboden transparantie en zelf de broncode of bijvoorbeeld de trainingsdata te bekijken en te beoordelen.
De integratie van ai in enterprise-applicaties kan enorme voordelen brengen, aldus Poortvliet. Dat was tijdens de community-bijeenkomst van Nextcloud in Berlijn ook duidelijk te zien. Tegelijkertijd brengt het ook aanzienlijke uitdagingen met zich mee – onder andere op het gebied van ethiek en privacy. Als een organisatie geen goed inzicht heeft in de manier hoe een ai-model is opgebouwd, hoe het model is getraind en welke data daarbij is gebruikt, kan men onbedoeld grote risico’s nemen. Privacyschandalen, maar ook reputatieschade en aansprakelijkheid zijn maar enkele van de problemen waar een organisatie dan tegenaan kan lopen. Door gebruik te maken van ai-ratingmodellen kan men dit risico wellicht niet volledig uitsluiten, maar kan men in ieder geval wel een serieuze poging doen om bias en privacyschendingen te voorkomen.
