Aan de TU Eindhoven zijn nieuwe software-tools ontwikkeld om de output van artificial intelligence-modellen (ai) te verklaren. Deze interactieve tools voor visualisatie bieden inzicht in de ‘denkprocessen’ van zulke modellen. Ze helpen de 'geheimen' van zelflerende systemen te ontrafelen. Promovendus Dennis Collaris deed onderzoek.
Collaris promoveerde onlangs aan de TU/e op nieuwe benaderingen om machine learning-modellen te interpreteren vanuit verschillende perspectieven: van lokale uitleg van enkelvoudige voorspellingen, tot globale verklaring van het hele model. De onderzoeker toonde aan dat voorspellingen van zelflerende modellen uitlegbaar zijn.
‘Explainable ai’
De behoefte aan ‘explainable ai’ is groot, reden waarom zulke onderzoeken veel aandacht trekken. Steven Maijoor, die als directeur van De Nederlandsche Bank is belast met het toezicht op de Nederlandse financiële sector, onderstreepte onlangs de noodzaak van een solide praktisch raamwerk dat verklaart hoe ai-systemen tot bepaalde conclusies komen.
Toezichthouders zitten daar om te springen, zeker nu ‘open finance’ op komst is. Open finance gaat verder dan de gegevens en diensten die bij banken beschikbaar zijn. Daarbij gaat het niet alleen om betalingsgegevens, maar ook om gegevens over investeringen, sparen, leningen en verzekeringen, zoals schadehistorie. Gegevens die financiële instellingen kunnen helpen nieuwe producten te ontwikkelen en risico’s beter in te schatten. Om de stap naar open finance te maken, moeten eerst fundamentele vragen worden beantwoord, mede over de werking van ai-systemen.
Uitlegbaarheid
Promovendus Collaris toont ook aan dat je de parameters van ‘uitleg-technieken’ zorgvuldig moet overwegen en onzekerheid helder moet aangeven. Het schandaal rond de toeslagenwet laat zien dat uiterste voorzichtigheid is geboden. Een verkeerde voorspelling door een ai-systeem kan verregaande gevolgen hebben.
De Algemene verordening gegevensbescherming (AVG – GDPR) stelt daarom dat uitlegbaar moet zijn hoe een model tot een bepaalde conclusie komt. Volgens Collaris is dat echter behoorlijk lastig als het gaat om zelflerende ai-systemen. Op basis van een berg data spuwt een spreekwoordelijke black box een antwoord uit. De manier waarop het model tot dit antwoord komt, is niet zomaar te achterhalen.
De wetenschapper legt uit dat een computermodel geen vastomlijnd stappenplan kent. Gaandeweg komt zo’n model erachter welke kenmerken van bijvoorbeeld potentiële klanten van een verzekeraar aangeven dat er een kans bestaat dat ze fraude willen plegen. Zelflerende modellen kunnen aantoonbaar bruikbare aanbevelingen doen. Probleem is dat ze geen motivaties geven. En die zijn nodig bijvoorbeeld als iemand voor een verzekering wordt geweigerd of een fraudeonderzoek in gang wordt gezet. Collaris merkte bij Achmea hoeveel moeite het data-wetenschappers kost hun voorspellende modellen uit te leggen.
Inzicht in de ziel
Om erachter te komen welke strategie een computermodel heeft gekozen, is een duidelijk overzicht van de gebruikte en verwerkte data essentieel. Hiertoe ontwikkelde Collaris twee interactieve softwaretools, ‘ExplainExplore’ en ‘StrategyAtlas’, die gebruikers inzicht bieden in de ‘ziel’ van zelflerende modellen.
ExplainExplore laat zien welke kenmerken een zelflerend computermodel gebruikt om een voorspelling te doen. Deze softwaretool geeft aan hoe zwaar elk kenmerk in het model meerekent bij de bepaling van een voorspelling. Collaris noemt dat de ‘feature-bijdrage’. Het is een interactief uitlegsysteem om verklaringen van individuele voorspellingen te onderzoeken. De tool geeft voor elke uitleg de context door vergelijkbare prognoses te presenteren en de impact van kleine inputverstoringen te laten zien.
Als tweede introduceert Collaris de StrategyAtlas. Deze visuele benadering van analyse maakt een globaal begrip van complexe machine-leermodellen mogelijk. Dit gebeurt door de identificatie en interpretatie van verschillende model-strategieën.
Deze model-strategieën worden geïdentificeerd in een op projectie-gebaseerde Strategiekaart visualisatie. Data-wetenschappers kunnen de validiteit van deze strategieën vaststellen door kenmerkwaarden en bijdragen te analyseren met behulp van warmtekaarten, dichtheid-grafieken en beslisboom-abstracties.
Ik zal het vermoedelijk niet begrijpen, maar in dit artikel wordt vermoedelijk met “zelflerende systemen”, “patroon herkennende systemen bedoelt”. Leren is voor mij een veel complexer begrip dan herkennen. Na herkennen, komt erkennen, dan analyseren, dan deduceren en dan pas duiden. Ik begrijp dat we in stadium 1 zitten.
Dat van de belastingdienst heeft echt niets met IT of AI of ML te maken, maar met een club die op voorhand de query op een database (nauwelijks enige vorm van dit alles) al klaar hadden staan. “Laten we de groep mensen filteren op afkomst, inkomen, postcode, opleiding etc…..”. Hier zal geen enkel tool tegenop kunnen, maar hier moet disciplinair opgetreden worden. Zodra de factor mens de oorzaak is, moet je ook daar de oplossing zoeken.
Heel slim om hier te spreken van ‘inzicht in de ziel’, omdat hiermee wel enige diepgang wordt gesuggereerd.
De suggestie is de vader van de gedachte dus de vraag is wat suggereer jij Jack? Ik kan me meer vinden in de reactie van Atilla omdat deze de ziel (?) bloot legt van de mens aangaande zoiets als informatieverwerking. Na herkennen, komt erkennen, dan analyseren, dan deduceren en dan pas het duiden wat feitelijk om het DIKW-model gaat. Lage cognitieve vaardigheden zoals de suggestie van het herkennen gaat om de erkenning van de onderbuik.
Uitlegbare AI in ‘Jip & Jannke’ taal gaat niet om suggesties maar om de duiding, graag begrijpbaar in de blokletters van de Nederlandse taal want ik heb geen academische achtergrond.
Los van dat een algoritme uiteindelijk door mensen is gemaakt, het probleem is zowel zelflerende systemen EN een vooringenomen positie van mensen. Een algoritme zou in theorie moeten helpen om beslissingen te kunnen nemen. In de praktijk wordt het voor mensen alleen maar moeilijker om de uitkomst van een algoritme op waarde te kunnen schatten, zeker als de aannames in een algoritme niet duidelijk zijn.
Bij de Belastingdienst maar ook bij de politie (om er maar twee te noemen) hebben ze daar last van. Door specifiek op een bepaalde groep te focussen komen daar meer misstanden aan het licht. Zowel ervaren mensen EN automatisch lerende systemen zullen een patroon herkennen en daarom bepaalde groepen hoger op een risicolijst zetten. Waarmee deze groepen nog vaker worden gecontroleerd, meer misstanden worden gevonden, enzovoort. Het kost veel moeite om deze patronen te (h)erkennen, veel mensen zullen dat negeren (je bent schuldig omdat de computer dat zegt).
In HR zie je dit ook. Als je een automatische routine kandidaten laat selecteren klinkt dat heel objectief. Maar in de praktijk blijkt dat het grootste risico nog altijd zit in welke kandidaat er wordt aangenomen. Als het algoritme “ziet” dat een blanke oude man een goede kandidaat is zal het algoritme (vanuit de “historie”) dan ook vaker deze groep voorstellen, want in het verleden bleek dat de “succesvolle” keuze. Maar die keuze gaat voorbij aan het feit dat er nog betere kandidaten kunnen zijn die misschien in het verleden (nog) niet in beeld waren. Los daarvan, als er dan drie verschillende kandidaten worden voorgesteld ben je nog steeds afhankelijk van de (mogelijk vooringenomen) positie van de HR officer die bepaald wie er daadwerkelijk wordt aangenomen. En dat is dan ook weer input voor het algoritme, waarmee de mens uiteindelijk het algoritme stuurt, al dan niet in de juiste richting.