Hoewel enige automatisering in machine learning(ml)-modellen productief en noodzakelijk is, is een menselijke benadering essentieel. Mensen moeten deel uitmaken van de ml-workflow en worden opgenomen in de feedback-loop. De beste resultaten komen voort uit een goede balans tussen menselijke betrokkenheid, machine-automatisering en ai.
Er zijn een aantal plaatsen in het ml-proces waar de menselijke factor onmisbaar is. Denk aan het invoeren van controles en processen om het model accuraat te houden, afstemming met de business om de doeltreffendheid en het gezond verstand te waarborgen, bevestigen dat het model accuraat is en niet alleen ‘juist’, en verzekeren, her-evalueren, bijscholen en verbeteringen aanbrengen.
Sommige van deze stappen zijn te automatiseren, andere niet. Door mensen op de juiste plaats in het proces in te zetten om risico’s te identificeren en de nodige veranderingen aan te brengen, kan een bedrijf hier het meeste voordeel uit halen.
Menselijke intelligentie
Ml-modellen zijn niet gemaakt om de plaats in te nemen van menselijke intelligentie, en zouden dat dan ook niet moeten doen. Organisaties zouden zich eerder moeten richten op het aanvullen van hun eigen intelligentie met die van machines.
Computers kunnen meer gegevens verwerken dan de mens ooit zou kunnen en daarmee antwoord geven op moeilijke vraagstukken. Het is belangrijk dat we deze antwoorden gebruiken als leidraad voor onze eigen beslissingen in plaats van erop te vertrouwen dat de machine het antwoord voor ons selecteert.
Daarom is het bij ml-ops belangrijk om eerst te ontdekken waar we ons comfortabel voelen met automatisering en waar menselijke supervisie wenselijk is. Zodra dit duidelijk is, kan de organisatie het juiste niveau van automatisering kiezen. Automatisering met ml-ops kan dan processen op meerdere manieren helpen:
- Het verhogen van het volume van modellen die naar productie worden gepusht;
- Het democratiseren van ai en het verbeteren van de samenwerking tussen teams door processen te stroomlijnen en standaardiseren;
- Het helpen van datascientists bij experimenten wanneer ze zoeken naar het beste model;
- Het ondersteunen van governance in sterk gereguleerde omgevingen en het reproduceren van modellen mogelijk maken;
- Het ondersteunen van verklaarbaarheid in zowel machine- als menselijke componenten.
Human-in-the-loop-methodologie
Organisaties moeten een menselijk beslissingselement inbouwen en zichzelf altijd één hoofdvraag stellen: is dit logisch? Aangezien modellen niet kunnen voelen, moeten mensen ze in twijfel trekken en bepalen of iets werkt en zinvol is. Een model kan correct handelen, maar er moet een menselijk element zijn om te bepalen of de resultaten accuraat zijn. Er zijn twee manieren om deze menselijke factor in te zetten: active learning en human-in-the-loop (hitl) toevoegen aan het proces.
- Oplossing 1: active learning
Active learning houdt in dat het leeralgoritme van een computerprogramma weet dat het periodiek en interactief vragen kan stellen aan een gebruiker (of gebruikersgroep) om gewenste outputs te verzamelen op nieuwe datapunten.
Een voorbeeld van active learning uit de praktijk is Pinterests gebruik van crowdsourcing-diensten zoals CrowdFlower en Amazon Mechanical Turk om de relevantie van zoekresultaten te evalueren en te helpen bij het uitfilteren van potentieel ongepaste of expliciete inhoud.
In deze scenario’s selecteren leeralgoritmen niet-gelabelde gegevens, sturen die naar een medewerker om ze handmatig te labelen, en voeren die antwoorden dan terug naar zichzelf als gelabelde trainingsgegevens. Uiteindelijk heb je een ‘slimmer’ algoritme dat gebruikmaakt van ons aangeboren vermogen om dingen onmiddellijk te categoriseren.
- Oplossing 2: voeg hitl toe aan het proces
Het kan voorkomen dat een ml-model niet exact uitsluitsel kan geven. Bijvoorbeeld wanneer iemand een webformulier invult en de input geverifieerd moet worden. Mensen maken bij het invullen van zo’n formulier weleens een typ- of spelfout. Dit leidt ertoe dat sommige input bijna geverifieerd is, maar net niet genoeg. In dit soort gevallen is het handig dat er een persoon naar kijkt.
Het implementeren van een hitl-proces is hier de oplossing voor. Wanneer in dit soort gevallen een persoon twee namen of burgerservicenummers bekijkt, kan in een oogopslag opgemerkt worden of tijdens het invoeren van de gegevens een foutje is gemaakt. Als dit het geval blijkt te zijn, kan de input toch worden geverifieerd.
Wanneer menselijke kennis en machine learning samenkomen, kunnen we de grenzen van de mogelijkheden van data science echt verleggen. Door computers te gebruiken om gegevens te verwerken en ons van output te voorzien, kunnen we die output vervolgens gebruiken om de meest cruciale bedrijfsbeslissingen goed overwogen te maken. Met een hitl-methodologie kunnen organisaties in alle sectoren en gebruikssituaties effectief organisatorische verandering creëren met schaalbare ai-systemen.
