Deel 2: UWV WERKbedrijf en de eeuwige mismatch
Het UWV heeft een probleem. Het kocht voor 65 miljoen euro aan artificiële intelligentie (ai)-software waarmee zijn kerntaak, het koppelen van werkzoekenden aan banen, zou moeten gemoderniseerd. Maar die software wordt getraind op data die de ict-leverancier mogelijk illegaal heeft verworven. Het is de derde acte in een tragedie die al vijfentwintig jaar gaande is en waarbij falen niet onvermijdelijk is maar een keuze.
Even kort artikel 1 recapituleren. UWV WERKbedrijf helpt mensen aan werk. Dat gebeurt met drie vervlochten systemen, Werk.nl voor ‘gewone’ werkzoekenden en de systemen Sonar en WBS voor de zwaksten op de arbeidsmarkt. De systemen zijn antiek en vooral Sonar is een ramp: onveilig, instabiel en vol persoonsdata van ex-cliënten van UWV. (Doet UWV iets met Sonar dan gaat het fout.) UWV belooft Sonar per 2026 te vervangen, wat onhaalbaar is. Toch was ik hoopvol, want er gebeurt eindelijk iets.
Waar ik niet over schreef was de aangekochte ai-software van het bedrijf 8Vance. Arbeidsmarktblogger en UWV watcher Marc Drees deed dat wel. Drees betoogt dat de data waarmee deze software zijn matchwerk doet onrechtmatig zijn gescraped van LinkedIn. Ik zag die bedreiging niet aankomen. Publicatie van een column voor Computable Magazine hierover werd op mijn verzoek al naar voren gehaald, maar dit vraagt om het hele verhaal. De UWV-geschiedenis van het matchen heeft twee stille drama’s achter zich. Nu dreigt het derde.
Publiek matchen op zonder toestemming gescrapete data? Een no-go!
De keiharde blogs (voorbeeld) van Drees focussen op overtredingen van de privacy wetgeving. Of hij gelijk krijgt weet ik niet, maar zelfs als UWV zijn systemen mag baseren op van LinkedIn geripte persoonsdata is dit iets dat UWV niet moet willen:
- UWV maakt zich afhankelijk van het beleid van LinkedIn (Microsoft). Naar verluidt wordt de belangrijkste cv-informatie sinds kort niet meer vrij toegankelijk gepubliceerd, dus het risico lijkt acuut.
- Deze ai-toepassing vraagt om continue training op basis van actuele data. Een voorbeeld: in de kinderopvang was eerder nauwelijks werk. Nu kunnen ze het werk niet aan.
- De leverancier zegt 85 miljoen cv’s van LinkedIn te hebben gescraped, waarvan ‘slechts’ zeven miljoen Nederlandse. Het is de vraag hoe waardevol de buitenlandse informatie is. Cv’s uit Duitsland zullen bijvoorbeeld vaak banen uit de (automobiel-)industrie vertonen, die in Nederland schaars zijn.
- De doelgroepen van UWV en LinkedIn zijn vermoedelijk grotendeels disjunct. Ook dit vermindert de waarde van hiermee getrainde matchsoftware.
De bewuste (?) keuze voor LinkedIn als databron is dus dubieus. Het lijkt erop dat de inkopers en juristen van UWV (overwegend externen) hier stevig hebben geblunderd. Zelfs met minimale ai-kennis weet je dat een duurzaam recht op toegang op de onderliggende trainingsdata essentieel is. Naar Drees toe verschuilt UWV zich volledig achter de leverancier, maar ik vermoed (en verneem) dat de sfeer a-relaxed is.
Punten 3 en 4 zijn klassieke AI-problemen die ‘bias’ worden genoemd. Natuurlijk weet ik niet hoe erg die bias is, al weet ik bijna zeker dat de 8Vance-software het beter zal doen dan die van de huidige leverancier WCC. Die werkt namelijk beroerd, zie hierna.
UWV heeft één voordeel: tijd. De vertraging van ruim een jaar verkleint de kans op een noodstop halverwege. Ook fijn is dat de buitenwereld nog steeds in het donker kan worden gehouden. Een recente rapportage aan de Kamer rept met geen woord over dit 65.000.000-euro-project.
Een redder in nood voor UWV en 8Vance: UWV zelf!
UWV heeft dus tijd om het LinkedIn probleem op te lossen. Maar hoe? Wie-O-Wie heeft AVG-bestendige cv-data? Welnu, verreweg de grootste eigenaar van puike cv-data is … UWV zelf. Ik kan nog concreter zijn: UWV beschikt over de loopbanen van minstens 2.335.596 unieke personen en als men niet heeft geblunderd zitten ze zelfs boven de 3,5 miljoen. En – geloof het of niet – bijna niemand bij UWV die dit weet! Iedereen met verstand van zaken is gepensioneerd of intern overgeplaatst naar een plekje weg van de inhoud. Hoe dat kan? In één woord: datafalen.
Terug naar 1999 – 2004: Werk.nl
De zelfstandige organisatie die nu de UWV-divisie WERKbedrijf is begon eind vorige eeuw met een ambitieus ict-project: Werk.nl. Vóór Werk.nl werden moeilijk plaatsbare mensen aan werk gekoppeld door gespecialiseerde intercedenten, ondersteund door een primitieve geautomatiseerde kaartenbak. Met Werk.nl zou dat voor zelfredzame mensen grotendeels automatisch gaan.
In 2001 kreeg een gespecialiseerd team, geleid door een consultant van Capgemini, de opdracht om de inhoud van de master-tabellen van Werk.nl op orde te krijgen. Toen dat op orde was wilde men weten hoe goed Werk.nl mensen aan banen koppelde. De reactie was dat dit niet was uit te leggen. De standaard matchsoftware van WCC, Elise, werkte met fuzzy logic, de ai van die tijd. Dat WCC/Elise briljant mensen aan banen koppelde was een geloofsartikel.
Bekend was dat het Werk.nl algoritme van Elise twee knock-out kenmerken bevat: een te grote woon-werk-afstand en een te afwijkend beroep. Beide waren problematisch gebleken. De tabel met reisafstanden kon niet tegen postbus-postcodes die massaal door werkgevers werden gebruikt. En de match op beroepen was een hoogstandje. Werk.nl kent 2.700 beroepen. Het koppelen van een kleuterleidster op een vacature voor kleuterleidster is simpel, maar zo iemand kan ook een particuliere kinderoppas worden, of klassenassistent of nog tien andere beroepen van de 2.700. Werk.nl loste dat probleem op door een gespecialiseerd bureau alle 2.700 beroepen systematisch te laten beschrijven en elke combinatie van beroepen (2.700 x 2.700) vervolgens een score tussen de 0 en 100 te geven. Hiermee bepaalt de matchsoftware welke beroepen bij de werkzoekende passen. Maar klopten die data wel?
Het team besloot om met SQL te doen wat 8Vance nu met ai-algo’s bij LinkedIn doet: kijken naar de honderdduizenden cv’s in Werk.nl en turven welke beroepsovergangen we daadwerkelijk vinden. In Werk.nl is dat simpel: alles zit in codetabellen in een netjes gestructureerde database. Een handvol SQL-statements later werd duidelijk dat de matchsoftware niet goed kon werken. Mensen in lagere en middelbare beroepen – de bulk van de UWV-clientèle – maken vaak loopbaansprongen die inhoudelijk weinig van doen hebben met hun opleiding en ervaring. Chauffeurs worden schoolconciërge, sociaal geografen worden software engineer, juristen worden hr-medewerker.
Het management gaat om. Het contract met de beroepenleverancier wordt opgezegd. Maar daarmee houdt het op, niet om inhoudelijke redenen maar vanwege een interne machtsstrijd. Het gevolg is dat Werk.nl nu, vijfentwintg jaar later, nog steeds matcht met slechte matchdata die evenmin worden onderhouden. 8Vance gaat dit veel beter doen. Slechter kan haast niet.
2012 – 2017: De herkansing
2012 brengt een tweede kans om Werk.nl te laten werken. Het initiatief daartoe komt van de topman van UWV, dat vanaf 2009 naast de uitkeringen ook de arbeidsmarkt moet bedienen. Werk.nl is volledig herbouwd, geïnspireerd op Google. Bij oplevering mag topman Bruno Bruins Werk.nl beproeven. Hij zoekt naar werk als ober. Werk.nl Google style vervangt onder de motorkap ‘ober’ in ‘over’, want er zijn legio vacatures met dit woord in de tekst. De data zijn verdacht.
Er blijkt niets mis met de data, integendeel. De financiële crisis en de samenvoeging met de gevreesde UWV-uitkeringsfabriek hebben ertoe geleid dat Werk.nl tjokvol zit met technisch picobello cv-data. Het probleem is de kwaliteit van de herbouwde software. Die software wordt periodiek geaudit door een extern bedrijf, dat steeds harder alarm slaat. Het Sonar-WBS-Werk.nl2.0 systeemcomplex is een Gordiaanse, ongedocumenteerde softwareknoop. UWV grijpt in. De auditor moet vertrekken. Audits zijn sindsdien verleden tijd. (Tip voor UWV: lees die audits.)
Terwijl de Werk.nl-code is herschreven blijkt er aan de onderliggende database niets veranderd. Hetzelfde geldt voor de Elise-matchsoftware van WCC. Nu de magie eraf is blijkt de fuzzy logic van de jaren 00 gewoon een dom scoringsmodel op gevraagde/aangeboden beroepen, woon-werk afstand en een klein beetje meer. Met toestemming van het management bouwt het teruggekeerde team een nog verder uitgeklede versie, maar nu op de carrières van vijfhonderdduizend actuele cv’s: nóg dommere software op véél slimmere data.
De resultaten zijn verbluffend, maar Werk.nl aanpassen kan niet. Er zit een nieuwe cio die maar in één ding is geïnteresseerd: géén storingen. Dat is begrijpelijk, want Werk.nl ligt om de haverklap plat. Maar het ontaardt in het frustreren van elke innovatie. De cio, die vanwege de ict-problemen bij UWV veel macht heeft (paradox-alert), drukt ook een omstreden reorganisatie door. Iedereen die iets met informatie doet, wordt richting de ict verplaatst. In 2017 is elke manager met kennis van Werk.nl vertrokken.
Voordat de deur op slot gaat komt het Werk.nl-management met een idee. Ze laten een stukje software maken dat voor elke werkzoekende een pdf-met-zoekadviezen genereert, de cv-kaart. Deze wordt massaal gebruikt, niet door werkzoekenden maar door UWV-medewerkers bij adviesgesprekken. De gespecialiseerde intercedenten van lang geleden zijn vervangen door goedkopere ambtenaren met kennis van uitkeringen maar niet van de arbeidsmarkt. Opeens kunnen zij een zinvol gesprek voeren over kansrijk werk. Vooral bij mensen die kansloos zijn in hun oude beroep doet de kaart haar werk. Kansarme werkzoekenden blijken bereid om een stap terug te doen als de adviseur kan laten zien dat lotgenoten hetzelfde doen. (Terzijde: dat is voor ondoorzichtige software gebaseerd op fuzzy logic of ai een stuk moeilijker.) Anno 2024 wordt de cv kaart nog steeds gebruikt en is eveneens beschikbaar voor de werkzoekende, inclusief misleidende uitleg-video.
2024: Driemaal is scheepsrecht?
UWV beschikt dus zelf over honderdduizenden technisch uitstekende cv’s. Maar zodra het kan, gooien ze die weer weg (net andersom dan bij Sonar). Om dat te voorkomen en de cv-kaart nog veel beter te maken laat het Werk.nl-management als zijn laatste actie een geaggregeerde cv-databank opzetten om op basis daarvan adviezen te genereren. Die databank bevat niet alleen de laatste stand van wat er in Werk.nl zit, maar elk cv dat sinds 2012 is langsgekomen. Het officiële argument is een besparing op bij UWV dure gegevensopslag, maar de verwachting is dat de cv-kaart nog veel betere matches gaat opleveren met miljoenen in plaats van honderdduizenden cv’s. Het initiatief faalt. Bij installatie door de UWV-beheerorganisatie zijn er problemen. De cio grijpt dat aan om de activiteiten te staken. De database ligt nog ergens te verstoffen – misschien.
Ziehier waarom UWV zelf de data in huis heeft om afscheid te nemen van LinkedIn. De 2.335.596 uitgebreide en gestructureerde geanonimiseerde persoonsprofielen in de verzamel-cv-database zijn verouderd, maar verre van waardeloos. En UWV beschikt over de programmatuur om recentere data bij te laden. Zo kom je gegarandeerd uit boven de drie miljoen persoonsprofielen. Zonder juridische risico’s. Zonder continuïteitsrisico’s. Met minder bias. En misschien ligt het aan mij, maar je moet héél veel LinkedIn info scrapen om zinvolle informatie uit alle vage teksten te halen. Ik betwijfel of moderne ai, getraind op brakke data, het beter doet dan klassieke software op goede data.
Een kwart eeuw Werk.nl geschiedenis laat zien dat matchen een permanent drama is. Misschien is driemaal scheepsrecht, maar omdat UWV al een kwart eeuw wegkomt met niet werkende software is pessimisme op zijn plaats. De gedachte dat UWV de geconsolideerde cv-database en bijbehorende software niet heeft weggegooid en niet hetzelfde doet met de meer recente Werk.nl-data is ook optimistisch, de organisatie kennende. Hopelijk is UWV bereid om in haar archieven te duiken en voor een keer proactief te handelen.
Weinig mensen binnen UWV kennen deze trieste geschiedenis. Waarom ik wel? Ik was betrokken bij beide pogingen om Werk.nl werkend te krijgen. Ik hoop daar nog steeds op, samen met die Capgemini-consultant van destijds die sinds 2003 mijn levenspartner is. Soms levert Werk.nl toch een goede match.
Kikkers die te lang in het water van een poel bij de overheid hebben gelegen worden geen mooie prins. Het sprookje van verandering lijkt dan ook meer op de frustratie van Statler en Waldorf in de Muppetshow. Want vork waarmee jarenlang geschreven is achteraf in de rug van de opdrachtgever zetten gaat om oude boze witte mannetjes langs de waterkant die vergeten dat de zelfredzaamheid van het aanvoelen van de temperatuur van het water om het aanpassingsvermogen gaat. De loopbaansprong van schutter lange afstand naar iets in de ICT kent inhoudelijk veel overeenkomsten door een waarneming. Zo zorgt weten hoe de hazen lopen voor een grotere doeltreffendheid met minder resources want een proactieve reactie op wat komen gaat vraagt een vooruitziende blik. De mismatch tussen vraag en aanbod op een arbeidsmarkt lijkt me vooral te wijten aan het loket OCW waar ze de barbaren niet hoorden aankomen omdat ze de ramen gesloten hebben.
De geschiedenis leert dat het sturen op tabellen met het Excel-management van een MBA manager als strategie achterhaald is doordat de hazen evolueerden, vraag en aanbod in de Europese Economische Ruimte gaat al een halve eeuw voorbij de kaartenbak van UWV. Waarde van Nederlandse academische studies is hierdoor beperkt als we kijken naar vraag om certificeringen. De halfwaardetijd hiervan leert dat kennis van 2017 niks meer waard is omdat een leven lang leren om het bijblijven in ontwikkelingen gaat, de uren training in het visueel herkennen van Russisch materiaal is waardeloos geworden door aanpassingen op een nieuwe dreiging van drones. De waarneming van de aanpassing op een situatie is dan ook één van de sterkste eigenschappen van menselijke intelligentie als we kijken naar het gebruik van gereedschap.
A fool with a tool…..