Boek | De Validatiecrisis, Brenno de Winter
In zijn nieuwe boek ‘De Validatiecrisis’ waarschuwt privacy-activist en security-expert Brenno de Winter voor het blinde vertrouwen dat leveranciers en gebruikers hebben in technologie. Zeker in de huidige ai-hype ziet hij dat de uitkomst van systemen nauwelijks gevalideerd wordt. Hij noemt voorbeelden uit de praktijk waar het misging en prikkelt lezers om dat gedrag te veranderen.
Validatie is het controleren van een waarde of een methode op geldigheid of juistheid. Aan de hand van een aantal vooraf opgestelde eisen wordt aangetoond of een systeem – bijvoorbeeld een ai-model – met een grote mate van zekerheid het bedoelde resultaat oplevert. ‘Of het nu gaat om organisaties, technologie of ons dagelijks leven, valideren is de sleutel. Juist in tijden van kunstmatige intelligentie (ai) is het niet valideren een zure en dure grap’, schrijft De Winter op de achterkaft van zijn boek. In het 236 pagina’s tellende werk noemt hij als voorbeeld de toeslagenaffaire, waarbij de Belastingdienst via een geautomatiseerd systeem duizenden ouders ten onrechte beschuldigde van fraude met kinderopvangtoeslag. Dit leidde tot het terugvorderen van grote bedragen, vaak zonder grondige controle, waardoor veel gezinnen in ernstige financiële problemen raakten. ‘De overheid wilde met dat systeem frauderende burgers aanpakken die jaarlijks voor ongeveer veertig miljoen euro aan toeslagen kregen zonder dat ze daar recht op hadden. De afhandeling van de affaire en het tegemoetkomen van ouders heeft inmiddels ruim 7,2 miljard euro gekost’, aldus de auteur. De Winter noemt meer voorbeelden waarbij overheden of bedrijven zich blindstaren op technologie zonder onderweg kritisch naar uitkomsten te kijken en de systemen te valideren.
Hij gaat niet meteen in op technologische missers, maar wijst allereerst op de vaak hardnekkige ‘beelden en aannames’ die in veel organisaties bestaan, maar die nergens door feiten worden onderbouwd. ‘In bestuurskamers en bij overheden wordt regelmatig gestuurd op beelden die niet juist zijn’, schetst hij. Vanuit die duiding over vooringenomenheid duikt hij de technologie in en noemt tal van voorbeelden waar het valideren van systemen en uitkomsten misloopt: ‘De bestuurder zit aan het stuur, maar heeft geen idee waar dat stuur mee verbonden is’, aldus De Winter in gesprek met Computable.
Afstand
In ‘De Validatiecrisis’ doceert hij een aantal simpele technieken om beter te luisteren, samen te vatten en door te vragen. Ook omschrijft hij hoe de afstand van het management tot de werkvloer heeft geleid tot catastrofale fouten. Dat kon gebeuren door bijvoorbeeld het weglekken van specialistische kennis van kernprocessen, het missen van belangrijke signalen en het voortdurend sturen op financiële cijfers. Hij noemt vliegtuigbouwer Boeing waar fouten in de ontwikkeling van een veiligheidssysteem voor het nieuwe 737 Max-toestel leidde tot twee dodelijke vliegtuigcrashes in 2018 en 2019. Het bedrijf bleek veiligheidsproblemen te negeren terwijl luchtvaartautoriteiten onvoldoende toezicht hielden. De vliegtuigbouwer wilde met het systeem onder meer besparen op het trainen van piloten maar dat is het bedrijf erg duur komen te staan. Boeing steekt miljarden dollars in schadeclaims en heeft een enorme reputatieschade opgelopen.
Crowdstrike
In het hoofdstuk ‘Validatiecrisis digitaliseren’ gaat De Winter in op de wereldwijde ict-storing die in juli 2024 werd veroorzaakt door een update van de Falcon-beveiligingssoftware van CrowdStrike. Deze trof ruim 8,5 miljoen Windows-systemen en had grote gevolgen voor sectoren zoals de luchtvaart en bankensector. De Winter wijst erop dat het bedrijf onvoldoende gecontroleerd had of de update wel stabiel was voordat deze geautomatiseerd werd uitgerold naar klanten. Ook werd na een vergelijkbare fout die een maand eerder plaatsvond binnen Linuxsystemen niet de procedure rondom die automatische updates aangepast.
Het staat in de computer, dus het is zo
Hij behandelt ook de ontwikkeling die hij het ‘techno-optimisme-virus’ noemt en schetst dat binnen organisaties technologie vaak wordt gezien als universele oplossing voor allerlei problemen. In dat optimisme vinden niet altijd grondige evaluaties plaats. In een hoofdstuk over informatiebeveiliging wijst hij op het belang van penetratietests, kwetsbaarheidsscans en audits om beveiligingsrisico’s in kaart te brengen. Ieder hoofdstuk eindigt met een samenvatting en een aantal tips zodat een lezer met weinig tijd snel kan doorbladeren naar een onderwerp dat hem aangaat.
No
In ‘De Validatiecrisis’ komt ook het fenomeen ‘Computer says: ‘No”’ aan bod, naar het satirische tv-programma Little Britain (zie video). Het gaat om de situatie waarin mensen zich verschuilen achter de uitkomst van een computer zonder enige empathie te tonen. Die houding van ‘het staat in de computer, dus het is zo’ leidt in dagelijkse situaties tot veel frustratie over de ‘onbuigzame geautomatiseerde systemen die zonder poging tot enige menselijke interactie of redelijkheid hun uitkomst delen.
Experiment
Na een hoofdstuk over kunstmatige intelligentie en tips om de door De Winter gevreesde validatiecrisis voor te zijn, doet de schrijver een experiment. Hij laadt een zelfontwikkelde chatbot met absurde verhalen en komt al gauw tot de conclusie dat ook hier de aloude ict-wet ‘garbage in, garbage out’, geldt. Hij wijst op het belang van transparantie rondom de data waarmee een systeem is getraind en informatie over de werking van het model. Volgens De Winter verschuilen bedrijven zich te vaak achter het idee dat deze informatie uit veiligheidsoverwegingen niet gedeeld mag worden. Bedrijven verweren zich dat ze details over een algoritme of ai-model niet kunnen prijsgeven omdat die informatie dan misbruikt kan door kwaadwillenden. Als die weten hoe een fraudedetectiesysteem werkt, zouden ze het eenvoudiger kunnen omzeilen, is de gedachte. Volgens De Winter zijn er onafhankelijke audits en mogelijkheden om open te zijn over de data en het systeem zonder volledig inzage te geven in de technologie.
Bunq
De Winter maakte onlangs bekend dat hij in hoger beroep gaat in een rechtszaak tegen Bunq nadat die bank zijn rekening (tijdelijk) afsloot vanwege een verdachte transactie. De Winter wil weten hoe het systeem tot die uitkomst kwam, maar de bank weigert om die informatie te delen. De Winter: ‘Er wordt vaak heel ingewikkeld gedaan over security en ai, maar die hele magie rondom die onderwerpen en de houding van ‘van wees nou maar bang en het is ingewikkeld’, daar ben ik helemaal klaar mee.’ Het begint volgens hem ‘gewoon met het stellen van een aantal simpele vragen.’ Hij ziet in de praktijk dat die vragen over de ict-beveiliging door ontwikkelaars en bestuurders vaak als vervelend gezien worden, maar wijst erop dat ze een inferno kunnen voorkomen.
De Winter hoopt dat mensen na het lezen van zijn boek inzien dat dingen op de juiste manier doen, zoals het valideren van systemen, niet vervelend is, maar juist een heleboel ellende kan voorkomen.
Profiel
Brenno de Winter (Ede, 6 december 1971) maakte furore als onderzoeksjournalist met een specialisatie in ict-beveiliging en privacy. Dat deed hij bij Webwereld dat in 2011 met Lektober landelijk de aandacht vestigde op het gebrek aan de beveiliging van websites. Hij richtte zich sinds midden jaren negentig met zijn security-adviespraktijk op overheidspartijen. De Winter adviseerde over de inzet van de Russische ict-beveiliger Kaspersky binnen de publieke sector en hielp mee aan het ontwerp en de beveiliging van de corona-app. Hij werkt momenteel op tijdelijke basis als rapporteur van de ciso van het ministerie van Volksgezondheid, Welzijn en Sport (VWS). Ook is hij functionaris gegevensbescherming bij DIVD (Dutch Institute for Vulnerability Disclosure), een in 2019 opgerichte stichting die onder strenge voorwaarden meldingen maakt van kwetsbaarheden in systemen. De Winter publiceerde meerdere boeken over security en privacy, waaronder Survivalgids voor de Digitale Jungle (2019), Digitale Stormvloed (2016), en Open Kaart (2011; over het kraken van de ov-chipkaart).
