De discussie over de gevaren van artificiële intelligentie (ai) wordt gekaapt door de ontwikkelaars van deze technologie en bedrijven die daarvan financieel profiteren. In plaats op superintelligentie moet de focus liggen op de bestaande gevaren van ai voor mens en planeet, vindt Roel Dobbe, universitair docent aan TU Delft.
De existentiële gevaren zijn te belangrijk om aan Big Tech over te laten, en vragen volgens Dobbe om breed eigenaarschap over standaarden bij partijen in de politiek, bedrijfsleven en samenleving. De universitair docent werkt al meer dan tien jaar in het vakgebied systeem- en regeltechniek. Of beter, op het grensvlak van engineering, ai en maatschappelijke implicaties. Sinds drie jaar bij Technische Bestuurskunde aan de TU Delft, waar hij de integratie van ai in kritieke processen bestudeert en helpt vorm te geven met andere disciplines uit de sociale wetenschappen en geesteswetenschappen. Hij put hierbij uit decennia aan lessen en inzichten uit de systeemveiligheid, waarmee hij tools ontwikkelt om veiligheid, rechtvaardigheid en duurzaamheid te borgen in de toepassing van data-gedreven en algoritmische systemen.
In de loop der jaren heeft hij op het onderwerp een sterk netwerk opgebouwd in de Verenigde Staten van personen die leidend zijn in kunstmatige intelligentie. ‘Sinds 2015 hebben wij een bredere kijk op de maatschappelijke impact van ai; eerst met promovendi in Berkeley en daarna aan het Ai Now Institute in New York dat ik heb helpen opbouwen.’
Hypocriet
Computable spreekt met Dobbe naar aanleiding van de LinkedIn-discussie die ontstond na het vertrek van Geoffrey Hinton bij Google. Hinton staat bekend als één van de drie ‘Godfathers of ai’. Hij vertrok om vrijuit te kunnen spreken over de gevaren van ai.
Dobbe vindt de houding van Hinton hypocriet. Hij verwijst naar Timnit Gebru, een zwarte vrouw en computerwetenschapper en voormalig ethisch ai-onderzoeker bij Google. Twee jaar geleden deelden zij en haar collega’s zorgen over de gevaren van grote ai-modellen. Zij werd ontslagen. Haar toenmalige collega Hinton sprak zich destijds niet uit over de gevaren van de technologie en kwam niet voor Gebru op. ‘Wat me stoort, is dat hij de gevaren die wij al jaren aankaarten kortgeleden in een interview met CNN diskwalificeerde als ‘niet zo existentieel als mijn zorgen over superintelligentie’. Er wordt stelselmatig nadruk gelegd op scenario’s waarin ai-technologie de mens voorbijstreeft, waardoor we de controle zouden verliezen en er levensgevaarlijke scenario’s ontstaan, vergelijkbaar met kernwapens.’
Dobbe heeft deze retoriek eerder zien opduiken. ‘Het creëert angst onder bevolking en beleidsmakers en is uiterst lucratief voor de onderzoekers die het veld leiden en zeggen hun eigen fouten te willen herstellen, onder het motto ‘de huidige ai is gevaarlijk, dus geef ons meer geld om veiligere versies te maken, wij weten hoe het werkt’. Hinton doet hetzelfde: er zijn problemen met ai, maar wij lossen het op.
Hij zegt letterlijk dat je niet moet luisteren naar degenen die al jaren roepen dat de technologie inherent gevaarlijk.’
Moedwillig blind
Ook Dobbe heeft zorgen over ai. ‘Het punt is alleen dat bestaande existentiële gevaren door de huidige retoriek worden genegeerd. Daarbij gaat het om de kolossale impact van ai-systemen en hun computerinfrastructuur op het milieu en de energietransitie, de marginalisatie en het misbruik van minderheidstalen in taalmodellen, de toepassing van ai in verkiezingsbeïnvloeding, en de immorele uitbuiting van goedkope arbeid voor het labelen van data en trainen van ai-modellen, waardoor grote aantallen onderbetaalde werknemers, vaak in voormalige koloniën, psychische en emotionele schade oplopen’, somt hij op. Om eraan toe te voegen dat Hinton zich in zijn loopbaan bij Google niets gelegen heeft laten liggen aan al die negatieve effecten van ai. ‘Hij verschuilt zich achter een kleingeestig argument dat hij de schadelijke gevolgen van ai niet kon zien aankomen. Maar laat je niet misleiden, zijn afwijzing van ons werk dat de werkelijke politieke, menselijke en milieueffecten van ai-systemen al jaren aantoont, vertelt ons dat hij moedwillig blind was en blijft.’
Complexe software
Dobbe meent dat de discussie niet moet gaan over superintelligentie maar over de veilige toepassing van ai voor het gezond gebruik van technologie in ons dagelijkse leven, en voor de inrichting van de publieke ruimte, de democratie en het bestuur, indachtig hoe vreselijk fout het is gegaan met het Toeslagenaffaire. ‘Machines kunnen op steeds meer taken uitzonderlijk presteren en nieuwe functionaliteit bieden. Dat is onvermijdelijk. Echter worden ChatGPT en andere generatieve ai-systemen zo complex dat niemand meer begrijpt hoe ze werken en hoe fouten ontstaan. Dat is geen nieuw probleem. We weten al veel langer dat te complexe software leidt tot nieuwe veiligheidsrisico’s, onder andere vanuit de lucht- en ruimtevaart. Dit probleem speelt ook in de uitvoering bij de overheid voor simpelere algoritmes en automatisering.’
In plaats van ai te zien als ‘superintelligentie’ en de risico’s en verantwoordelijkheden aan de technologie toe te schrijven, benadrukt Dobbe dat veiligheidsrisico’s van ai alleen zijn te begrijpen en voorkomen door te kijken naar hoe een ai-functie wordt geïntegreerd in een specifiek proces en context, hoe het wordt gebruikt, hoe het wordt gemanaged en onderhouden, en wat voor regulering van toepassing is. ‘Ook cultuur en gedrag van gebruikers, ontwikkelaars, managers, wetgevers en toezichthouders spelen daarbij een cruciale rol weten we uit de geschiedenis van software-gebaseerde automatisering.’
Menselijke controle
Dobbe meent dat we onze vitale systemen dusdanig moeten inrichten dat er menselijke controle blijft en we onze processen kunnen blijven aanpassen om zo ook op schadelijke impact actief te anticiperen en liefst te voorkomen. ‘We zijn nu vaak al te afhankelijk van big tech software infrastructuur in onze vitale instellingen, waardoor het vormgeven en grip houden op processen nu al moeilijk is. Zie wat er bij de Belastingdienst gebeurt. Daarom kunnen we het discours rond de risico’s van ai niet overlaten aan technologiebedrijven. Die zetten de technologie weg als ‘superintelligent’ om beleidsmakers en bestuurders zand in de ogen te strooien dat de adoptie onontkoombaar is en dat zij zelf het best kunnen bepalen hoe we het moeten reguleren. Op termijn schaadt dat het vermogen om te innoveren en grip te houden enkel nog verder.’
Normen en standaarden
Ai gaat niet meer weg, stelt Dobbe. ‘We hebben normen en standaarden nodig om er maatschappelijk bewust mee om te gaan. Dat is een complex vraagstuk, waarvoor we tijd moeten nemen. Om te beschouwen welke toepassingen zinvol kunnen zijn en wat voor nieuwe normen we nodig hebben om de technologie veilig, rechtvaardig en op duurzame wijze in te passen. Daarvoor moet je met de juiste partijen aan tafel. Wij zitten nu op een kantelpunt. De politiek moet het voortouw nemen en investeren in het vermogen zelf infrastructuur te bouwen en standaarden collectief vorm te geven.’
Hij vindt overigens dat Nederland het goede voorbeeld geeft en een proactieve houding aanneemt. Ook is hij te spreken over Alexandra van Huffelen, staatssecretaris Koninkrijksrelaties en Digitalisering. En ook de Tweede Kamer wordt wakker. ‘Er leven zorgen binnen het Nederlandse parlement over het gebruik van kunstmatige intelligentie. Er worden veel vragen gesteld. Van Huffelens ambtenaren zijn overvraagd en komen maar weinig toe aan hun werk: beleidsontwikkeling.’ Ook de Europese Commissie roert zich danig. ‘Het is bijna niet meer bij te houden hoeveel acts er zijn om digitalisering in goede banen te leiden en de afhankelijkheid van Big Tech aan banden te leggen.’
Bij dit alles moeten we volgens hem niet vergeten dat ai veel goeds kan brengen. ‘Bijvoorbeeld op medisch gebied of in de energietransitie. Maar we moeten er wel voor zorgen dat de arts de controle houdt over de technologie. En dat ziekenhuizen en netbeheerders in staat zijn hun eigen tools te ontwikkelen en te laten certificeren en toetsen langs betekenisvolle normen en standaarden – niet enkel wat door grote industriepartijen wordt voorgesteld. En dat geldt voor elk ander maatschappelijk veld.’
De discussie over standaarden en regels is feitelijk zinloos: het is in de meeste delen van de wereld verboden om mensen te doden met een mes, geweer of anderssoortig wapen, en toch gebeurt het regelmatig dat dit voorkomt.
Als kwaadaardige lieden kwaad willen met AI, dan doen ze dat en trekken ze zich niets aan van wat de ‘normale’ mens aan regels, reglementen, wetten en ethiek neerlegt. Alle grenzen die je een techniek oplegt kan je met hetzelfde gemak weghalen of overtreden.
Goh, zo word je tegenwoordig dus universitair docent. Een soort eenpersoons sociaal bolwerk. De toeslagenaffaire, Belastingdienst, softwarecomplexiteit, alles is illustratief voor Roel’s meningen en bevestigt zijn overtuigingen. Hinton is gewoon een dikke huichelaar die mensen (zwarte vrouwen nog wel) als een baksteen laat vallen.
We hebben normen en standaards nodig. Voornamelijk omdat dat de enige manier is waarop Roel zich vooralsnog kan laten gelden (als je mij het vraagt zolang ik verder nog van onze Roel nog niets weet). Normen en standaards hebben ook helemaal geen keerzijde. Je kunt er nooit genoeg van hebben.
Ondertussen gaat hij braaf dat stimuleren wat gevestigd BigTech nu zo graag wil, te weten zoveel mogelijk barrières opwerpen waar alle partijen aan zullen moeten voldoen maar voor hen als establishment een relatief honderd maal kleinere horde zal zijn dan voor marktverstorende nieuwkomers. Dat lesje heeft BigTech goed geleerd van de Financials, de banken en verzekeraars waarvoor inmiddels heel andere regels gelden dan voor andere bedrijven en zelfs BigTech nauwelijks meer tussen komt.
We moeten zoveel mogelijk regels hebben. De schadelijke effecten die we er alleen maar indirect aan kunnen toerekenen (en wie zou dat nou willen doen) verschaft ons straks ook weer een mooie nieuwe rol voor onszelf: ten strijde trekken tegen toenemende ongelijkheid enzo. Zet em op, Roel Je hebt helemaal gelijk. Het gaat om wat je doet, niet om wat de gevolgen zijn.
Auteur die publiceert voor organisatie die hij heeft helpen opbouwen is één van de alarmbellen voor een conflict of interest binnen de academische belevingswereld want universitair docent vergeet dat je Google kunt gebruiken om wat meer achtergrond te verkrijgen:
https://en.wikipedia.org/wiki/Timnit_Gebru
Wiens brood men eet diens woord men spreekt lijkt de situatie me iets anders dan universitair docent ons wil doen laten geloven, ik vermoed namelijk een politiek statement want de wetenschap is tegenwoordig niet meer zonder kleur. Onderzoek naar algoritmische bias op basis van een persoonlijke vooringenomenheid gaat om een conflict of interest binnen de academische belevingswereld.
@Cpt, vrijwel alles kan men als wapen misbruiken, maar het lijkt me wel zo prettig als men hier discussieert over standaarden en regels bij AI gebruikt door overheden en bedrijven. In Verweggistan kunnen geen of andere normen en waarden bij de inzet van AI zijn.
Het lijkt er steeds op dat bij al het nieuws er steeds twee kampen ontstaan die elkaar bevechten.
Alsof alles gepolariseerd moet worden.
Polarisatie, een sterke bias, leidt tot echo kamers waarbij je mening en opinie vast moet staan en afwijken zorgt dat je gecanceld wordt in je echo kamer.
Waarom niet terug naar de idealabs waarbij je juist de verschillen met elkaar opzoekt en daarover een discussie aangaat waar je van mening kan veranderen?
Is LLM / chatGPT de opmaat naar superintelligentie? We weten het niet.
Leidt het tot goede zaken of vooral kwade zaken? We weten het niet.
Kunnen we het reguleren bij landen die niet positief tegenover het westen staan? Nee.
Welk probleem lost regulering op? En op welk niveau doe je dat dan?
Ik denk dat regulering en verkeerde antwoord op de verkeerde vraag is.
Een soort pre-optimization.
Ja, het is een onderwerp dat zeer zeker op de agenda moet komen, maar laten we vooral aansturen op informeren en transparantie.
Welke databronnen worden gebruikt, wat vinden we daarvan? Hoe controleren we dat?
Maar zoals het eruit ziet krijgen de we komende decennia grote uitdagingen.. met z’n allen. Zoals het lijkt is vooruitgang hierin en innovatie een belangrijk deel van de oplossing, want consuminderen lijkt geen goed pad te zijn.
Henri, cancelen helpt ons inderdaad niet vooruit. Jij bent voor transparantie, maar zonder regulering is die vrijblijvend en zelfregulering werkt in de praktijk nauwelijks. Kijk ook naar de transparantie bij bijvoorbeeld de social media. Transparantie en commercie gaan sowieso niet maar beperkt samen.
We leven in een kenniseconomie en formatiemaatschappij, waar we sterk afhankelijk zijn van ICT systemen en dus van het vertrouwen in de systemen en data. Mensen uit de ICT-sector en wetenschappers hebben al moeite om in te schatten hoe betrouwbaar informatie is, die uit een systeem komt. Hoeveel begrijpen niet-vakgenoten van de informatiesystemen die ze willen raadplegen en regelmatig ook moeten gebruiken?
Na de publicatie van de kaarten met meststoffen piekbelasting (met een schijnbare gedetailleerdheid van het model), ontstond er veel wantrouwen bij (pluim)veeboeren. Veel (pluim)veeboeren wantrouwen nu de Aerius-check tool ten aanzien van vertrouwelijkheid en correctheid.
Of regulering veel zal helpen, dat is ook nog maar de vraag. Wet- en regelgeving loopt meestal achter de feiten aan. We moeten het wel over hebben.
Eens Jaap.
It’s never easy.
Vers van de pers: https://www.europarl.europa.eu/news/en/press-room/20230505IPR84904/ai-act-a-step-closer-to-the-first-rules-on-artificial-intelligence
Wat er gebeurt wanneer je een LLM traint op data gegenereerd door een LLM?
https://arxiv.org/abs/2305.17493
Model collapse.
Hoe meer het internet wordt vervuild met door AI gegenereerde teksten, des te waardevoller de content wordt die door mensen is geproduceerd.
Helaas is er geen software die met 100% accuratesse in staat is door LLM gegenereerde teksten te onderscheiden van “menselijke” tekst.
Enigszins ironisch, schijnt een LLM daar dan weer goed in te presteren.
ja, het ging misschien al mis bij virtualisatie.
virtualisatie op virtualisatie.
JVM en garbage collectors tegen de vervuiling.
wat doet nou precies wat waar ?
model collapse driven innovation ?
soevereine virtualisatie … of explainable. Voor wat gebeurt nou waar en waarom.
zou met journalistiek ook kunnen : explainable fake news, Lange frans compliant.
wie/wat heeft trouwens woest aantrekkelijke stikstofregeling bedacht ?