Er wordt op veel plaatsen gerapporteerd dat ChatGPT – een chatbot – een ware doorbraak in kunstmatige intelligente is. Maar dat is het zeker niet!
ChatGPT kan ‘programmeren’ of een ‘nieuwe Harry Potter schrijven’, aldus onlangs het NOS-journaal. Er is sprake van een ‘iPhone-moment’ volgens vele tech-watchers. Men erkent weliswaar vaak wel dat er fouten in de resultaten van de chatbot zitten maar in het algemeen neemt men vervolgens aan dat met meer leren die fouten uiteindelijk zullen verdwijnen. ‘We staan aan het begin van een nieuw tijdperk van kunstmatige intelligentie vol zoete vruchten’, zo schreef onlangs een Nederlandse tech-watcher.
Maar ChatGPT is helemaal geen doorbraak, het is eerder een doodlopende weg met potentieel zeer schadelijke consequenties. Daarvoor moeten we de techniek een beetje in.
ChatGPT is een programma dat niets anders doet dan gegeven de input een antwoord te genereren waarbij de meest waarschijnlijke woordcombinaties uit een databank zijn gedestilleerd. Wat een woordcombinatie betekent, speelt daarin eigenlijk geen rol. Het is woordcombinatie-statistiek, meer niet.
In de meest simpele variant heeft elke smartphone dat mechanisme al. Je typt op je scherm en de telefoon geeft je een drietal woorden die je statistisch gezien het vaakst zou gebruiken na de voorgaande. Op de telefoon is dat niet van een heel erg hoge kwaliteit. Kies de meest waarschijnlijke woorden voor een berichtje en de zin die resulteert, is iets als: ‘Ik ben je nog even over de hele tijd en zin hebt in een museum voor de rest van de inhoud van de eerste helft was een beetje een andere manier van werken’. Na ‘hele’ suggereerde de smartphone ’tijd’ – uit de veelvoorkomende combinatie ‘de hele tijd’ -, maar na ’tijd’ kwam ‘en’ vanwege de veelvoorkomende combinatie ’tijd en zin’. Enzovoorts.
Een automatische aanvulling op steroïden
Het klinkt misschien raar, maar de methode achter ChatGPT is dezelfde, alleen met veel meer data en statistiek. Het is ‘automatische aanvulling op steroïden’. Door zijn omvang is ChatGPT – in tegenstelling tot de smartphone – in staat om wél welgevormde zinnen te maken. De tool is bovendien getraind op veel data met echte inhoud, dus er is een grote kans dat het niet alleen maar welgevormd is maar ook dat de zinnen passen bij de input die gegeven is. ‘Passen bij’ is echter niet hetzelfde als ‘betrouwbaar’.
Er is geen enkele reden om aan te nemen dat ChatGPT zal verbeteren met meer data. Want het gebrek aan intelligentie zit hem maar deels in de data, het zit fundamenteel ingebakken in de opzet van het systeem. Zelfs de winst van Meta’s Cicero AI bij het onderhandelingsspel Diplomacy – heel indrukwekkende engineering op basis van een combinatie van verschillende machine learning modellen – is uiteindelijk eerder een teken dat machine learning op zich tegen grenzen aan het aanlopen is.
ChatGPT is daarom net zo goed een doodlopende weg als de technieken die in de jaren ’90 leidden tot de winst van IBM op wereldkampioen schaken Gary Kasparov. Ook toen stond de wereld volgens de meesten op het punt van een grote doorbraak. Die nooit kwam. De combinatie van de oude (symbolic ai) en nieuwe (machine learning) techniek zal mogelijk nog een substantiële verbetering opleveren, maar algemene artificiële intelligentie gaan we hierdoor zeker niet krijgen.
Mens-achtige taal
De makers van ChatGPT hebben goed gelet op het afhandelen van vragen over ChatGPT zelf. Als je de chatbot vraagt over zijn intelligentie krijg je iets als: ‘Als een door OpenAI getraind groot taalmodel ben ik niet in staat om de kwaliteit van een geschreven paragraaf te beoordelen. Mijn doel is om gebruikers te helpen bij het genereren van mensachtige tekst op basis van de aanwijzingen die ik krijg.’ Kortom, je krijgt ‘mens-achtige’ taal, maar niet ‘menselijke’ taal.
De eerste grote site die bijdragen van ChatGPT verbiedt omdat die teveel goedgevormde maar onjuiste inhoudelijke informatie bevatten, is er al: het bij it’ers welbekende Stack Overflow. De meest waarschijnlijke uitkomst is eigenlijk dat ChatGPT-achtige systemen allereerst een wapen gaan worden in de al lopende ‘informatie-oorlogen’ en al gebruikt worden door oplichters, dictators, en ander slecht volk. Met ChatGPT in de hand kunnen die betrouwbare informatie gaan verdrinken in een zee van moeilijk als onzin herkenbare nonsens. Nonsens die vervolgens weer als input voor ChatGPT gaat dienen. Inderdaad: een ‘iPhone-moment’, maar niet in positieve zin.
Oppervlakkig oordeel
Belangrijker is de vraag hoe het komt dat mensen dit ervaren als intelligentie en sommigen zelfs als bewustzijn? Dat komt omdat het kunnen vormen van welgevormde – ‘passende’ – zinnen voor ons een snelle manier is om intelligentie te zien. Ons oordeel is daarin echter erg oppervlakkig. Wij zijn als mensen feitelijk erg gemakkelijk voor de gek te houden en we zijn daardoor in staat om van de meest malle dingen overtuigd te zijn (zie gepromoveerde academici die geloven dat de wereld wordt bestuurd door als mensen vermomde hagedissen).
Kortom, het issue is niet dat ChatGPT en vergelijkbare systemen intelligent zijn, maar vooral dat wij mensen dat – allemaal – eigenlijk niet heel erg zijn.
Gerben Wierda is publicist, lead architect en voormalig medewerker van een taaltechnologiebedrijf
Dit artikel geeft mij de indruk dat de auteur de nodige frustratie van zich afschrijft als ‘voormalig medewerker van een taaltechnologiebedrijf’.
“Er is geen enkele reden om aan te nemen dat ChatGPT zal verbeteren met meer data.”
Nee, maar er zijn wel heel veel redenen om aan te nemen dat ChatGPT zal verbeteren met meer KENNIS (terwijl de resultaten nu al verbluffend zijn).
Overduidelijk is Reinforcement Learning with Human Feedback (RLHF) niet een datagedreven maar een kennisgedreven aanpak.
Natuurlijk stel ik ChatGPT ook vragen waar ik het antwoord in grote lijnen wel weet en ben steeds weer verrast hoe het met de ESSENTIE van de zaak komt.
Zoals ik binnen dit forum al in een reactie heb gedemonstreerd:
https://www.computable.nl/artikel/columns/magazine/7386744/5215853/vrijheid-is-een-beleving-toch.html
Inderdaad komt het programma met een heel heldere, beknopte weergave van bestaande inzichten, maar niet met nieuwe inzichten: het ontbeert dus creativiteit (en dat zal in mijn optiek ook niet veranderen).
Het is hiermee wel een oefening in het stellen van de goede vragen waarvoor de vragensteller moet beschikken over de juiste achtergrondkennis en woordenschat (zoals gebruikelijk in een dialoog).
Wie de mogelijkheden van ChatGPT onderschat, streept niet ChatGPT door, maar zichzelf.
Met de referentie naar een eerdere discussie haalt Jack oude koeien uit de sloot, de voortzetting van een discussie over de vorming en uiting van een mening. Want mijn ervaring leert dat meningen niet alleen op objectieve kennis gebaseerd zijn zoals Jack zelf al laat zien in eerste zin.
Zo zijn, naar mijn mening, beleven en ervaren twee kanten van dezelfde medaille. Heel anders ligt dat met passende en betrouwbare antwoorden waar auteur op wijst. Want vooringenomenheid in algoritmen leidt tot interessante maatschappelijke discussies als we kijken naar zoiets als filosofie.
Cogito, ergo sum is kennis tenslotte een dood ding als de hogere cognitieve vaardigheden van het toepassen ontbreekt. Wat betreft creativiteit zit de bevestiging in de ontkenning want wat betreft de essentie gaat het artikel over een doorbraak in kunstmatige intelligentie.
Wat betreft gepromoveerde academici die geloven dat de wereld wordt bestuurd door als mensen vermomde reptielen blijft geloof een vreemd ding. Zo schijnt Heidegger geloofd te hebben in ideeën de we in de huidige tijd als fout typeren. O tempora, o mores!
@Jack Dat valt wel mee hoor, die frustratie. BSO/Language Technology (waar ik als techneut werkte) was een pionier in Nederland als het ging om het gebruik van statistische methoden en dat was (voor het doel waar we het voor inzetten) succesvol. Wel grappig dat je van die oude rol meteen een logische conclusie maakt over frustratie. Zegt iets over hoe menselijke intelligentie werkt (onze overtuigingen hebben meer invloed op ons ‘geheugen’ en analyse dan andersom, zie link hieronder).
Informatie = ‘zinvol geordende gegevens’ (daar zit dus zingeving achter die van data informatie maakt). Betekenis ligt verborgen in correct gebruik (Wittgenstein) dus wat voor de één informatie is kan voor de ander data zijn. Kennis is kunde, dat wil zeggen dat je in staat bent gebruik te maken van de informatie, dat je iets kunt toepassen.
Het is goed om OpenAI’s eigen weergave te lezen van wat GPT kan en niet kan. https://arxiv.org/pdf/2005.14165.pdf
@Een_Oudlid Over overtuigingen, hoe die tot stand komen en waar een (fundamenteel) verschil zit tussen ML-technieken op digitale ondergrond (malleable software on top of fixed hardware) en mensen (grotendeels gebaseerd op malleable hardware) zie https://ea.rna.nl/2022/10/24/on-the-psychology-of-architecture-and-the-architecture-of-psychology/
Is het niet zo dat alles dat nu gehyperd wordt uiteindelijk zal worden opgevolgd door iets anders? ChatGPT is vast niet een eindpunt voor iets, net zo min als het het begin is van iets.
Ik geloof niet zo in een doodlopende weg, maar meer in een reis die gemaakt wordt, waarbij dit een stoppunt is. Sommigen stappen uit, sommigen zien een andere trein aan de overkant staan. Andere vinden misschien dat de trein beter met rubberen wielen kan gaan rijden en verzinnen iets waardoor de trein een andere dimensie krijgt.
Gerben,
Van filosofie naar psychologie, de verbreding van de discussie op Computable laat zien dat we als ICT-er meer kunnen dan algoritmen dresseren. Je link begint met een incomplete piramide want ik ben meer overtuigd door Maslow, de hogere lagen gaan om het cogito, ergo sum van Descartes. En je zult wat meer moeite moeten doen aangaande de taal want daarin ben ik erg creatief. Ik laaf me in de reacties van mijn criticasters omdat ze meer zeggen over zichzelf dan mij.
Reflectie als in spiegelen begint met empathie, de vraag wie er gefrustreerd is wordt daardoor wel heel interessant. En hoe de menselijke intelligentie werkt is nog interessanter als we naar Maslow en zijn piramide gaan. Oja, ik heb hier het scorebord betreffende waardering stuk geknutseld omdat het de fysiologische waardering van gratis bier mist. Jack stuurde me ooit eens een mailtje welke ik meer waardeerde dan de puntentelling van Computable.
Hard als Krupp staal in de discussie respecteer ik Jack, we verschillen van mening over geordende gegevens. Filosofisch gezegd ben ik niet overtuigd van de hokjes in het denken omdat de mens een complexe persoonlijkheid met meerdere rollen is. Psychologisch laat ik meerdere persoonlijkheden in een mens maar even in het midden want de ‘Strange Case of Dr Jekyll and Mr Hyde’ aangaande het Ying & Yang van goed en kwaad gaat meer om de techniek dan de filosofie.
AI en Kafka is daarom weer een interessant punt voor discussie, kennis is geen kunde maar een last als je daardoor handelt vanuit een vooringenomenheid. Maar zie anders even zelf Cicero aangaande een retorische vraagstelling, de ontkenning in de bevestiging aangaande de overtuiging gaat om een cognitieve dissonantie. Dom geboren, suf gewiegd en nooit wat bijgeleerd zullen de gepromoveerde academici mij niet overtuigen van hun gelijk als ze alleen de zeeduizendpoot bestudeerd hebben. Ik had een interessantere discussie op een vlucht van New York naar Amsterdam met een rabbijn.
Ik gebruik expliciet het woord geloof omdat de nieuwe kerk de wetenschap is, een vals geloof als ik kijk naar alle malversaties hierin.
Dom geboren, suf gewiegd en nooit wat bijgeleerd..
Dat bijleren wordt ook wel lastig als je criticasters wegzet als niet relevant omdat ze vooral iets over zichzelf zouden zeggen.
Als de boodschap van de criticasters eigenlijk steeds op hetzelfde neerkomt, lijkt het toch een moeilijk te missen kans.
Wellicht dat vooringenomenheid daarin ook meespeelt 🙂
Een criticaster is over het algemeen niet iemand met opbouwende kritiek, bijleren wordt lastig als je wel hoort wat je fout doet maar niet hoe je het beter kan doen. Als je een vis beoordeelt op zijn vermogen om in een boom te klimmen zal hij zijn hele leven denken dat hij dom is. Dus ja, vooringenomenheid speelt inderdaad een rol als het om het aannemen van de kritiek gaat want er zit verschil tussen gratis bier en een fles azijn.
Ja, ik geef toe, echt iets constructiefs gaat me minder goed af. Maar met knipoog afzeiken vind ik ook een mooi resultaat.