Of ChatGPT het werk van leraren gaat overnemen. Die vraag krijgt Rob van der Willigen vaak gesteld. De techlead van het programma AI & Ethiek aan de Hogeschool Rotterdam is er nog niet helemaal uit, zegt hij tijdens een seminar over ChatGPT in het hoger onderwijs. De ai-chatbot is volgens hem ‘notoir onbetrouwbaar’, maar kan docenten op weg helpen mits hij de juiste intenties begrijpt.
We zijn in het gloednieuw pand van Hogeschool Rotterdam (HR) aan de Kralingse Zoom. Als een bijenkorf zoemt het van de activiteit, met groepjes studenten in lokalen, open ruimtes en op de trappen. Vandaag vindt een seminar plaats over de ontwikkelingen in het hoger onderwijs, met lezingen en workshops. In een van de lokalen start een sessie over ChatGPT als ‘universele tutor’, ter vervanging van hbo-docenten. Gelukkig staat er nog een echt mens voor de groep.
Ai-chatbot
Als techlead van AI & Ethiek van de HR doet Rob van der Willigen onderzoek naar de inzet van artificiële intelligence (ai)-chatbots bij het lesgeven. We wisten al dat studenten de technologie volop gebruiken voor het doen van opdrachten, maar hoe zit dat met de docenten? Wat zijn voor hen de mogelijkheden, beperkingen en ethische afwegingen? Inmiddels zetten meerdere onderwijsinstellingen de ai-chatbot in (zie kader onderaan), maar is dit een bevlieging of een blijvertje?
Is er met ChatGPT nog wel toekomst voor docenten? Van der Willigen is sceptisch. ‘Ik zou een systeem willen hebben dat echt antwoord geeft op mijn vragen’, verzucht hij. Nog te vaak komt ChatGPT er niet uit en vraagt dan om extra informatie voordat hij een antwoord kan formuleren, is zijn ervaring.
Context
De moeilijkheid zit volgens hem in de intentie van de vragen die je de bot stelt. Hij geeft gewoon antwoord, zonder zich bewust te zijn van de gedachte achter de vraag of de context waarin deze wordt gesteld. ‘Het systeem moet iets veel moeilijkers doen dan antwoorden geven. Het moet de intentie van de vragensteller begrijpen. Wat precies wordt om welke reden gevraagd? Als deze inschatting fout is, gaat de hele interactie fout.’
Het is bovendien niet mogelijk om het antwoord te controleren of te achterhalen hoe het antwoord tot stand kwam. Doordat de uitkomst ook nog eens verschilt per chatsessie, is de reproduceerbaarheid een groot probleem voor het gebruik in een onderwijssetting. Volgens de techlead kun je de variatie in het antwoord verkleinen door de instructie zo taakgericht mogelijk te geven. Zo is de opdracht om softwarecode te genereren of een tekst samen te vatten veel gerichter dan de opdracht om een open vraag te beantwoorden of iets te beredeneren, is zijn idee.
Studenten motiveren
Toch is Van der Willigen tot de conclusie gekomen dat met relatief weinig technieken en slimme aanwijzingen goede interactie met de chatbot mogelijk is. Docenten kunnen er hun voordeel mee doen. De inzet van zo’n bot kan het onderwijs verrijken en studenten motiveren en hun betrokkenheid vergroten. Zolang de intenties maar goed worden ingeschat. En daarvoor blijven docenten een belangrijke rol spelen, verwacht hij. ‘Je moet in de echte emotionele wereld zitten om de juiste interactie te bereiken. In dat opzicht blijft ChatGPT een beperkt systeem.’
Dat ChatGPT een waardevolle toevoeging aan het onderwijs kan zijn, laat de techlead van de hogeschool graag zien. Bijvoorbeeld door als tutor studenten te helpen bij het nemen van een verantwoord besluit over ethische dilemma’s. Alles staat of valt met de juiste prompt, de instructie die je in natuurlijke taal invoert in de ai-chat. Een goed geformuleerde en stapsgewijze instructie leidt tot bruikbare output die recht doet aan de intentie van de gebruiker. Zo’n prompt bestaat volgens Van der Willigen uit een feitelijke instructie (wat moet de bot doen?), een korte beschrijving van de context (waarom?), de invoergegevens (aan de hand van welke informatie moet de bot dit doen?) en een uitvoerindicator (hoe ziet de output eruit?).
Prompt engineering
Het vergt oefening om ChatGPT goed te instrueren, zodat de bot de intentie begrijpt. De beste prompt schrijf je meestal niet in één keer, maar door te herformuleren of door een vervolgvraag of -instructie te geven. Prompt engineering noem je dat. Beproefde manieren zijn volgens Van der Willigen het toevoegen van voorbeelden (in-context learning) en het in stappen opbouwen van de argumentatie (chain of thought). De bot kan de in stappen aangeleverde informatie samenvoegen en toevoegen aan de redenering, waarvoor hij ook nieuwe relevante externe informatie gebruikt. Wat ook helpt is om de ai-bot te vragen om zelf de vervolg-prompt te verzinnen, vertelt hij.
We kwamen naar de hogeschool voor een antwoord op de vraag of ChatGPT op termijn hbo-docenten gaat vervangen. Maar echt veel wijzer zijn we eigenlijk niet geworden; precies het gevoel dat we vaak hebben als we de hulp van ai inschakelen. Met de juiste instructies kan de ai-chatbot een docent aardig op weg helpen. Maar voorlopig blijft doceren mensenwerk, hier en daar geholpen door kunstmatige intelligentie. En dat is misschien maar goed ook. Onderwijs is meer dan instrueren en leren alleen. De schoolse bijenkorf moet zoemen, ook daar aan de Kralingse Zoom.
ChatGPT en het onderwijs
Hogeschool Rotterdam is uiteraard niet de enige onderwijsinstelling die broedt op slimme inzet van ai-chatbots door docenten. Veel organisaties zijn ermee bezig. Drie recente voorbeelden.
Bit Academy omarmt ChatGPT in zijn lesprogramma. Volgens de Amsterdamse opleider past zo’n ai-bot ‘perfect’ binnen de gebruikte peer-to-peer-methode, waarbij leerlingen worden gestimuleerd om in een lessysteem samen te werken aan opdrachten en elkaars werk te beoordelen. ChatGPT geeft ondersteuning als ze zelfstandig aan projecten werken. De technologie wordt ook ingezet bij codeeroefeningen, bijvoorbeeld voor inzicht in de voor- en nadelen van verschillende programmeertalen en het bedenken van de beste procedures voor softwareontwikkeling. Ze leren bovendien de technologie goed te gebruiken door op de juiste manier vragen te stellen. Ook docenten gebruiken ChatGPT. Zo controleren ze op plagiaat door in de chatbot een multiple-choice-toets te genereren over de tekst die een student heeft geschreven en deze toets vervolgens offline voor te leggen. Daarnaast gebruiken docenten de technologie voor de ontwikkeling van lesmateriaal. Denk hierbij aan het verzinnen van ‘verhalen’ voor opdrachten of het uitwerken van de leerdoelen.
De Eindhovense opleider Goodhabitz koppelt drie nieuwe functies van zijn onlineleerplatform met ChatGPT. De eerste is een ai-aangestuurde functie die trainingscontent verrijkt en het leertraject van de student verbetert. De tweede is een interactieve test die identificeert op welke vlakken de student zijn of haar kennis over een bepaald onderwerp kan verbreden. De derde is een rollenspel om de communicatie in een verkooptraining te verbeteren door interactie en een flexibele benadering met verschillende persoonlijkheidstypes. De integratie met ChatGPT zou de leerresultaten verbeteren, kennis beter vasthouden, opleidingstijd- en middelen verminderen en continue ontwikkeling bevorderen. Directeur Maarten Franken noemt het ‘een geheel nieuw niveau van leren dat voorheen niet mogelijk was’.
Ook bij de Hogeschool van Amsterdam zien ze de mogelijkheden van ChatGPT. Zo kunnen docenten studenten de output van ChatGPT laten beoordelen, onderbouwen of weerleggen en zo een kritische, onderzoekende houding stimuleren. Ze gebruiken de technologie ook bij het ontwerp van modules of voorbereiding van colleges. Maar er is ook ruimte voor de nuance. ‘We weten dat ChatGPT ‘slechts’ een chatbot is, met een interface van een taalmodel zonder intelligentie’, meldt de hogeschool. ‘ChatGPT-output varieert van heel bruikbaar tot onbetrouwbaar. De kunst is dus om de output op waarde te kunnen schatten. Daarvoor is, naast vakkennis en een kritische houding, ai-geletterdheid nodig: een bewustzijn van de (on-)mogelijkheden van artificiële intelligentie, en daardoor doordachte keuzes kunnen maken.’
Dit artikel verscheen eerder in Computable-magazine #04/23, de Career Guide
Dag Henri,
Dank voor uw kritische kijk op zaken, evenals de andere reageerders.
Ik wil u toch nog iets meegeven (ook al zitten we i.d.d. deels op een ander spoor);
Twijfelt u alstublieft niet aan uzelf. (Uzelf dingen afvragen lijkt me prima.)
Ik schrijf geen kritiek, op niemand hier, ik bedoel het als gedachtegoed.
(Ik hoop dat u (en anderen) het met plezier leest, dat is mijn bedoeling.)
U hanteert zaken als ChatGPT in uw dagelijks werk als docent.
Een aantal redenen daarvoor beschreef u reeds.
Daarmee bent ook uzelf kennelijk van mening dat dit geschikt is,
terwijl u in feite nog overrompeld lijkt door de intelligente
antwoorden en zinnige dialogen die u met het systeem aangaat.
Immers, het vertoont tekenen van intelligentie en creativiteit
zoals u dat schetst, maar het blijkt nog steeds dat je op moet
passen met allerhande intelligent verpakte plausibele antwoorden.
Daar is een zee aan informatie, bewijsvoering, deductie en
gedachtenexperimenten te vinden op … google & friends & more, maar
dat terzijde.
Vergis u niet in “tekenen van creativiteit”. Het laat entertaining
kunstzinnige dingen zien, in tekst zowel als beeld, maar nog
steeds is dat op basis van info in de enorme “database”, het zoeken
naar patronen nadat het de prompt heeft verwerkt, en daarmee
een wens lijkt te begrijpen en een soort doelmatigheid hanteert
om iets te bouwen/schilderen/schrijven/etc.
Je herkent de hand van bekende mensen erin terug, of erger, het
hanteert zijn eigen output’s als onderdeel van nieuwe input in
je ZOU kunnen zeggen dat dat wellicht een ontluikend intellect
kan zijn met echte creativiteit, maar dat is het toch echt niet.
Het hanteert *geen eigen gevoel* wat het over wil brengen aan anderen.
Dus los van het indrukwekkende resultaat en los van het gevoel
dat het de ontvanger alsnog geeft.
Dat lijkt een onbelangrijk detail, maar dat is het niet.
Mensen kijken naar de sterren en vragen zich van alles af.
ChatGPT e.d. vragen zich (nog?) niks af. Die voeden zichzelf met
enorme hoeveelheden data in opdracht van zijn systemische constructie,
en zoeken verbanden, en scherpen dat steeds meer aan, en worden
een soort slimmer en slimmer door o.a. feedback.
Als je de output van louter een dergelijk systeem voor wáár aanneemt,
en dat gaat sneller dan je je bewust van bent, dan ontstaat er
een rare wereld.
Ja, het hanteert neurale netwerken, en zo werken de hersenen ook,
en dat zijn meesters in steeds verder aanscherpen en classificeren,
maar het is nog steeds machinaal (nog los van bijv. het *aantal* neuronen).
In een mens zit meer, of dan toch… lijkt meer te zitten.
Dat is voorlopig het grote “raadsel”. Maar het is er wel,
dat is op dit moment niet te ontkennen.
Als je ChatGPT in de vorm van een mens zou zien, en daarmee in gesprek
zou raken, dan staat er in feite een ongelooflijke schlemiel voor je, die
enorm veel informatie uitkraamt, die ook nog zinnig is/lijkt (maar stel
maar eens andere soorten correcte vragen, en zie hoe hij daar op antwoordt),
maar geen enkele compassie heeft t.o.v. de vraagsteller en het universum
om hem heen, en geen enkele zelfreflectie kent.
*Dat* bijv. als docent inzetten vind ik persoonlijk nog steeds een bepaald risico.
Ik vind dat “niet wijs”, indien men zich daar niet voldoende van bewust zou
zijn. “Ik vind” klinkt als een mening i.d.d., maar nogmaals, ik geef
alleen gedachtegoed mee, en hoop vurig dat mensen blijven nadenken,
breder dan een periode van euforie.
Ik moet bij dit soort zaken ook denken aan dingen als Orakels.
Daar zijn ook hele beslissingen op gebaseerd met gevolgen.
Kent u de Oracle database? Je zou kunnen zeggen dat SQL een prompt is
waarmee het systeem wordt bevraagd. Een vrij volwassen systeem. Er zijn echter
genoeg gevallen bekend waarmee middels SQL verkeerde verbanden zijn
gelegd en complete zeer plausibele onzin uitkraamden, en pas veel
te laat werd ontdekt.
Nu heeft SQL niets te maken met neurale netwerk AI, maar het tekent
dat in den beginne men ook enorm onder de indruk was van databases
en hun kracht. En allerhande bijgeloof ontstond over wat het allemaal
kan, en hoe simpel dat heden allemaal te gebruiken zou zijn.
Helemaal toen er slimme gebruiksschillen werden ontwikkelt, en wel, de
rest is geschiedenis.
Dat het t.a.v. onderwijs, mits wijs gehanteerd, echt wel next-level
kan zijn/is, los van mijn meningen op dit gebied, dat neem ik zeker
aan. Ik ben geen docent, en ken het probleemvlak niet voldoende.
Met name het idee dat u schetst dat er vrij persoonlijk ingespeeld
kan worden op de behoefte van leerlingen is verleidelijk, maar dat kan
breder beschouwd ook anders gezien worden.
Het lost echter voor u problemen op, op indrukwekkende wijze,
en dat lijkt me alleen maar mooi. Blijf wel nuchter-kritisch.
U (en heel veel anderen) bent onder de indruk van een wetenschap en concept
dat al vrij oud is, en allang (deels) voorspeld wat je van iets dergelijks mag en kan
verwachten, en ook welke gevaren er schuilen.
Dat mag natuurlijk, het *is* ook indrukwekkend, maar ken het a.u.b.
geen krachten toe die het niet heeft, maar helaas wel veinst.
Het kan ongetwijfeld een vorm van “intelligentie” genoemd worden, maar
(voorlopig?) niet meer dan dat.
Wel een zeer krachtige tool, zo krachtig, dat het op listige wijze zelfs
gevaarlijk is. Niet de tool zelf, maar wel diegene die acteert op
de uitkomst ervan.
Wellicht wordt het ooit anders, bijv. zelfbewuste systemen, maar
wat ik eerder zei, dan staat de wereld op z’n kop. Om vele redenen.
Als ik uit het raam kijk zie ik daar heden nog weinig van.
( Dat is dan empirisch vastgesteld, maar toch… 😉 )
Een tool. Meer niet. Nog niet.
Nu stop ik echt 😉
@Jan,
Ik ben nooit fan geweest van blockchain en zag snel de tekortkomingen en de uselessness.
Cloud was wellicht hype, maar alles blijkt cloud te zijn, dus niet per se overhyped.
Ik ben geïnteresseerd in nieuwe dingen, maar ik stap echt niet op elke hype trein.
Metaverse had ik hoge verwachtingen van, maar dat was wensdenken…
AI is een fundamentele verandering net als Internet en cloud. Het heeft nog allerlei tekortkomingen, maar het is een nieuwe bouwsteen die dominant wordt in alles wat we doen, dus kan nauwelijks overhyped worden, hooguit op de korte termijn.
De Links over dementerende AI als gevolg van recursie.
https://www.heise.de/news/Kuenftige-KI-Modelle-potenziell-von-Demenz-bedroht-9209900.html
https://arxiv.org/pdf/2305.17493.pdf
Ik mag nog herinneren aan “number five is alive” en “it doesn’t think, it doesn’t feel, it only runs programs”.
Intelligentie is een begrip dat niet eenvoudig is maar uitgaande van de fysische structuur van onze hersenen die niet alleen met elektrische impulsen werken maar ook door hormonen beinvloed worden, dan zie ik nog geen “werkelijke intelligentie” in dit soort programma’s hoe handig ze ook zijn en hoe knap ze ook geprogrammeerd zijn.