Een algoritme dat op basis van kunstmatige intelligentie vrijwel geautomatiseerd een Nederlandstalige tekst samenstelt. Dat heeft de scale-up ML6 ontwikkeld. De tekstgeneratietool is een grote sprong voorwaarts, maar opent tegelijk een deur naar niet wenselijke bijeffecten. Waarschuwt Thomas Dehaene, machine learning engineer bij ML6, in een gesprek met Computable.
Thomas Dehaene trapt af met een introductie van taalmodellen. ‘Een taalmodel is een neuraal netwerk dat op basis van een reeks woorden getraind wordt om het volgende woord te voorspellen. Daarnaast kan het meer taaltaken uitvoeren, zoals samenvatten, vertalen en classificaties geven’, schetst hij.
Een sterspeler in de taalmodellen is GPT. GPT staat voor Generative Pre-Training. Zo’n model wordt gevoed met gigantisch veel data: voor de tweede generatie (GPT2) zijn maar liefst tien miljard woorden nodig en de opvolger (GPT3) wordt getraind op maar liefst vijfhonderd miljard om goed te kunnen functioneren. Dat trainen van een model kost het nodige geld. Voor een GPT2-model wordt naar verwachting zo’n vijftigduizend euro uitgetrokken en een GPT3-model kost naar schatting 4,6 miljoen euro. Naast de kosten en de training is er veel rekenkracht nodig om het algoritme de taaltaken te laten uitvoeren.
Nederlandse dataset
Wereldwijd zijn organisaties bezig met de ontwikkeling van deze taalmodellen. Het Amerikaanse OpenAI is volgens Dehaene koploper. Zij hebben een GPT2-model voor de Engelse taal ontwikkeld en deze als opensource beschikbaar gesteld. ML6 wilde ook een Nederlandstalige variant ontwikkelen en gebruikt het OpenAI-algoritme als basis. Deze wordt dus gefinetuned naar het Nederlands.
‘Het GPT2-model van OpenAI is op basis van een Engelstalige dataset voorgetraind om Engelse woorden te voorspellen’, vertelt Dehaene, ‘Bij ML6 hebben we dit model geleerd Nederlandse taal te genereren door deze te voeden met Nederlandse woorden. Wij gebruiken hiervoor Oscar-Corpus als dataset. Dit initiatief crawlt data van ruim 166 talen.’ Volgens hem kan het algoritme vrij eenvoudig van Engels naar Nederlands veranderen, omdat de structuur, zoals grammatica en zinsopbouw, tussen beide talen redelijk overeenkomen. Het zou bijvoorbeeld een veel ingewikkelder verhaal zijn om het model Chinese woorden te laten voorspellen.
Automatisering
Taalmodellen zijn bedoeld voor het voorspellen van woorden. Op die manier kan het algoritme dus op basis van geringe input een tekst creëren. Echter is zo’n tekstgeneratietool niet de reden dat ML6 werkt met GPT2. Het bedrijf zegt dat de waarde van een taalmodel ligt in de aanvullende mogelijkheden, zoals samenvatten, vertalen, classificering of de omzet van spraak naar tekst. Dit kunnen organisaties inzetten om repetitieve werkzaamheden te automatiseren, waardoor werknemers meer tijd beschikbaar krijgen voor handmatige, inhoudelijke en creatieve taken.
De toepassingen zijn volgens Dehaene legio. ‘Een notaris kan een aantal kernwoorden opgeven en laat vervolgens de tool een juridische tekst schrijven. Dat creëert voor de notaris tijd om zelf de creatieve en unieke teksten te schrijven. Ook is het model in te zetten in een digitaliseringsproces van teksten. Zo kan deze aktes koppelen aan kernwoorden en classificaties aan teksten toevoegen. Om die reden hoeven mensen ook niet te vrezen dat de tool hun baan overneemt. Zij zijn nog nodig voor het creatieve aspect van een baan.’
One shot learning
De kracht van GPT ligt erin dat het algoritme zonder al te veel training is in te zetten voor nieuwe use-cases. Dehaene: ‘De meeste taalmodellen worden per use-case met veel data gevoed. Er zijn vaak duizenden voorbeelden nodig om het model te trainen voor een nieuw doeleinde. Het GPT-model heeft veel minder voorbeelden nodig. Dat noemen we few shot learning of one shot learning. Je kunt GPT dus zien als een motor van een auto, die je vervolgens ook bij andere voertuigen, zoals een Formule 1-raceauto of een vliegtuig, kunt inzetten.’
ML6 test het taalmodel bij twee use-cases. Een op het gebied van spraak naar tekst en een bij het samenvatten samenvatting van teksten. ‘We hebben dit eerst intern getest en daarna bij de klanten geïmplementeerd. Beide modellen lijken een verbetering in performance te leveren.’
Gevaren
De mogelijkheden van het taalmodel klinken goed, maar Dehaene waarschuwt voor de schaduwkanten. ‘Allereerst kan het model in de verkeerde handen vallen. Denk aan cybercriminelen die GPT inzetten om spam en phishing mails op te stellen of nepnieuws te creëren. Maar ook in de goede handen is het model niet helemaal veilig. Een technologie als GPT zien we momenteel als een hype, waardoor we de negatieve aspecten over het hoofd zien. Het model is niet feilloos en dient voorzichtig behandeld te worden.’ De engineer legt uit dat er in theorie geen bias in het model zit, maar dat deze zeker fouten kan maken. Dit komt doordat het model wordt getraind op een dataset uit een bepaalde tijd. Wanneer deze data verouderd is, kan dit tot inhoudelijk fouten leiden, zoals het noemen van de minister-president die geen minister-president meer is. En ook taal- of grammaticale fouten zijn niet uitgesloten bij GPT.
Bias
Maar er schuilt nog een gevaar in het model. ‘Het model wordt getraind op internetdata. Dit kan afkomstig zijn van goede bronnen, zoals nieuwswebsites of vaktitels. Maar ook bronnen zoals forums waar geen controle op de inhoud is. Het is geen verrassing dat dergelijke modellen op basis van deze bronnen ook in staat zijn om discriminerende of ronduit racistische uitspraken te doen. OpenAI geeft dit ook openlijk toe. Zij zien een belangrijke taak voor hun weggelegd het GPT3-model zo te ontwikkelen dat het dergelijke uitspraken kan detecteren en bannen. Maar volgens hen is er nog een lange weg te gaan om ai-algoritmen veilig en ethisch in te zetten. Uiteraard dragen wij ook ons steentje bij door het effect van bepaalde dataaspecten op de bias in de output te onderzoeken.’
Test het model!
ML6 stelt zijn tekstgeneratietool beschikbaar voor het publiek om te testen via gpt2.ml6.eu. Maak nu uw tekst over uw kennisdomein via onderstaande tool. Type uw tekst en klik op de Aanvullen-knop of druk op ‘Tab’ om het algoritme de tekst aan te vullen. Selecteer uw optie via de pijltjestoetsen en bevestig de keuze met ‘Enter’. Niet tevreden met de voorstellen? Gebruik de R-toets om nieuwe opties te genereren. Ml6 adviseert om het Model Grootte ‘Groot’ te kiezen.
Computable is benieuwd naar uw bevindingen. Bent u tevreden met het resultaat? Heeft u aanbevelingen om het taalmodel te optimaliseren? En waar denkt u dat de kansen en of gevaren van de tool liggen?
Stuur uw gegenereerde tekst inclusief bevindingen naar de redactie en laat weten of de bevindingen gepubliceerd mogen worden.
