BLOG – Energie besparen met generatieve ai klinkt als water naar de zee dragen. Feiten en cijfers over ai als de grote energieslurper vliegen ons om de oren. De slimme technologie is per definitie niet duurzaam, is het stigma. De waarheid evenwel ligt genuanceerder. Het goede nieuws? Dat er winst te behalen valt om inzet van ai te verduurzamen.
Als de vraag naar ai in het huidige tempo doorgroeit, verbruikt de slimme technologie in 2027 net zoveel energie als heel Nederland nu. Dat becijferde datawetenschapper Alex de Vries afgelopen jaar. Een ChatGPT-trainingsiteratie is goed voor vijfhonderd ton Co2-uitstoot dat ongeveer gelijk staat aan duizend auto’s die hetzelfde aantal kilometers rijden. En dat is dus enkel nog voor de training van het model. Het overgrote merendeel – tachtig tot negentig procent- van het energieverbruik gaat op aan de ontwikkeling van het large language model (llm). Als het llm eenmaal staat, kost de productie van een plaatje evenveel energie als het opladen van een telefoon. Om maar een paar energieverslindende voorbeelden te noemen die onomkeerbaar lijken. Kortom, generatieve ai waarmee teksten, beelden, muziek en video gemaakt wordt, heeft flink veel energie nodig.
Een Teams-vergadering gaat ook gepaard met veel energieverbruik
Een weg terug lijkt er niet want je zou zeggen: wie gaat nog dagen aan het werk, als met een paar drukken op de knop de mooiste plaatjes uit het slimme systeem te halen zijn? Generatieve ai mag dan veel energie verbruiken, het alternatief is slechter voor het milieu als het energieverbruik in breder perspectief geplaatst wordt. Een Teams-vergadering gaat ook gepaard met veel energieverbruik. Dat we in een eigen auto stappen om naar dezelfde vergaderlocatie te rijden, is toch echt een slechter alternatief. Met ai is dat net zo. Uit recent onderzoek blijkt dat het genereren van een pagina vol tekst met ChatGPT 130 tot 1.500 keer duurzamer is dan wanneer een mens dat produceert. Daarom is het zaak voortdurend de balans op te maken vanuit zowel economische, maatschappelijke als klimaatvriendelijke waarde voor een organisatie.
Hoog op agenda
Wat betreft de klimaatvriendelijke waarde, valt er nog wel wat te winnen met de inzet van generatieve ai. Een groene-ai-pijplijn bouwen, staat bij veel it-organisaties niet hoog op de agenda. Iedereen heeft vooralsnog de handen vol aan vraagstukken op het vlak van economische waarde, wet- en regelgeving en hoe ai-gebruik veilig en betrouwbaar te maken. Toch is het raadzaam het duurzaamheidsvraagstuk direct mee te nemen in het organisatiebeleid rondom de inzet van ai. Zo wordt GPT-4 nog maar al te vaak gebruikt voor bijvoorbeeld een specifieke use-case. Onder het mom te kiezen voor een groot taalmodel dat het beste presteert. Dat is vaker niet dan wel nodig. Ook een kleiner model kan van grote waarde zijn. Het taalmodel kiezen dat het beste past bij een specifieke taak levert al veel energiewinst op. Is het juiste model nog niet voorhanden? Regel logging dan zo in dat de data in de toekomst zijn in te zetten voor training van zo’n model. Als het model eenmaal getraind is, is energiebesparing eveneens mogelijk met het verminderen van de complexiteit van het model. Bijvoorbeeld met quantization-methodes wordt een llm een stuk milieuvriendelijker met minimaal prestatieverlies. Hiermee zet je getallen in een model om naar eenvoudiger getallen waardoor berekeningen minder rekenkracht vragen.
Bewustzijn
Energie-efficiënte ai begint veelal met bewustzijn en het creëren van draagvlak in de organisatie. Dat wordt makkelijker als de energie-uitstoot inzichtelijk is. Het verbruik monitoren gaat vaak hand in hand met de duurzaamheidsvolwassenheid van een organisatie. Gebruikers hebben immers geen idee. Veelal zien zij niet meer dan het aantal ChatGPT-gesprekken of de hoeveelheid plaatjes die gegenereerd zijn met bijvoorbeeld Dall-E. Als duidelijk wordt hoeveel energieverbruik daarmee gemoeid is, is het begin van een duurzaam ai-beleid in ieder geval gemaakt.
Mathijs van Bree is ai-expert bij Sogeti
Duurzaamheidsvolwassenheid is een leuke voor Scrabble want GPT-4 geeft pagina’s vol onzin over iets wat om de ‘rode vlaggen’ van emotie gaat. Termen als datawetenschapper veranderen niks aan de feiten want een bepaald narratief ondersteunen met statistiek gaat om een cijfermatige misleiding. Ik mis namelijk een directe link tussen CO2-uitstoot en opgenomen vermogen waardoor een becijferde interpretatie om aannames gaat. Een breder perspectief in ons energievraagstuk gaat tenslotte om het aanbod welke dynamisch is geworden door een energietransitie. Taalmodellen ‘opladen’ met zonne-energie lijkt me een leuke want een omzetting van licht in kennis leert dat het licht nog niet brand bij experts van Sogeti aangezien GPT-4 om dezelfde race als eerdere zoekmachines gaat.
Zoek en gij zult vinden….
Eén gek kan meer vragen dan 10 wijzen kunnen beantwoorden want er zit een bijsluiter aan GPT-4, niet alle antwoorden zijn de waarheid omdat het trainen op de subtiliteiten van de menselijke taal en cultuur om een vooringenomenheid van de wenselijke uitkomsten gaat. Zien wat we willen zien zal ik maar niet filosofisch los gaan op de ai-expert met het EQ van een baksteen want ik kan geen klepel in alle bellen hangen die één pagina onzin me geeft.
Spijtig dat het artikel niet in de smaak viel. Met je reactie stoot je waarschijnlijk meer CO2 uit dan wanneer je het met GPT-4 had gegenereerd.