Onderzoekers van het Centrum voor Wiskunde en Informatica (CWI) hebben een algoritme ontwikkeld dat ai-toepassingen met een factor honderd tot duizend energiezuiniger maakt. Met de nieuwe rekenmethode kunnen ai-taken zonder cloudverbinding op een lokaal apparaat plaatsvinden, bijvoorbeeld een smartwatch. CWI spreekt van 'een doorbraak'. Kanttekening: er zijn nog geen geschikte chips voor deze ai-toepassing.
‘Dankzij een wiskundige doorbraak kunnen toepassingen van kunstmatige intelligentie, zoals spraakherkenning, gebarenherkenning en de classificatie van elektrocardiogrammen (ecg), een factor honderd tot duizend energiezuiniger worden’, meldt het CWI.
CWI-onderzoeker en UvA-hoogleraar cognitieve neurobiologie Sander Bohté ontwikkelde samen met onderzoekers Bojian Yin en Federico Corradi een algoritme voor een zogeheten ‘spiking neural network’ (gepulst neuraal netwerk). Volgens het CWI bestaan zulke netwerken al langer maar hadden die tot nu toe het nadeel dat ze wiskundig moeilijk hanteerbaar waren waardoor ze in de praktijk niet konden worden toegepast. Het nieuwe algoritme bevat twee wiskundige doorbraken. De neuronen in het netwerk hoeven veel minder met elkaar te communiceren en daarnaast hoeft elk neuron ook nog eens minder te rekenen.
Robuuster en meer privacy
Onderzoeksleider Bohté verwacht dat die combinatie zorgt dat kunstmatige intelligentie meer dan duizend keer energiezuiniger wordt in vergelijking met ouderwetse neurale netwerken, en een factor honderd energiezuiniger dan de beste hedendaagse neurale netwerken.
‘Door kunstmatige intelligentie op een lokaal apparaat te draaien, worden de toepassingen bovendien robuuster en privacy-vriendelijker’, stellen de onderzoekers. Robuuster omdat er geen netwerkverbinding met de cloud meer nodig is, en privacy-vriendelijker omdat data lokaal kunnen blijven.
Nieuw soort chip
Om een gepulst neuraal netwerk efficiënt toepassingen te laten draaien, zijn wel eerst aparte chips nodig. Bohté verwacht dat er binnen een jaar prototypen zijn: ‘Allerlei bedrijven werken daar hard aan, zoals onze projectpartner IMEC/Holst Centre.’
De spiking neurale netwerken van Bohté en zijn collega’s kunnen momenteel zo’n duizend neuronen aan. Dat is beduidend minder dan klassieke neurale netwerken op dit moment aankunnen, maar wel genoeg voor velerlei toepassingen van spraakherkenning en elektrocardiogram-analyse tot het herkennen van gebaren, stellen de onderzoekers. De volgende uitdaging is dan ook om hun netwerken op te schalen naar honderdduizend of een miljoen neuronen. Dat zal de toepassingsmogelijkheden nog verder uitbreiden, verwachten ze.
Menselijk brein
Bohté haalt zijn inspiratie en motivatie uit het menselijke brein dat informatie verwerkt op een zeer energiezuinige manier (20 watt).
‘Computers die neurale netwerken nabootsen, hebben in de afgelopen jaren weliswaar prachtige toepassingen opgeleverd – zie beeldherkenning, spraakherkenning, automatisch vertalen, medische diagnoses – maar slurpen veel meer energie dan het menselijk brein’, stelt hij
Neurale netwerken
De spiking neurale netwerken die Bohté en zijn collega’s ontwikkelen, verschillen van de klassieke neurale netwerken die tot nu toe in ai-toepassingen zaten. Bohté: ‘In de klassieke neurale netwerken zijn de signalen continu en wiskundig makkelijk hanteerbaar. Spiking neurale netwerken werken met pulsjes en staan dichter bij de biologie van de hersenen. Dat betekent wel dat signalen discontinu zijn en wiskundig veel lastiger hanteerbaar.’
De ‘wiskundige doorbraak’ is bereikt door onderzoekers van het Centrum Wiskunde & Informatica (CWI) en het Eindhovense onderzoekscentrum IMEC/Holst Centre en is gepubliceerd in een paper van de International Conference on Neuromorphic Systems. Het onderzoeksproject vindt plaats binnen het NWO Perspectief-programma ‘Efficient Deep Learning’. De onderliggende wiskunde is opensource beschikbaar.
Dit artikel is van afgelopen juni. Waardoor is dit nu pas ‘nieuws’?
REACTIE, redacteur Pim van der Beek
Beste Adriaan Mol, goede vraag, ik zie dat de paper eind mei 2020 gepubliceerd is. CWI heeft 8 oktober een persbericht uitgestuurd over dit onderwerp.
https://www.cwi.nl/nieuws/2020/doorbraak-in-energie-efficiente-kunstmatige-intelligentie
Ik vraag bij CWI na waarom er zoveel tijd tussen zit.
Zodra ik een reactie heb ontvangen, laat ik het aan u weten.
Groet, Pim van der Beek
REACTIE hoofd-onderzoeker Sander Bothé:
Het gepubliceerde deel van het onderzoek waar we aan refereren is eind juli gepubliceerd bij ACM press gelijktijdig met de ICONS conferentie. Waar we ook verder in het persbericht aan refereren, zoals de gesture-radarherkenning, zijn resultaten van deze zomer/najaar, waarmee de resultaten uit de paper van juli opschalen naar industrieel aantrekkelijke problemen.
De originele pre-print dateert van mei, maar we zoeken in principe niet de publiciteit voor niet-gerefereede pre-prints – en dit wordt ook ontmoedigd door de formele journals. Voor ons leek al met al nu het geschikte moment om hier ruchtbaarheid aan te geven.