Sensoren die patronen herkennen en werken als hersens, zijn in aantocht. Innatera Nanosystems uit Delft heeft een neuromorfe chip ontwikkeld die sensor-data honderd keer sneller verwerkt dan conventionele processors. Bovendien gebeurt dit met tot vijfhonderd keer minder energie. Ook ict-reus Intel blijkt in dit veld actief.
Deze verbetering in prestaties en energieverbruik maakt de weg vrij voor geavanceerde kunstmatige intelligentie (ai) in sensoren aan de rand van netwerken (sensors edge). Applicaties zoals intelligente spraakverwerking in mens-machine-interfaces komen zo dichterbij. Ook valt te denken aan het monitoren van vitale functies in wearable apparaten. Ook makkelijker wordt het herkennen van doelen in radars en lidars die afstanden tot een object bepalen. De technologie is ook toepasbaar bij foutherkenning in industriële apparatuur en auto’s.
Om deze neuromorfe intelligentie naar de sensor-edge te brengen, heeft Innatera eind november vijf miljoen euro aan ‘seed capital’ opgehaald.
Fundamenteel verschil
Tot dusver waren dit soort applicaties beperkt door de efficiëntie en snelheid van de processor, stelt ceo dr. Sumeet Kumar. Vooral in kleine, op batterijen werkende apparaten was het lastig ai in te bouwen. Innatera weet de verwerking van sensor-data te verbeteren door de doelmatigheid van analoge ‘mixed signal’ neuromorfe chips te combineren met de hogere prestaties van gepulste (spiking) neurale netwerk algoritmen.
De neuromorfe chip die Innatera heeft ontwikkeld, verschilt fundamenteel sterk van traditionele ai-chips. De technologie is gebaseerd op een nieuw soort elektronica die het gedrag nabootst van de bouwblokken van hersens; gepulste neuronen en synapsen. Dit soort neurale netwerken beschikken over een precies gevoel van tijd waardoor ze tien tot honderd keer compacter zijn dan conventionele neurale netwerken.
Innatera’s architectuur, waarvoor de basis werd gelegd aan de TU Delft, heeft weinig energie nodig. Tegelijk is de vertraging (latency) bij de herkenning van patronen uiterst laag. De prestaties per watt zijn tot tienduizend keer hoger dan bij digitale processoren en conventionele ai-acceleratoren. Innatera, voortgekomen uit de TU Delft, werkt samen met een aantal grote internationale spelers op gebied van sensoren.
Academische achtergrond
De aankondiging van Innatera valt samen met een update die Intel de vorige week gaf van ‘neuromorfic computing’. Intel zelf is nog niet toe aan een commerciële lancering van dit soort systemen. Wel doet de processorfabrikant testen met een chip, Loihi genaamd.
Het zal nog wel even duren voordat er naast een cpu en een gpu ook een neuromorfe chip in een pc zit. Maar de onderzoeksgemeenschap die zich rond Intels Loihi test chip heeft gevormd, groeit snel. Volgens Mike Davies, director Neuromorphic Computing bij Intel Labs, zijn al meer dan honderd groepen op dit gebied actief. Daarvan heeft het merendeel een academische achtergrond. Ook onder leiding van Intel en het Sandia Labs zijn veel projecten gestart. Samen met Accenture ondersteunt Intel een researchproject voor een robot-arm voor pediatrische patiënten die in een rolstoel zitten. Onder meer Airbus, GE en Hitachi hebben zich bij deze community aangesloten.
Aan de neuromorfische chip wordt al geruime tijd gewerkt. Zes jaar geleden hebben onderzoekers van IBM de TrueNorth-chip ontwikkeld die qua architectuur veel weg heeft van hersenen. Enigszins vergelijkbaar hiermee is Loihi. Intel hoopt dat deze chip uiteindelijk de basis wordt voor hardware op gebied van deep learning, technologie die gebruik maakt van een neuraal netwerk.
Balkparkiet
Mike Davies begon zijn inleiding met het vergelijken van een autonome drone en een balkparkiet. Een drone heeft een vermogen van 18.000 megawatt. De cpu/gpu-controller weegt veertig gram. Na een uitgebreide training vliegt die drone tussen poortjes door in een wandeltempo. Een parkiet heeft een vermogen van vijftig megawatt. Zijn hersenen wegen 2,2 gram. Met een snelheid van 35 km vliegt deze door een onbekende omgeving. Hij kan bekers manipuleren om wat te drinken en spreekt enkele menselijke woorden. Zo’n beestje verwerkt data heel wat sneller en efficiënter dan een drone. Er valt dus nog heel wat achterstand op de natuur in te halen.
Deep learning-modellen hebben steeds meer behoefte aan verwerkingskracht, stelt Davies. Om deze modellen goed te kunnen trainen, moet de rekensnelheid in zes jaar 300.000 keer omhoog. Met de Wet van Moore kom je hooguit tot acht keer sneller. Deze wet voorspelt dat de rekenkracht elk anderhalf jaar verdubbelt. Omdat het dus nog eeuwen kan duren voordat het gewenste niveau is bereikt, is er alle reden om meer naar de natuur te kijken bij het ontwerp van chips.
Op zijn kop
Bij neuromorfe chips worden enorme aantallen gepulste neuronen verbonden met synapsen, op een manier die vergelijkbaar is met de werking van hersens. Ze verwerken informatie asynchroon. De hele computerarchitectuur is daarbij volledig op zijn kop gezet. Net als bij hersens zijn processor en geheugen volledig geïntegreerd.
De Loihi-chip kenmerkt zich door op pulsen gebaseerde communicatie en ‘schaarse connectiviteit’ die efficiënte datastromen en schaalbaarheid mogelijk maakt. Het leerproces verloopt op de chip. Deze chip kent geen floating point nummers, geen multiply-accumulators en geen off-chip dram. Bij geschikte workloads biedt Loihi aanzienlijke verbeteringen in latency en energieverbruik. De chip blijkt snel gebaren te leren herkennen.
Inmiddels wordt Loihi getest in robotica, bij het oplossen van optimalisatie-problemen (bijvoorbeeld Sudoku) en bij het zoeken van gelijkenissen. Spectaculaire vooruitgang is geboekt bij het herkennen van geuren. Verwacht wordt dat neuromorfe chips zoals die van het Nederlandse Innatera, veel toekomst hebben in edge computing. Ook bij camerasystemen (event based sensing) kunnen deze chips doorbreken. Samsung, Sony en Prophesee behoren tot de bedrijven die hier onderzoek naar doen. Ook kan worden gedacht aan een elektronische huid die aanrakingen kan voelen.
