De vooruitgang van machine learning en kunstmatige intelligentie is meer dan massale rekenkracht. Google zet een zelfontworpen cpu in, te weten de tpu, ofwel tensor processing unit. Intel outside?
Google heeft op zijn developersconferentie I/O vorige week veel aankondigingen gedaan voor Android, virtual reality, smarthomes, connected kleding (die toch wasbaar is) en ook machine learning. Dat laatste kwam op de eerste I/O-dag pas aan bod bij de afsluiting van de openingstoespraken. Ceo Sundar Pichai wijdde bij dat slot nog even wat woorden aan machine learning, kunstmatige intelligentie (AI) en Google’s strategische inzet daarop. Een klein maar significant deel van dat werk komt neer op eigen hardware die Google heeft ontwikkeld. Specifiek: een eigen processor.
Geheim wapen voor Go
Het zelflerende gedrag van computers krijgt een aanzienlijke oppepper van Google’s zogeheten tpu, wat staat voor tensor processing unit. De term tensor is afkomstig van de door Google ontwikkelde library voor machine learning. Deze software is vrijgegeven als open source onder de Apache 2.0-licentie. In tegenstelling tot de open aard en aanpak rond Tensorflow zijn de ontwikkeling en het ontwerp van de tpu goed afgeschermd.
Het ontwikkelen van de custom chip zelf is in het grootste geheim gebeurd en ook de eerste externe praktijktest is stilletjes gedaan. Tenminste, de toepassing ervan is zeker niet geheim gehouden. Dat was namelijk het roemruchte Go-toernooi waarbij de door Google overgenomen Alphago-software de Zuid-Koreaanse kampioen Lee Se-dol wist te verslaan. Het geheime wapen in die strijd was de speciaal ontworpen processor, weet The Wall Street Journal te melden.
Creatieve zetten
Dankzij de maatwerkchip kon de AI-software al spelende sneller leren en zijn zetten verder vooruit bepalen. Let wel: het gaat hier niet om bruut rekengeweld waarmee dan zoveel mogelijk combinaties van zetten en vervolgzetten werden gecrunched. Het gaat om leren en reageren, waarbij het Google-systeem zelfs nog een zet heeft gedaan die volgens ceo Pichai echt als creatief valt te zien.
Dit was de 37ste zet in de tweede wedstrijd van het toernooi. Deze actie van Alphago heeft commentators en Go-experts verrast. Overigens heeft Google’s menselijke tegenstander in dat toernooi in de vierde wedstrijd ook een verrassende en innovatieve zet gedaan. Wat toen nog niet bekend was, is dat de AI-software van Google draaide op speciale hardware, ontworpen door Google.
Meer dan spielerei
Daar doet het bedrijf nu een boekje over open. Zo blijkt de tpu niet alleen voor Go te worden ingezet. Logisch, aangezien de chip bedoeld is voor het breed toepasbare terrein van machine learning: het herkennen en benutten van patronen in stromen data om taken te kunnen leren zonder van tevoren daarvoor te zijn geprogrammeerd. ‘De tpu is gericht op applicaties voor machine learning, waardoor de chip toleranter kan omgaan met lagere computational precisie‘, schrijft Jouppi in de blogpost over de Google-eigen chip.
‘Hierdoor kunnen we meer operations per seconde uit de chip persen, kunnen we geavanceerdere en krachtigere modellen voor machine learning gebruiken en kunnen we deze modellen sneller toepassen.” Het eindresultaat is dat gebruikers snellere en intelligentere resultaten krijgen. Dit is geen theorie, want Google blijkt de tpu allang intern te hebben ingezet. ‘Tpu’s drijven al diverse applicaties bij Google aan, zoals Rankbrain, dat wordt gebruikt om de relevantie van zoekresultaten te verbeteren, en Streetview, om de accuraatheid en kwaliteit van onze kaarten en routenavigatie te verbeteren.”
Drie generaties Wet van Moore
Machine learning vormt namelijk al de basis onder veel – en veelgebruikte – Google-applicaties. ‘We gebruiken al meer dan een jaar tpu’s binnen onze datacenters’, onthult de hardware-ingenieur. Deze interne en topgeheime praktijkervaring heeft Google geleerd dat deze custom asic (application-specific integrated circuit) een aanzienlijk hoger prestatieniveau per Watt levert voor machine learning.
‘Dit is grofweg gelijk aan het ‘vooruitspoelen’ van technologie naar zo’n zeven jaar in de toekomst.’ Dit komt volgens Google neer op drie generaties aan processors volgens de vooruitgang van de Wet van Moore. Het r&d-werk (onderzoek en ontwikkeling) voor de tpu is enkele jaren geleden al gestart. De tpu is een voorbeeld van hoe snel Google research kan omzetten in praktijk, schrijft Jouppi. Het kostte het betrokken team slechts 22 dagen om de eerste chips na het doorstaan van tests volwaardig in gebruik te nemen voor applicaties in de eigen datacenters.
Schaduw voor Intel, Nvidia, AMD
Overigens hoeft Intel zich nog niet gelijk grote zorgen te maken, ondanks dreigende artikelkoppen van bijvoorbeeld techmagazine Wired. Enerzijds omdat de tpu een aanvullende processor is, die via een pci express-aansluiting wordt aangesloten op moederborden in serverracks. Daarnaast heeft Google geen plannen om tpu’s te verkopen aan andere bedrijven. Er is dus geen sprake van directe concurrentie voor cpu-maker Intel of gpu-makers Nvidia en AMD (die ooit Ati heeft overgenomen).
Anderzijds werpt de tpu wel een schaduw waar andere chipmakers rekening mee moeten houden. Google is met zijn grote aantallen datacenters namelijk een erg grote afnemer van cpu’s en gpu’s. Het bestaan plus de effectiviteit van de zelfontwikkelde tpu kan de vraag naar andermans chips doen afnemen. Daarnaast is er nog het toenemende cloudgebruik door gewone bedrijven, die daarvoor op onder meer Google vertrouwen en hierdoor zelf weer minder serverprocessors nodig hebben. Tot slot is de tpu slechts de eerste van vele eigen chips die Google gaat maken, vertelt infrastructuurhoofd Urs Hölzle aan Wired.
