Supercomputer Cartesius verdringt Huygens

De opbouw van de supercomputer Cartesius van leverancier van netwerkdiensten voor onderzoek en wetenschap Surfsara is de afgelopen weken een flinke puzzel geweest. Terwijl het oude IBM-systeem Huygens doordraaide, werd stapje voor stapje zijn opvolger Cartesius opgebouwd. Een lastig karwei, omdat beide supers fysiek op dezelfde plaats moesten komen. Wetenschappers draaien inmiddels hun onderzoeksprogramma’s op de nieuwe supercomputer geleverd door de Franse hardwarebouwer Bull. Hoog tijd voor een officiële overdracht.

Met een symbolische druk op een gigantische rode knop nam staatssecretaris Sander Dekker van Onderwijs, Cultuur en Wetenschap op 14 juni 2013 de nieuwe nationale supercomputer Cartesius in bedrijf. ‘Een supercomputer heeft natuurlijk ook een supergrote aan- en uitknop’, grapte de staatssecretaris tegen de verzamelde wetenschappers die de inhuldiging bijwoonden. ‘De supercomputer levert door het wetenschappelijke onderzoek dat hij mogelijk maakt een onmisbare bijdrage aan het welzijn in Nederland. Blijft u die boodschap vooral verspreiden’, hernam hij zich.

Het inrichten van het systeem is overigens nog in volle gang, verklapte Sara-directeur Anwar Osseyran in zijn dankwoord aan de staatssecretaris. Een eerste deel van de supercomputer is inmiddels al in gebruik, begin juli zal – als alles loopt zoals gepland – het hele systeem beschikbaar zijn. Dat betekent een factor 4-groei in rekenkracht ten opzichte van het huidige systeem. Cartesius vervangt het IBM-systeem Huygens bij Sara, dat sinds augustus 2008 in gebruik is en het einde van zijn levensduur heeft bereikt.

Het nieuwe wetenschappelijke speeltje heeft een prijskaartje van 14,5 miljoen euro, vertelt adjunct-directeur Peter Michielse van Surfsara. In dat bedrag zit alleen wel meer dan alleen de hardware. Ook het onderhoud en de energiekosten voor de komende drie jaar zijn in de aanschafprijs inbegrepen. ‘Als je alleen naar de hardware kijkt, heb je het over een bedrag van om en nabij de tien miljoen euro.’ Het contract met leverancier Bull heeft een looptijd van drie jaar. In het contract is echter een optie voor verlenging met maximaal drie jaar opgenomen.

Op de groei

Sara laat de capaciteit van de supercomputer de komende jaren meegroeien met de vraag naar rekenkracht bij gebruikers. Het systeem dat nu is opgeleverd heeft een maximale rekencapaciteit van 270 teraflop/s. ‘Hiervoor is gekozen omdat de ervaring leert dat de capaciteit van een nieuwe supercomputer in het eerste jaar bij lange na niet wordt gebruikt’, zegt Michielse. ‘Binnen zekere grenzen kan het systeem in stapjes meegroeien met de toename van de vraag naar rekenkracht.’ Halverwege 2015 moet de capaciteit zijn uitgebreid tot ruim een petaflop/s. ‘Die gefaseerde groei maakt het systeem goedkoper in exploitatie. Vroeger stond een systeem te stampen, onafhankelijk van de bezetting. Bovendien bevatten de later bijgeplaatste onderdelen weer de nieuwste technologie’, zegt Michielse.

De basisinfrastructuur van de supercomputer bestaat uit zeven rekken, waarop de blades die de rekenkracht leveren eenvoudig worden ingeprikt, vertelt hpc-consultant Ronald van Pelt van Bull, die Sara adviseerde rond de aanschaf van het nieuwe systeem. ‘Door vooraf goed na te denken, hebben wij nu de basis gelegd voor een systeem dat de komende drie generaties cpu’s aan kan. Daarmee heeft deze supercomputer een langere levensduur dan de standaard vijf jaar. Het enige dat wij moeten vervangen zijn de blades.’

GPU’s

Bovendien kan het systeem worden aangepast aan de vraag van gebruikers, bij voorbeeld als deze vragen om het gebruik van gpu’s (graphics processing unit), om de rekensnelheid te verhogen. ‘Surfsara zal in dit kader ook onderzoek doen naar het gebruik en de mogelijkheden van gpu’s als versnellers bij high performance computing’, zegt Michielse van Surfsara. Het gaat daarbij om gpu’s van Nvidia, maar ook om vergelijkbare systemen van Intel, de zogeheten Intel Xeon Phi’s. Beide soorten versnellers worden door de Bull-machine ondersteund.

De rekenservers van het systeem worden met vloeistof gekoeld met een systeem dat door Bull werd ontwikkeld. De techniek, in het Frans direct liquid cooling genoemd, voert warmte af door vloeistof door een gesloten systeem van platen te voeren die tegen de hitte producerende delen van het systeem liggen. Via warmtewisselaars wordt de vloeistof passief gekoeld met buitenlucht. Door de relatief hoge temperatuur van de vloeistof van 35 graden Celsius is het mogelijk vrijwel het gehele jaar gebruik te maken van buitenlucht. Daardoor hoeft bijna geen gebruik te worden gemaakt van mechanische koeling, waardoor het systeem stil en duurzaam is. Dit leidt bovendien tot een aanzienlijke besparing op de energiekosten voor koeling en beperkt het de uitstoot van kooldioxide. Het systeem kent een zogeheten pue van 1,2. ‘Bij traditionele koeling met lucht zou het systeem eerder in de buurt van de 1,6 uitkomen’, zegt hpc-consultant Van Pelt.

Gesloten circuit

De koelingssystemen vormen voor elk apart onderdeel van de supercomputer een gesloten circuit: de racks, het chassis en de individuele blades. Dit maakt dat onderhoud nog steeds kan worden uitgevoerd terwijl het systeem in bedrijf is. Het is overigens voor het eerst dat dit koelsysteem van Bull in een Nederlandse supercomputer wordt toegepast. De supercomputer die de Franse hardwareleverancier in maart 2012 opleverde bij het KNMI in De Bilt wordt gekoeld met behulp van warmte- en koudeopslag in de ondergrond.