Clusters zijn gemeengoed geworden

Ondanks dat Intels Cluster Ready-programma nog maar anderhalf jaar oud is, is het nu al een succes te noemen. Een hele zwik partners die zich specifiek richt op X86-gebaseerde rekenclusters biedt gecertificeerde systemen aan. Software-leveranciers kunnen nu uitgaan van een minimale basisconfiguratie. Daarmee zijn clusters een commodity geworden.

Tot voor kort waren clusters maatwerk. Gespecialiseerde leveranciers als ClusterVision en Linvision verdienden hun boterham met het bouwen, de installatie en configuratie van samengestelde systemen. Op hardwareniveau ging het om de keuze van de componenten en het verbindende netwerk. Daarbovenop kwamen dan de cluster-specifieke libraries, drivers en tools.

Basisplatform

Bijna twee jaar geleden introduceerde Intel zijn Cluster Ready-programma. Destijds sprak het bedrijf de ambitie uit om van X86-gebaseerde clusters een commodity (gemeengoed) te maken. Daarvoor werd een minimale hardware-configuratie en een software stack voor Linux gedefinieerd. Dat op basis van Ethernet of InfiniBand, en de eigen software-bibliotheken: MPI (Message-Passing Interface), TBB (Threading Building Blocks) en MKL (Math Kernel Library).

Doel van dit programma is softwareleveranciers een platform te bieden waarop zij hun applicaties kunnen aanbieden. Daarbij kunnen ze uitgaan van een bepaalde basisomgeving. Faciliteiten die daar niet in zitten, moeten ze zelf of via partners meeleveren.

Eindgebruikers zijn in dit geval niet de universiteiten en andere onderzoeksinstellingen. Het gaat om clusters voor commerciële en industriële applicaties. Volgens IDC zijn clusters inmiddels verantwoordelijk voor meer dan de helft van de servers in technische toepassingen. Denk dan aan industriële rekenclusters, computers voor financiële analyses en systemen voor het doorrekenen van modellen bij ingenieursbureau's. Naar verwachting zijn deze machines straks verantwoordelijk voor meer dan driekwart van de hptc-markt (High-Performance Technical Computing).

Cluster Checker

Intels bemoeienissen beperken zich tot de eisen (requirements); de implementatie is aan de platform-leverancier. Certificering gebeurt aan de hand van de Cluster Checker. Deze tool wordt niet alleen door de leverancier gebruikt, maar ook meegeleverd zodat de eindgebruiker zijn systeem kan testen, zowel bij aflevering als in productie.

Waar hardware wordt gecertificeerd, spreekt Intel als het gaat om software steevast over registratie. Het bedrijf heeft altijd vaag gedaan over het onderscheid en het waarom. "Alleen het referentie-systeem wordt bij ons aangemeld als het door de Cluster Checker is gekomen," vertelt Werner Krotz-Vogel, technical marketing engineer bij Intels Cluster Ready-team. "Meestal worden op basis daarvan vergelijkbare configuraties verkocht. Elk van die individuele systemen moet wel door de leverancier worden getest. Dat duurt niet lang, dertig minuten ofzo. Dan is wel gegarandeerd dat het systeem goed loopt. Het gaat dus om meer dan alleen de configuratie."

Voor het testen van softwarepakketten heeft Intel een minimale Cluster Ready-configuratie opgezet. "De leverancier biedt de software, de scripts en test-data aan. Als die goed lopen, dan wordt het pakket als Cluster Ready geregistreerd."

Certificaat

De certificering blijkt in de dagelijkse praktijk soepel te worden gehanteerd. "Wij garanderen dat alle Cluster Ready-software op onze systemen loopt," vertelt Matthijs van Leeuwen, de commercieel directeur van ClusterVision, "maar ik ben nog geen klant tegengekomen die expliciet om dat certificaat vroeg."

Aan de prijs ligt het in elk geval niet. "Intel vraagt geen geld voor certificering. Zij stimuleren bedrijven als dat van ons. Zij hebben groot belang bij de markt voor zware systemen en doen veel aan eigen software-ontwikkeling. Daarmee bewijzen zij de applicatie-ontwikkelaars en de eindgebruikers een grote dienst."

Van Leeuwen bevestigt dan ook het succes van het Cluster Ready-programma. ClusterVision levert zelf gecertificeerde systemen, net als de meeste van hun concurrenten. "Clusters gebaseerd op pc-technologie kosten maar een fractie van de oude super en leveren dezelfde prestaties."

Top 500

Ondanks dat succes ziet Van Leeuwen het Intel-programma niet als een bedreiging voor zijn markt of marges. "De meerwaarde van ClusterVision zit 'm in de zelf ontwikkelde beheer-suite. Ons ClusterVisionOS is gebaseerd op Linux. We hebben daarvoor een specifieke verzameling packages gedefinieerd. Die hebben we aangevuld met een aantal cluster- en wetenschappelijke bibliotheken, zowel open source als van commerciële partijen." Daarbij komen dan de eigen management en monitoring tools. "Daar hebben we jaren aan gewerkt. Vorig jaar hebben we de grafische user interface geïntroduceerd."

Daarnaast richt ClusterVision zich ook op het hoogste segment van de high performance computing-markt. "IBM en HP hebben om beurten de meeste systemen in de Top 500 van snelste computers ter wereld staan. Maar in die ranglijst zijn wij het meest succesvolle niet-beursgenoteerde bedrijf. Die positie hebben we in de afgelopen zes, zeven jaar opgebouwd en daar zijn we erg trots op."

In dat hoogste segment speelt het Intel programma volgens Van Leeuwen geen rol. "Een systeem op de 500ste plaats kost al meer dan één miljoen Euro. Vanwege de complexiteit daarvan heb je sowieso experts nodig. Zo zijn die systemen altijd gebaseerd op de laatste technologie. Dat betekent dat er bijvoorbeeld andere drivers nodig zijn, die misschien nog gedebugged moet worden."

Uitbreiding

Op dit moment wordt bij Intel wel gewerkt aan de uitbreiding van de Cluster Checker, niet alleen voor de bovenkant maar ook voor de onderkant van de markt. Dat gebeurt in samenspraak met de HPC-gemeenschap. Zo moet een volgende versie meerdere head nodes (aansturende systemen) ondersteunen. Maar ook een check voor enkelvoudige systemen is in ontwikkeling. "Er is vraag naar de verificatie van de software stack op sequentiële systemen (verticaal schaalbare machines die bijvoorbeeld Java draaien)," aldus Krotz-Vogel. Tenslotte wordt gewerkt aan de ondersteuning van parallelle file systems.