Datacenterkosten stijgen voortdurend en daarom is kostenbeheersing van cruciaal belang om het datacenter economisch efficiënt te houden. Dit geldt voor alle gebieden, ook voor beslissingen over de fysieke laag en de bekabelingsconfiguratie. In dit artikel analyseer ik de kostenimplicaties van de bekabelingstopologie in kritische gebieden in het datacenter.
ToR-switching (top of rack) en any-to-all (A2A)-gestructureerde bekabeling zijn twee veelbesproken bekabelingsconfiguraties in het datacenter. In een ToR-configuratie worden kleinere (1RU of 2RU) edgeswitches boven in elk serverrack (of cabinet) geplaatst en rechtstreeks op de servers in het rack aangesloten. Door deze proprietary point-to-point verbindingen hoeft er geen gebruik te worden gemaakt van gestructureerde bekabeling op basis van industriestandaarden of van een geschikt centraal distributiegebied.
Bij een A2A-configuratie met gestructureerde bekabeling wordt gebruikgemaakt van distributiegebieden die flexibele, op standaarden gebaseerde verbindingen tussen apparaten bieden. Patchpanelen die switch- en serverpoorten spiegelen zijn via permanente verbindingen gekoppeld aan corresponderende panelen in het distributiegebied. Deze distributiegebieden kunnen zich aan het einde of in het midden van een rij cabinets bevinden en vormen een any-to-all configuratie waarbij elke switchpoort kan worden verbonden met elke serverpoort.
Hoewel sommige voorstanders van ToR beweren dat een ToR-configuratie grotere besparingen oplevert in het datacenter, met name op het gebied van bekabeling, is het de moeite waard om dit nader te bekijken en de totale effecten en kostenimplicaties voor alle kritische gebieden in het datacenter te evalueren voordat er ontwerpbeslissingen worden genomen.
Actieve apparatuur en onderhoud
Met een ToR-switch in elk cabinet (of twee voor dubbele, primaire en secundaire netwerken) is het totaal aantal switchpoorten afhankelijk van het totaal aantal kasten in het datacenter, en niet van het feitelijke aantal switchpoorten dat nodig is om de verbindende apparatuur te ondersteunen. Hierdoor kan het vereiste aantal switches en voedingsunits bijna worden verdubbeld ten opzichte van gestructureerde bekabeling.
En anders dan passieve gestructureerde bekabeling hebben ToR-switches blijvend onderhoud nodig. Zo zijn, op basis van een bestaand datacenter met 39 cabinets, waarbij gebruikt wordt gemaakt van dubbele netwerken, de kosten voor apparatuur en onderhoud bij ToR meer dan het dubbele in vergelijking met gestructureerde bekabeling.
Energieverbruik
Energieverbruik is een van de belangrijkste aandachtspunten van de huidige datacentermanagers. Wanneer switches volledig worden gebruikt in een ToR-configuratie, moeten er in het cabinet een extra switch en extra voedingsunits worden geplaatst als er een nieuwe server aan het cabinet wordt toegevoegd. Hierdoor is er minder stroom beschikbaar voor servers. Mogelijk kan het cabinet niet eens van voldoende stroom worden voorzien om de extra belasting te ondersteunen.
Ook al wordt door virtualisatie het aantal servers en de daarvoor benodigde energie en koeling verminderd, dan nog kan het grotere aantal voedingsunits die bij ToR nodig zijn, een deel van de besparingen als gevolg van virtualisatie tenietdoen. Het is belangrijk om te bedenken dat niet-gebruikte switchpoorten ook in een inactieve status stroom kunnen verbruiken.
Het gebruik van switchpoorten
Onderzoeken, die zijn uitgevoerd door DataCenter Dynamics en de Gartner Group, laten zien dat de gemiddelde hoeveelheid stroom die aan een servercabinet wordt geleverd, varieert tussen 5 en 6 kW. Uitgaande van deze veronderstelling is het aantal servers in een cabinet ongeveer veertien. De behoefte aan serverswitchpoorten is daarom doorgaans lager dan het aantal switchpoorten dat beschikbaar is op een ToR-switch. Bijvoorbeeld: als er maar veertien poorten van een 32-poorts switch in gebruik zijn, worden er achttien poorten niet gebruikt.
Met gestructureerde bekabeling kunnen nagenoeg alle actieve poorten volledig worden gebruikt omdat ze niet beperkt zijn tot één cabinet. In plaats hiervan kunnen de 32 switchpoorten die in een ToR-configuratie zouden worden toegewezen aan één cabinet, nu naar behoefte via het distributiegebied worden verdeeld over meerdere cabinets.
Hoewel het aantal niet-gebruikte poorten minder zal zijn in high-density serveromgevingen waar het vermogen dat aan servercabinets wordt geleverd, nu ter ondersteuning van een complete serverbezetting stijgt tot boven 20 kW, kunnen het er alles bij elkaar nog heel wat zijn. Bijvoorbeeld: in een high-density serverfarm met veertig servers, tweehonderd cabinets en per cabinet een 48-poorts switch is het aantal niet-gebruikte poorten zestienhonderd (namelijk acht niet-gebruikte poorten per cabinet), waarvan de kosten ongeveer 735.000 dollar bedragen. Het gebruik van gestructureerde bekabeling kan daarom ook in deze high-density omgevingen aanzienlijke besparingen opleveren.
Bekabeling
Hoewel sommigen wellicht betogen dat met ToR kan worden bespaard op de kosten van gestructureerde bekabeling, zijn de small form-factor pluggable twinaxiale korteafstandskabelsystemen die in ToR-switching worden gebruikt doorgaans duurder dan koperen patchkabels die in een gestructureerd bekabelingssysteem worden gebruikt.
De extra kosten van deze ToR-kabelsystemen kunnen eventuele besparingen tenietdoen, met name wanneer switchleveranciers eisen dat hun eigen kabelsystemen worden gebruikt. De kosten van de ToR-kabelsystemen zijn voor elke gebruikte poort feitelijk meer dan het dubbele van de kosten van gestructureerde bekabeling.
Apparatuurplaatsing en koeling
ToR-ontwerpen kunnen bovendien apparatuurplaatsing bemoeilijken vanwege de korte bekabelingslengten die beschikbaar zijn en vanwege datacentervoorschriften die patching van cabinet naar cabinet niet toestaan. Hierdoor kan apparatuur niet altijd worden geplaatst waar dit het beste zou uitkomen in verband met voeding en koeling. Bijvoorbeeld: als het netwerkbudget het niet toelaat om nog een cabinet met een ToR-switch uit te rusten, kan een nieuwe blade server uitsluitend worden geplaatst op een locatie waar netwerkpoorten beschikbaar zijn. Dit kan leiden tot hot spots, die een nadelig effect kunnen hebben op naburige apparatuur binnen dezelfde koelzone. Gestructureerde bekabelingssystemen voorkomen dergelijke problemen.
Conclusie
De analyse van kritische gebieden in het datacenter, waaronder actieve apparatuur, voeding, koeling, bekabeling en apparatuurplaatsing, heeft aangetoond dat ToR-switching hogere kosten met zich mee kan brengen in vergelijking met een configuratie met gestructureerde bekabeling. Er zijn echter veel meer factoren die van invloed zijn op de keuze van de bekabelingsconfiguratie in het datacenter en er is niet één definitieve bekabelingsconfiguratie die voor elk datacenter optimaal is.
Daarom moeten cio’s, datacenterprofessionals en it-managers de voors en tegens van elke oplossing onderzoeken op basis van hun specifieke behoeften en moet er door de afdelingen die gaan over de voorzieningen en netwerken een allesomvattend onderzoek worden uitgevoerd om uiteindelijk de best onderbouwde beslissing te nemen op basis van degelijke berekeningen ten aanzien van de levensduurwaarde.
Carrie Higbie, directeur datacenter solutions and services bij Siemon
