De grootste misvattingen over vloeistofkoeling in datacenters

Van de vele kritieke systemen in een datacenter evolueren koeltechnologieën het snelst, vereisen ze de steilste leercurve en brengen ze de grootste operationele risico's met zich mee. Grootschalige datacenterprojecten omvatten vaak investeringen ter waarde van miljarden, waardoor eventuele ontwerpfouten extreem kostbaar zijn. Bovendien loopt de IT-infrastructuur, naarmate de vraag naar datacenters zich snel ontwikkelt, het risico van versnelde afschrijving.

Uitdagingen en veelvoorkomende misvattingen bij datacenterkoeling
Tegenwoordig kan de warmtedichtheid per vierkante meter in een datacenter meer dan 50 keer zo hoog zijn als in een typische kantoorruimte, waarbij de IT-belastingen vaak de 30 MW overschrijden. Koelsystemen zijn ontworpen om IT-apparatuur binnen optimale temperatuurbereiken te houden - zoals het handhaven van NVIDIA DGX H100-clusters tussen 5°C en 30°C. Afwijken van deze bereiken kan de levensduur van de apparatuur verkorten, en aangezien servers en hardware een groot deel van de Total Cost of Ownership (TCO) van een datacenter uitmaken, is efficiënte koeling cruciaal.

Momenteel is koeling, afgezien van de IT-apparatuur zelf, de op een na grootste kapitaaluitgave in datacenters geworden, direct na elektrische systemen. Naarmate koelarchitecturen diversifiëren en energie-efficiëntie kritischer wordt, zijn koeloplossingen nu een centrale ontwerpuitdaging. Voor cloudserviceproviders zijn koelgerelateerde energiekosten een belangrijke operationele zorg, die zorgvuldige afweging op systeemniveau vereist.

Er bestaan veel misverstanden over de drijfveren achter de adoptie van vloeistofkoeling en de toekomstige trends voor koeling in AI- en trainingsdatacenters. Sommigen geloven dat vloeistofkoeling altijd energie-efficiënter is dan luchtkoeling, of dat luchtkoeling geen chips met een vermogen van meer dan 1000W aankan. Anderen denken dat servers met een laag vermogen en luchtkoeling beter zijn voor inferentiescenario's. De echte drijvende kracht achter de adoptie van vloeistofkoeling is echter het optimaliseren van de TCO voor AI-rekenkracht - niet alleen energiebesparing of 'groenere' credentials.

De ware waarde van vloeistofkoeling: dichtheid en TCO-optimalisatie
Vloeistofkoeling is niet nieuw - datacenters in de jaren zestig gebruikten het om IBM-mainframes te koelen. Toch hebben moderne datacenters lange tijd de voorkeur gegeven aan luchtkoeling, dankzij de lagere initiële kosten en een volwassen toeleveringsketen. Naarmate de schaal van datacenters is toegenomen, heeft de luchtkoelingstechnologie gelijke tred gehouden, waardoor steeds hogere rackvermogensdichtheden mogelijk zijn, terwijl de energie-efficiëntie behouden blijft.

Zelfs vandaag de dag domineert luchtkoeling de AI-ruimte. Het referentieontwerp van NVIDIA voor H100-implementaties maakt bijvoorbeeld maximaal vier luchtgekoelde servers per rack mogelijk, met een totaal stroomverbruik van 41 kW. In veel datacenters betekent dit dat operators vaak de helft van hun racks leeg laten om oververhitting te voorkomen. Technologieën zoals warmtewisselaars aan de achterdeur en gesloten luchtstroomkasten kunnen de dichtheid per rack boven de 50 kW duwen, maar de belangrijkste beperkende factor is vaak de fysieke grootte en de koelvereisten van de servers zelf.

Hoewel vloeistofkoeling ooit als duur werd beschouwd, zijn de totale kosten relatief bescheiden in vergelijking met de levenscyclus van IT-apparatuur. De echte waarde ligt in het maximaliseren van de IT-prestaties: vloeistofkoeling maakt het mogelijk om meer GPU's en AI-versnellers dicht op elkaar te plaatsen en efficiënt te koelen, waardoor een hogere rekendichtheid en een grotere samenwerking tussen versnellers mogelijk worden.

Een uitstekend voorbeeld is het NVIDIA GB200 NVL72-systeem, dat direct-to-chip vloeistofkoeling (DLC) gebruikt om 72 GPU's in een enkel 120kW-rack te ondersteunen. Deze doorbraak maakt een aanzienlijk lagere TCO mogelijk voor het trainen en infereren van grote taalmodellen (LLM's) en zet een nieuwe standaard voor datacenters met hoge dichtheid en hoge prestaties.

De economie van datacenterkoeling heroverwegen
Hoewel vloeistofkoeling de operationele kosten kan verlagen (door te besparen op serverventilatorvermogen - ongeveer 70% van het koelgerelateerde energieverbruik), zijn deze besparingen alleen niet voldoende om een volledige overstap van lucht- naar vloeistofkoeling te rechtvaardigen. De hogere initiële investering, de complexere onderhoudsvereisten en de minder volwassen toeleveringsketen zijn allemaal kritieke factoren. Hoewel vloeistofkoeling fysieke ruimte bespaart, is vloeroppervlakte zelden de duurste bron in een datacenter - de meeste kosten zijn nog steeds gekoppeld aan de IT-belasting.

De fysica en implementatie van vloeistofkoeling
Vloeistofkoeling is efficiënter omdat een bepaald volume vloeistof ongeveer 4.000 keer meer warmte kan absorberen dan lucht. Het pompen van vloeistof (dat ~830 keer dichter is dan lucht) vereist echter meer energie, en de benodigde energie is recht evenredig met de stroomsnelheid. Direct-to-chip vloeistofkoeling kan de rackdichtheid aanzienlijk verhogen, maar brengt uitdagingen met zich mee, zoals slangen, grotere pijpdiameters en de behoefte aan duurdere materialen.

In een typische opstelling worden koperen cold plates bevestigd aan de heetste componenten (CPU's en GPU's), waarbij gekoeld water door distributiemanifolds op rackniveau circuleert. Andere componenten, zoals NIC's en opslagapparaten, zijn nog steeds afhankelijk van ventilatoren voor koeling.

Over het algemeen beheert een koelverdelingseenheid (CDU) het systeem, hetzij op rij- of rackniveau. Hoewel grootschalige implementaties vaak CDU's op rijniveau gebruiken voor kosten- en onderhoudsefficiëntie, worden geïntegreerde CDU's op rackniveau populairder voor snelle implementatie en duidelijke leveranciersverantwoordelijkheid. In alle gevallen bevindt de CDU zich binnen de white space van het datacenter.

Vooruitkijkend, terwijl single-phase DLC klaar is voor massale adoptie, is onderzoek naar two-phase en immersion koeltechnologieën gaande (meer over next-gen koeling).

De juiste koeloplossing kiezen
Naarmate datacenterkoeltechnologieën steeds geavanceerder worden, is het kiezen van de juiste oplossing essentieel voor operators die de rekendichtheid willen maximaliseren en tegelijkertijd de kosten en risico's willen minimaliseren. Bij Coolnet bieden we een volledig assortiment datacenterkoeloplossingen - van traditionele luchtkoeling tot geavanceerde vloeistofkoeling - ontworpen om te voldoen aan de behoeften van AI- en cloud workloads met hoge dichtheid.

Als u meer wilt weten over het nieuwste op het gebied van modulair datacenterontwerp of wilt zien hoe de geprefabriceerde modulaire datacenters van Coolnet geavanceerde koeltechnologieën integreren, neem dan contact met ons op voor een gratis consult.

Referenties:
NVIDIA Datacenteroplossingen
China IDC Circle: Datacenterkoeltrends