5 april 2025
Naarmate grote taalmodellen (LLM’s) in omvang toenemen, stijgen ook hun behoeften aan rekenkracht en netwerkbandbreedte. Het trainen van dergelijke modellen vereist infrastructuren die tienduizenden GPU’s of NPU’s bevatten, zoals bij het LLaMA-3-model, waarvoor 16.000 GPU’s gedurende 54 dagen zijn ingezet. AI-datacenters gebruiken nu meer dan 100.000 GPU’s, en vereisen interconnecties met snelheden boven de 3,2 Tbps per knooppunt. Traditionele netwerkarchitecturen zoals Clos zijn hierbij vaak te duur en inefficiënt.
De opkomst van LLM’s vraagt om een herziening van datacenterarchitecturen. De patronen van dataverkeer bij LLM-training verschillen van conventionele taken. Bij tensor-parallelisme speelt communicatie binnen kleine groepen een grote rol, terwijl data-parallelisme minder frequent maar over langere afstanden plaatsvindt. Netwerk- en rekenbronnen moeten nauwkeurig worden afgestemd om congestie en verspilling te voorkomen.
Tegelijkertijd is fouttolerantie een cruciaal aspect in deze grootschalige systemen, waar hardware storingen onvermijdelijk zijn. Zelfherstellende mechanismen, zoals automatische herroutering en redundante componenten, zijn essentieel om continuïteit te waarborgen in AI-training op schaal. Een efficiënte infrastructuur moet dus niet alleen schaalbaar, maar ook veerkrachtig zijn.
Onderzoekers van Huawei hebben UB-Mesh ontwikkeld, een innovatieve netwerkarchitectuur voor AI-datacenters die efficiëntie, schaalbaarheid en betrouwbaarheid combineert. In plaats van symmetrische Clos-netwerken gebruikt UB-Mesh een hiërarchisch nD-FullMesh-topologie, waarbij korte verbindingen worden geoptimaliseerd en het gebruik van dure schakelaars en optische modules sterk wordt verminderd. UB-Mesh reduceert het aantal benodigde schakelaars met 98% en de afhankelijkheid van optische modules met 93%.
UB-Mesh bestaat uit modulaire hardwarecomponenten die worden samengebracht binnen een 2D- en 4D-meshstructuur. Op rackniveau zijn 64 NPU’s verbonden in een 2D-mesh, die uiteindelijk een grotere SuperPod-structuur vormen via een hybride Clos-topologie. Deze opbouw zorgt voor een gunstige balans tussen prestaties, kosten en flexibiliteit voor grootschalige AI-toepassingen.
Om collectieve communicatieprocessen verder te optimaliseren, bevat UB-Mesh een speciale co-processor, de Collective Communication Unit (CCU). Deze beheert gegevensoverdracht tussen NPU’s en vermindert geheugenbelasting door slimme buffertechnieken. Het systeem ondersteunt ook efficiënte training van MoE-modellen en biedt hoge lineaire schaalbaarheid, verbeterde beschikbaarheid en dubbele kostenbesparing ten opzichte van traditionele netwerken zoals Clos.
Geef een reactie