Sep 11, 2026

Škálování AI GPU clusterů pomocí optického kabelu s vysokou hustotou

Zanechat vzkaz

High-density fiber optic cables in an AI data center

Jak clustery AI GPU zvyšují potřebu kabelů z optických vláken s vysokou hustotou

Klastry GPU řízené umělou inteligencí dnes vyžadují v moderních datových centrech mnohem větší hustotu vláken. Protože škálovatelné síťové systémy 400G, 800G a 1,6T potřebují prostor pro růst, stala se základním požadavkem kabeláž z optických vláken s vysokou hustotou. Standardní cloudová nastavení používaná ke spouštění virtuálních strojů na univerzálních serverech, ale moderní úlohy strojového učení vyžadují masivní paralelní zpracování. Tento zásadní posun zcela mění návrh fyzické sítě a nutí architekty datových center, aby do extrémně těsných fyzických prostor namontovali bezprecedentní počet optických jader. V tomto komplexním průvodci budeme analyzovat fyzické limity starší kabeláže, prozkoumáme konstrukční inženýrství za pokročilými optickými řešeními a zkontrolujeme přesná pravidla instalace, která řídí vysokohustotní kabel z optických vláken v zařízeních nové generace umělé inteligence a moderních architekturách propojení podnikových datových center.

Proč datová centra AI vyžadují exponenciálně více vláken

Datový provoz v moderních zařízeních se zcela obrátil naruby. Tradiční cloudová prostředí primárně zpracovávala severojižní provoz, což jednoduše znamená, že data byla přesunuta od externího uživatele dolů na místní server a zpět. Síťoví inženýři mohli snadno použít poměr nadměrného odběru 3:1 nebo 4:1 na úrovni přepínače, protože věděli, že většina serverů nikdy neposílá těžké datové toky přesně ve stejnou chvíli.

Trénink modelu AI tento starý design zcela rozbíjí. Při trénování velkého jazykového modelu musí vedle sebe běžet tisíce GPU a neustále mezi sebou obchodovat obrovské sady výpočtových parametrů. Tato pracovní zátěž generuje intenzivní provoz z východu na západ, který zůstává zcela uvnitř zdí zařízení a neustále se řítí z čipu na čip. Aby bylo zajištěno, že drahý výpočetní hardware nebude nečinně čekat na síťový provoz, vyžadují tyto moderní clustery přísnou neblokující topologii 1:1. Každý jednotlivý výpočetní uzel musí být schopen hovořit s každým dalším uzlem plnou rychlostí bez jakéhokoli zpoždění.

East-west traffic in an AI GPU cluster

Tento posun vytváří masivní nárůst spojení fyzických vláken napříč datovou halou. Zatímco standardní cloudový serverový rack může potřebovat pouze několik desítek vláken běžících k páteřnímu přepínači, klastr AI s vysokou hustotou se dramaticky zvětšuje. Ve skutečnosti počet vláken přiváděných do jednoho serverového racku AI (NVIDIA NVL72) dosahuje 1 152 vláken.

Propojení všech těchto stojanů dohromady vyžaduje optickou síť, která se snadno rozšíří, aniž by zaplnila každou fyzickou cestu. V současné době toto odvětví spravuje 330% nárůst šířky pásma pro konektivitu datových center (2020–2024). Tento obrovský skok v objemu dat vytváří vážné problémy s napájením a teplem v celé budově. Měděné twinaxové kabely nemohou přenášet vysokofrekvenční signály příliš daleko kvůli vážným ztrátám elektrického signálu a velkému odběru energie. Při rychlosti 400G nebo 800G dosahuje měď jen několik metrů, což nutí zařízení umístit optické transceivery přímo vedle procesorů.

Tato extrémní výpočetní hustota přímo ovlivňuje celkovou energetickou energii v celé zemi. Spotřeba elektřiny v datových centrech v USA dosáhla v roce 2023 176 terawatthodin. S tím, jak společnosti budují větší neblokující optické sítě a přidávají potřebné chladicí zařízení, je předpokládaná spotřeba elektřiny v datových centrech v USA od roku 2028 6,7 % až 12 %. Přesouvání dat světlem, nikoli elektřinou, pomáhá zařízením zůstat v rámci jejich tepelných a elektrických rozpočtů, což přímo vytváří potřebu tisíce optických vláken.

Fyzická úzká hrdla škálování na vysokorychlostní sítě

Upgrade moderních přepínačů na rychlost 400G, 800G nebo 1,6T závisí do značné míry na paralelní optice. Namísto posílání jednoho signálu po jednom páru vláken, optické transceivery jako 400GBASE-SR8 nebo 800GBASE-DR8 rozdělují tento signál do osmi paralelních optických cest. Tato konstrukce znamená, že jeden port transceiveru potřebuje 16 jednotlivých vláken vláken (osm pro vysílání a osm pro příjem) namísto standardních dvou vláken používaných ve starších sítích. Když jeden síťový přepínač obsahuje 64 těchto vysokorychlostních portů, naprostá fyzická velikost všech těchto kabelů rychle vytvoří velký problém s prostorem.

Starší vlákna se spoléhají na volnou trubkovou konstrukci. V těchto tradičních kabelech jsou jednotlivá vlákna potažená 250 mikrony volně uložena uvnitř tuhých plastových nárazníkových trubek, které se vinou kolem centrální tyče ze skleněných vláken. Inženýři vyplní prázdné mezery gelem blokujícím vodu nebo suchou bobtnající páskou, přidají aramidovou přízi pro pevnost v tahu a vše utěsní uvnitř silného polyetylénového pláště.

Tyto kabely fungují dobře venku, ale jejich objemný kulatý design plýtvá obrovským množstvím průřezového prostoru uvnitř. Když se síťoví inženýři pokoušejí škálovat standardní kabely s volnými trubicemi tak, aby udržely tisíce optických vláken, vnější velikost kabelu je příliš velká. Standardní cesty uvnitř zařízení procházejí 2palcovými nebo 4palcovými potrubími. I když objem vedení roste se čtvercem jeho poloměru, balení tuhých kulatých trubek uvnitř kulatých trubek vedení zanechává spoustu prázdného, ​​nepoužitelného prostoru. Pokus protáhnout tradiční 1728-vláknový volný trubkový kabel přes standardní 2palcový innerduct je fyzicky nemožný kvůli těsným prostorům a tření.

Toto přetížení se rozlévá z podzemních potrubí a přímo na podlahu datového centra. Když silné a těžké kabely vstoupí do místnosti, pracovníci je musí vést přes stropní kabelové lávky. Hrubá hmotnost tradičních vysokopramenných kabelů může snadno překročit limity strukturálního zatížení standardních stropních závěsných tyčí. Kromě toho objemné svazky blokují proudění vzduchu přes systémy zadržování studené uličky a vytvářejí horká místa, která nutí chladicí jednotky pracovat intenzivněji a snižují celkovou efektivitu využití energie.

U propojovacích panelů se limity prostoru stávají ještě obtížnějšími. Ukončení tisíců jednotlivých volných vláken vyžaduje desítky velkých spojovacích táců. V neblokující látce umělé inteligence musí propojovací panely podporovat neuvěřitelné hustoty, aby se jakýkoli GPU mohl připojit přímo k jinému GPU. Dnes dosahuje maximální hustota vláken v jednom racku 41 472 záplatovaných vláken. Pokud by se technici pokusili postavit toto nastavení pomocí standardních 250mikrometrových kabelů s volnými trubkami, potřebovali by několik podlahových stojanů, které by držely propojovací přihrádky, což by zabíralo cenný podlahový prostor, který by měl místo toho držet výpočetní servery.

Jak kabeláž s vysokou hustotou řeší problémy s prostorem a hmotností

Aby se výrobci optiky posunuli za hranice volných trubkových kabelů, vyvinuli zcela nový přístup k výrobě kabelů. Průmysl nejprve stanovil jasnou základnu pro vysokokapacitní kabeláž, kde je definice kabelu UHFC (Ultra-High Fiber Count) > 576 vláken. Aby se takové množství vláken vešlo do ovladatelného vnějšího pláště, museli inženýři zmenšit fyzické rozměry potaženého skla.

Standardní optické vlákno používá 9mikronové jádro obklopené 125mikronovým skleněným pláštěm, které udržuje světlo zachycené uvnitř prostřednictvím úplného vnitřního odrazu. Protože je tato velikost základního skla mezinárodním standardem, inženýři ji nemohou zmenšit, aniž by narušili kompatibilitu se stávajícím síťovým hardwarem. Mohou však snadno seříznout vnější ochranné vrstvy. Standardní vlákna používají dvouvrstvý akrylátový povlak vytvrzený UV zářením, který vytváří celkový průměr pramene 250 mikronů. Použitím houževnatější a kompaktnější pryskyřice je zmenšená velikost ochranného povlaku pro kabely s vysokou hustotou 200 mikronů.

Oholení o 50 mikronů na malém vláknovém povlaku může znít jako zanedbatelné, ale úspora místa se sčítá velmi rychle. Protože se plocha kruhu zmenšuje se čtvercem jeho poloměru, snížení průměru pramene z 250 na 200 mikronů zmenší jeho průřezovou plochu zhruba o 36 %. Když sbalíte tisíce těchto menších pramenů do jediné bundy, celková úspora místa je dramatická.

Druhý hlavní technický průlom nahrazuje tuhé ploché stuhy flexibilními rolovatelnými stuhami, kterým se také říká pavučina. Tradiční ploché stuhy spojují 12 vláken dohromady v souvislý pevný plastový pás. Protože tyto ploché stuhy lze stohovat pouze jako dřevěné desky, tvoří tuhé obdélníkové bloky, které se špatně vejdou do kulatých bund. Vzory rolovatelné pásky nanášejí drobné tečky lepidla přerušovaně podél 12 vláken. To umožňuje, aby se páska otevřela zcela naplocho pro hromadné tavné spojování a zároveň se mohla svinout do kompaktního kulatého svazku uvnitř kabelu.

Kombinace vláken 200 mikronů s rolovatelnými páskami přináší obrovské fyzické výhody. Inženýři závodu například vidí 30% zmenšení vnějšího průměru kabelu s 200 vlákny ve srovnání se staršími konstrukcemi. Odstranění dalších plastových výplní a těžkých gelů také přináší 60% snížení hmotnosti kabelu s 200 vlákny. Protože se tyto tenčí kabely snadno ohýbají kolem těsných rohů v podzemních potrubích a horních žlabech, zařízení dosahují 30% úspory prostoru v potrubí pomocí optického kabelu s vysokou hustotou.

Loose tube vs rollable ribbon fiber cable

 

Metrický Tradiční kabel (250µm) Kabel s vysokou hustotou (200 µm) Zlepšení
Průměr vyrovnávací vrstvy 250 mikronů 200 mikronů 20% zmenšení průměru
Využití potrubního prostoru Pevná uvolněná trubka Pružná rolovatelná stuha 30% úspora místa v potrubí
Outer Diameter (200-fiber) Základní linie Zhutněný 30% zmenšení vnějšího průměru
Hmotnost kabelu (200 vláken) Základní linie Lehký 60% snížení hmotnosti

Spojování a identifikace kabelů s ultra vysokým počtem vláken

Instalace kabelů s ultravysokým počtem vláken představuje skutečnou výzvu pro techniky v terénu, kteří musí identifikovat a ukončit tisíce malých pramenů, aniž by se dopustili nákladných chyb. Ve standardních 144vláknových kabelech technici jednoduše sledují standardní 12barevný kód (modrá, oranžová, zelená, hnědá atd.) pro sledování jednotlivých trubic a vláken. Pokud dojde k záměně jakéhokoli vodiče, technik může do vedení posvítit viditelným červeným laserem s Visual Fault Locator, aby potvrdil připojení.

Když jeden kabel obsahuje tisíce pramenů, použití červeného laserového lokátoru se stává zcela nepraktickým. Světlo snadno proniká přes těsně nacpaná 200mikronová vlákna, takže je těžké určit, které konkrétní jádro září. Kromě toho se standardní sekvence 12 barev uvnitř bundy UHFC opakuje stovkykrát. K nápravě používají výrobci taktovaný vzhled spárovaný s tištěnými značkami přímo na páskách.

V taktovaném provedení je vnitřek kabelu rozdělen na jasné části pomocí barevné vázací příze pro označení výchozího bodu v poloze "12 hodin". Technici jednoduše počítají ve směru hodinových ručiček od této referenční značky, aby našli správný svazek. Uvnitř svazku je každá rolovatelná páska opatřena vytištěným tečkovaným kódem na matricové vazačce. Čtením těchto vytištěných teček a čárek může technik rychle identifikovat pásku číslo 144 z 288, aniž by si musel posvítit na čáru.

Jakmile jsou izolována správná vlákna, musí se ukončovací práce rychle pohybovat. Pokud technik spojoval kabel s 3 456 vlákny po jednom prameni na jednovláknovém stroji, dokončení tohoto jediného spoje by zabralo několik týdnů nepřetržité ruční práce. Úlohy vláken s vysokou hustotou řeší tento problém tím, že místo toho používají spojování hromadnou fúzí.

Hromadné svářečky svařují 12 vláken v jediném kroku. Nejprve technik odstraní matricový povlak pomocí tepelného odstraňovače zahřátého na přibližně 100 stupňů Celsia, který změkčí plast, aniž by poškrábal jemné 125mikronové křemičité sklo pod ním. Dále se páska z 12 vláken dostane do vysoce přesného sekáčku na více vláken, aby bylo zajištěno, že každý konec skla bude řezán v dokonalém pravém úhlu. Nakonec svářečka používá pevné V-drážky a dvouosé kamery k vyrovnání všech 12 párů vláken před vypálením elektrického oblouku, aby se skleněné konce spojily.

Tato metoda spojování pásky šetří enormní množství projektového času na staveništi. Terénní týmy zaznamenaly 80% zkrácení doby spojování při použití fúze hmoty 12 vláken oproti jednoduchému spojování. Spojením snadné manipulace s kabely s rychlejšími spojovacími nástroji dosáhnou dodavatelé 5násobného zvýšení rychlosti při instalaci optických kabelů pomocí technologie FREEFORM Ribbon™.

Krok Proces identifikace a spojování Nejlepší praxe
1 Izolace pásky Použijte návrh taktovaného jádra k nalezení referenčního vazače a poté přečtěte tečkovaný kód na matrici pásky.
2 Odstraňování povlaků Použijte tepelný striper nastavený na 100 stupňů Celsia k odstranění 200mikronové vrstvy ze všech 12 vláken současně.
3 Přesné štípání Usaďte pásku do sekáčku s více vlákny, abyste dosáhli 90° koncové plochy přes celé pole.
4 Mass Fusion Splicing Vyrovnejte pásku ve V-drážce a proveďte 12vláknový elektrický obloukový výboj, přičemž ověřte zarovnání pomocí X/Y kamer.

 

12-fiber mass fusion splicing

Výpočet tahového napětí a poloměru ohybu pro dráhy s vysokou hustotou

Instalace optických linek s vysokou hustotou vyžaduje přísnou pozornost k omezením fyzického vytažení, aby jemné sklo uvnitř neutrpělo skryté poškození. Optická vlákna přenášejí data úplným vnitřním odrazem. Když se kabel ohne těsněji, než je jeho jmenovitý limit, světlo narazí na hranici pláště jádra pod příliš strmým úhlem a nechá optické fotony uniknout skrz plášť. Síťoví inženýři tomu říkají ztráta makroohybu.

Ztráta mikroohybu je ještě větším rizikem v instalacích s vysokou hustotou. Pokud instalační tým táhne kabel příliš velkou silou, vnitřní vlákna se přimáčknou k vnějšímu plášti a centrálním pevnostním prvkům. Tento tlak vytváří mikroskopické ohyby po délce skla. I poté, co se tahové napětí zastaví, tyto drobné deformace zůstávají ve skle a vytvářejí optickou ztrátu signálu, kterou technici detekují až po zapnutí sítě.

Pro vybudování bezpečných cest musí inženýři zkontrolovat přesný vnější průměr kabelu, který plánují instalovat. Pro srovnání, průměr 1728vláknového kabelu RocketRibbon™ je 25 mm (~1 palec). Přejděte na další velikost a průměr kabelu RocketRibbon™ s 3456 vlákny je 32 mm (~1,3 palce).

Tyto velikosti kabelů určují požadovanou šířku zametacích a tažných krabic podél trasy. Jako standardní mechanické pravidlo je minimální poloměr ohybu pod tahem během tahu 20násobek průměru kabelu. Při protahování 32mm kabelu s 3456 vlákny potrubím musí všechny ohyby vedení a tažná kolečka zachovat poloměr zakřivení alespoň 640 mm, aby se vlákna při zatížení nerozdrtila. Poté, co je kabel usazen na místě a napětí je pryč, je minimální dlouhodobý poloměr ohybu po instalaci 10násobek průměru kabelu, což technikům umožňuje provádět těsnější zatáčení uvnitř propojovacích krytů.

Inženýři obecně doporučují udržovat maximální tažné napětí pod 600 lb pro typické provozy v kampusech a ve vnitřních datových centrech. Tažení za tento limit riskuje, že se aramidové příze protáhnou za jejich práh pružnosti, což uvrhne veškerou fyzickou tažnou zátěž přímo na křehké křemičité sklo. Aby se minimalizovalo tření a udrželo se bezpečné tahové napětí, musí technici pečlivě řídit úrovně naplnění potrubí. Jako osvědčený postup by rovné trasy neměly překročit 40% poměr plnění, zatímco složité cesty s více zatáčkami musí zůstat pod 25% poměrem plnění. Posádky by měly vždy používat odlamovací otočný čep odpovídající jmenovité hodnotě kabelu, aby se naviják odpojil dříve, než dojde k poškození skla.

Typ kabelu Vnější průměr Minimální poloměr ohybu (tažení) Minimální poloměr ohybu (nainstalovaný)
RocketRibbon™ z 1728 vláken 25 mm (~1 palec) 500mm 250mm
RocketRibbon™ z 3456 vláken 32 mm (~1,3 palce) 640mm 320mm

Ceny DCI versus architektury DWDM

Při propojování samostatných datových sálů přes kampus nebo přes město musí síťoví architekti pečlivě navrhnout své trasy propojení datových center. Kopání podzemních příkopů mezi budovami bývalo velmi nákladné, takže operátoři datových center historicky vedli nízkopramenné kabely a používali multiplexování s hustou vlnovou délkou, aby na těchto pár vláken vtěsnali více dat. Systémy DWDM používají specializované lasery a optické filtry ke kombinaci desítek různých barev světla do jednoho páru vláken.

DWDM transceivery a multiplexní šasi však stojí spoustu peněz, spotřebovávají značnou energii a zvyšují latenci síťového připojení. Protože distribuovaná pracovní zátěž AI vyžaduje absolutně nejnižší latenci a obrovskou paralelní šířku pásma, DWDM se může snadno stát hlavním úzkým hrdlem v oblasti nákladů a výkonu.

Moderní hyperscalery se tomuto problému vyhýbají tím, že do země vkládají ultravysoké vlákno jako pojištění tmavých vláken. Instalací tisíců nezpracovaných optických vláken v první den mohou datová centra používat jednoduchou šedou optiku s nízkou spotřebou (jako je 400G-DR4 nebo 800G-DR8), která běží bez složitého multiplexního hardwaru. Počáteční náklady na nákup dalšího skla jsou rychle kompenzovány obrovskými úsporami na hardwaru transceiveru a nižšími účty za energii.

Současné tovární vybavení nastavuje fyzické limity pro tyto masivní kabely. V současné době je maximální počet vláken pro páskové kabely s drážkovým jádrem 6 912 vláken. Výběr nejlepší velikosti kabelu vyžaduje vyvážení materiálových nákladů na stopu s budoucími potřebami šířky pásma clusteru AI.

Zde je rozpis běžných velikostí nasazení a jejich odhadované náklady na materiál:

  • Nasazení 1728 vláken: Ideální pro propojení kampusů s krátkým dosahem spojující sousední datové sály v okruhu 2 km. Tento počet poskytuje dostatečnou hustotu pro podporu počátečních fází rozšíření hřbetních listů bez zahlcení standardních 2palcových vnitřních kanálů. Většina prodejců uvádí odhadovanou cenu kabelu 1728f na 5–8 USD/ft, oficiální dokumentace neuvádí.

  • Nasazení 3456 vláken: Navrženo pro metropolitní okruhy spojující samostatné zóny dostupnosti. Tento počet funguje jako primární páteř pro distribuované tréninkové clustery AI, které pokrývají více fyzických pozemků nemovitostí. Většina prodejců uvádí odhadovanou cenu za kabel 3456f na 8–12 USD/ft, oficiální dokumentace neuvádí.

  • Nasazení 6912-vlákna: Vyhrazeno pro hlavní hyperškálovací páteřní spojení, kde je efektivně vyčerpán prostor vedení a rýhování nových cest je cenově nedostupné. Nasazení tohoto kabelu s maximální hustotou poskytuje desítky let pojištění tmavých vláken, což operátorovi umožňuje okamžitě rozsvítit nová paralelní spojení, jak se generace GPU vyvíjejí. Většina prodejců uvádí odhadovanou cenu za kabel 6912f na 15–25 USD/ft, oficiální dokumentace neuvádí.

Odeslat dotaz