It-Tkessiħ Likwidu Jsaħħaħ il-Prestazzjoni u l-Effiċjenza tal-Pjattaforma Blackwell ta 'Nvidia

Oct 14, 2024

Ħalli messaġġ

 

It-tkabbir mgħaġġel tal-intelliġenza artifiċjali (AI), speċjalment f'oqsma bħall-AI Ġenerattiva (GenAI) u l-mudelli tal-lingwa kbira (LLMs), wassal għal domanda bla preċedent għall-qawwa tal-kompjuter. Hekk kif il-mudelli tal-IA jsiru aktar kumplessi u jeħtieġu aktar dejta, il-hardware meħtieġ biex jappoġġja dawn l-avvanzi jiffaċċja sfidi sinifikanti, partikolarment bid-dissipazzjoni tas-sħana. Metodi ta 'tkessiħ tradizzjonali, bħat-tkessiħ ta' l-arja, m'għadhomx biżżejjed biex jimmaniġġjaw il-konsum ta 'enerġija ta' ħardwer AI avvanzata, u dan huwa fejn jidħlu s-soluzzjonijiet ta 'tkessiħ likwidu.

 

It-teknoloġija tat-tkessiħ likwidu kisbet prominenza bħala mod effiċjenti ħafna biex timmaniġġja l-output termali taċ-ċentri tad-dejta tal-AI. Huwa speċjalment kruċjali għal pjattaformi bħall-arkitettura Blackwell ta 'Nvidia, fejn il-qawwa komputazzjonali immensa teħtieġ sistemi ta' tkessiħ avvanzati biex jiżguraw il-prestazzjoni u l-lonġevità.

 

Fil-Hotchip 2024konferenza, Nvidia introduċiet is-soluzzjoni innovattiva tagħha, li tintegrailma sħun Dirett għat-tkessiħ likwidu taċ-Ċippateknoloġija bl-arkitettura Blackwell tagħha biex tindirizza l-konsum tal-enerġija tal-immuntar u l-isfidi tat-tkessiħ. Dan l-iżvilupp ifisser avvanz ewlieni fid-disinn tal-hardware tal-AI, li jnaqqas l-ispejjeż operattivi u jtejjeb l-effiċjenza f'applikazzjonijiet tal-AI fuq skala kbira.

 

Hot Chips Tutorial: Liquid Cooling Boosts Performance and Efficiency

▲ Hot Chips Tutorial: It-Tkessiħ Likwidu Jsaħħaħ il-Prestazzjoni u l-Effiċjenza

 

Iż-Żieda tat-Teknoloġija tat-Tkessiħ Likwidu

 

It-teknoloġija tat-tkessiħ likwidu qed toħroġ bħala komponent kritiku fid-disinn taċ-ċentru tad-dejta tal-AI minħabba t-talbiet tal-enerġija li qed jikbru taċ-ċipep tal-AI. Hekk kif l-applikazzjonijiet tal-AI jikbru, il-konsum tal-enerġija fiċ-ċentri tad-dejta huwa mistenni li jiżdied drastikament. Ħafna proċessuri AI, inkluż l-H100 ta 'Nvidia u l-ġdid tiegħuArkitettura Blackwell, jikkunsmaw kullimkien minn 700W sa 1200W ta 'enerġija. Dan it-teħid ta 'enerġija immens huwa aggravat meta clusters AI, li jikkonsistu f'eluf ta' GPUs, joperaw fl-unison.

 

Per eżempju,Il-grupp ta' taħriġ tal-IA ta' Elon Musk, l-akbar fid-dinja b'100,000 GPU H100, hija kompletament imkessħa b'likwidu biex timmaniġġja d-domanda għall-enerġija tal-31-megawatt tagħha. Eżempji bħal dawn juru għaliex l-ottimizzazzjoni tat-teknoloġija tat-tkessiħ hija kritika - mhux biss biex jitnaqqsu l-ispejjeż operattivi iżda wkoll biex tittejjeb il-prestazzjoni ġenerali tas-sistemi AI. Hekk kif il-ħtieġa għal AI b'rendiment ogħla qed tkompli tikber, it-tkessiħ likwidu se jkollu rwol dejjem aktar ċentrali fis-sostenn ta 'sistemi tal-kompjuters ta' prestazzjoni għolja.

 

 

Il-Benefiċċji tat-Tkessiħ Likwidu fiċ-Ċentri tad-Data tal-AI

It-tkessiħ likwidu jispikka minħabba l-kapaċità tiegħu li jittrasferixxi direttament is-sħana 'l bogħod minn komponenti kritiċi bħal CPUs u GPUs, u jtejjeb id-dissipazzjoni tas-sħana meta mqabbel mat-tkessiħ tradizzjonali tal-arja. FilTkessiħ Dirett Likwidu (DLC), il-likwidu li jkessaħ jiġi f'kuntatt dirett maċ-ċippa, isaħħaħ l-effiċjenza termali u jnaqqas il-ħtieġa għal fannijiet goffi u sistemi ta 'arja kondizzjonata. Dan jirriżulta f'konsum aktar baxx ta 'enerġija għat-tkessiħ, u b'hekk jitnaqqsu l-ispejjeż operattivi totali taċ-ċentru tad-dejta.

 

Barra minn hekk,Tkessiħ Likwidu Immersjoni, fejn servers sħaħ huma mgħaddsa f'likwidu dielettriku, jippreżenta soluzzjoni tat-tkessiħ saħansitra aktar effettiva. Dan il-metodu mhux biss jiżgura li l-komponenti kollha jibqgħu friski iżda wkoll jimminimizza l-ilbies mekkaniku, li jtawwal il-ħajja tal-ħardwer, u jnaqqas b'mod sinifikanti l-istorbju minn tagħmir li jiċċaqlaq l-arja.

 

 

Sfidi tal-Konsum tal-Enerġija fil-Ħardwer tal-AI

 

Hekk kif is-sistemi tal-AI jespandu, il-konsum tal-enerġija tagħhom jippreżenta sfida dejjem tikber. AI hardware, bħall-GPU Nvidia H100u l-Arkitettura Blackwell, huma magħrufa li għandhom il-ġuħ tal-enerġija, bir-rekwiżiti tal-enerġija jilħqu sa 1200W għal kull ċippa. Cluster AI tipiku li fih 22,000 GPU H100, pereżempju, jista' jeħtieġ sa31 megawatt ta’ elettriku-ekwivalenti għall-konsum ta 'enerġija ta' belt żgħira.

 

Din id-domanda enormi għall-enerġija mhux biss iżżid l-ispejjeż operattivi taċ-ċentri tad-dejta iżda tikkontribwixxi wkoll għal impatti ambjentali sinifikanti. Biex jindirizzaw dawn l-isfidi, iċ-ċentri tad-dejta għandhom jiffokaw kemm fuq it-tnaqqis tal-konsum tal-enerġija kif ukoll it-titjib tal-effiċjenza tat-tkessiħ.

 

 

L-Arkitettura Blackwell ta' Nvidia u l-Ilma Saħħan Dirett għat-Tkessiħ taċ-Ċippa

 

Fil-Konferenza Hotchip 2024, Nvidia żvelat is-soluzzjoni tagħha għall-integrazzjoni tat-tkessiħ likwidu mal-arkitettura Blackwell tagħha, bl-użuilma sħun Dirett għat-teknoloġija tat-tkessiħ taċ-Ċippa. Dan l-approċċ juża ilma sħun (kuntrarju għall-ilma mkessaħ) biex jassorbi u jittrasferixxi s-sħana direttament miċ-ċippa. Billi tuża tkessiħ bl-ilma sħun, Nvidia tista 'tnaqqas il-konsum tal-enerġija tat-tkessiħ taċ-ċentri tad-dejta sa 28%.

 

L-effiċjenza ta 'din is-soluzzjoni hija doppja: mhux biss tnaqqas l-enerġija ġenerali għat-tkessiħ iżda tippermetti wkoll l-irkupru tas-sħana mormija, li tista' terġa 'tiġi riposta għal użi oħra, bħat-tisħin ta' bini fil-qrib. Barra minn hekk, it-tkessiħ bl-ilma sħun jestendi l-ħajja operattiva tas-servers billi jżomm iċ-ċipep f'meded ta 'temperatura ottimali, jipprevjeni sħana żejda, u jnaqqas l-użu u l-kedd.

 

Warm-water Direct to Chip cooling solution for Nvidia's Blackwell architecture efficiently transfers heat and improves cooling performance in AI data centers.

▲ Soluzzjoni ta' tkessiħ ta' ilma sħun dirett lejn iċ-ċippa

 

Din it-teknika tat-tkessiħ hija speċjalment importanti peress li applikazzjonijiet tal-AI bħal GenAI u LLMs ikomplu jgħollu l-qawwa komputazzjonali meħtieġa fiċ-ċentri tad-dejta. Il-kapaċità li jinżammu temperaturi ottimali taffettwa direttament il-prestazzjoni u l-iskalabbiltà tal-piżijiet tax-xogħol tal-AI, u tiżgura li dawn is-sistemi jkunu jistgħu jimmaniġġjaw it-talbiet intensivi mqiegħda fuqhom.

 

 

 

Tkessiħ Likwidu Immersjoni: Pass Lil hinn

 

Minbarra tkessiħ likwidu dirett,Tkessiħ Likwidu Immersjoniqed jikseb ukoll trazzjoni bħala soluzzjoni tal-livell li jmiss għal sistemi AI fuq skala kbira. Dan il-metodu jgħaddas servers sħaħ f'likwidu dielettriku mhux konduttiv, li jassorbi u jxerred bis-sħiħ is-sħana mill-komponenti kollha. Billi tkessaħ is-sistema kollha b'dan il-mod, it-Tkessiħ Likwidu Immersjoni joffri l-vantaġġi li ġejjin:

 

  • Effiċjenza tat-Tkessiħ Mtejba: Billi jdawwar il-komponenti kollha b'likwidu li jkessaħ, dan il-metodu jipprovdi tneħħija tas-sħana uniformi u effiċjenti.
  • Spejjeż ta' Manutenzjoni aktar baxxi: Bla ebda partijiet li jiċċaqilqu bħal fannijiet, hemm inqas xedd mekkaniku, li jnaqqas l-ispejjeż tal-manutenzjoni u jestendi l-ħajja tat-tagħmir.
  • Effiċjenza Enerġetika Mtejba: It-tkessiħ bl-immersjoni jista 'jnaqqas b'mod drammatiku l-użu tal-enerġija, peress li jelimina l-ħtieġa ta' sistemi ta 'kondizzjonament tal-arja u komponenti ta' tkessiħ attivi oħra.

 

Immersion Liquid Cooling system submerges servers in cooling liquid, offering efficient heat removal for AI hardware.

▲ Sistema ta 'Tkessiħ Likwidu ta' Immersjoni

 

Barra minn hekk,Tkessiħ Likwidu Immersjonihija skalabbli ħafna, u tagħmilha ideali għal ċentri tad-dejta li jimmaniġġjaw tagħbija tax-xogħol tal-AI li jiġġeneraw ammonti sinifikanti ta 'sħana, bħal dawk imħaddma mill-arkitettura Blackwell ta' Nvidia. Bil-mudelli AI akbar li qed isiru aktar prevalenti, it-tkessiħ bl-immersjoni jista 'jsir soluzzjoni ta' użu għaċ-ċentri tad-dejta li qed ifittxu li jżidu l-operazzjonijiet tagħhom filwaqt li jimminimizzaw l-ispejjeż tal-enerġija u l-impatt ambjentali.

 

 

 

Investiment ta' Silicon Valley fit-Teknoloġiji tat-Tkessiħ

 

Id-domanda dejjem tikber għal soluzzjonijiet ta’ tkessiħ aktar effiċjenti fiċ-ċentri tad-dejta tal-AI ġibdet l-attenzjoni tad-ditti tal-kapital ta’ riskju, partikolarment f’Silikon Wied. Dawn id-ditti qed jinvestu b'mod attiv fi startups li jispeċjalizzaw fihomtkessiħ likwiduteknoloġiji, filwaqt li jirrikonoxxu li l-innovazzjonijiet f'dan il-qasam huma essenzjali għall-futur tal-ħardwer tal-IA.

 

Startups li qed jiżviluppawsoluzzjonijiet ta 'tkessiħ avvanzatimhux biss jipprovdu benefiċċji immedjati għas-sistemi tal-AI tal-ġenerazzjoni attwali iżda wkoll jistabbilixxu l-pedament għall-mewġa li jmiss ta 'hardware tal-AI, li x'aktarx se titlob metodi ta' tkessiħ saħansitra aktar sofistikati. Dawn it-teknoloġiji jeħtieġ li jindirizzaw kemm ir-rekwiżiti ta’ enerġija għolja kif ukoll l-isfidi termali tas-sistemi AI, u jagħmluhom investiment attraenti għal dawk li qed ifittxu li jimbuttaw il-konfini ta’ dak li hu possibbli fil-kompjuters ta’ prestazzjoni għolja.

 

Silicon Valley venture capital firms are investing heavily in startups developing innovative AI cooling technologies.

▲ Xejriet ta' Investiment taċ-Ċentru tad-Data AI

 

 

Konklużjoni

 

Hekk kif il-ħardwer tal-AI qed ikompli jevolvi, id-domanda għal teknoloġiji innovattivi tat-tkessiħ tikber. Nvidia'sArkitettura Blackwellhuwa fuq quddiem ta 'din il-bidla, jutilizzailma sħun Dirett lejn iċ-Ċippatkessiħ biex tingħata spinta lill-effiċjenza u tnaqqas l-ispejjeż operattivi.Tkessiħ likwidu, kemm jekk permezz ta 'kuntatt dirett jew metodi ta' immersjoni, qed juri li huwa l-aktar mod effettiv biex jimmaniġġja l-konsum massiv tal-enerġija u l-produzzjoni tas-sħana tas-sistemi moderni tal-AI.

 

Id-ditti tal-kapital ta’ riskju qed jieħdu l-avviż, b’ħafna jinvestu f’startups li jistgħu joffru soluzzjonijiet ta’ tkessiħ tal-ġenerazzjoni li jmiss. Hekk kif iċ-ċentri tad-dejta tal-AI jsiru akbar u aktar kumplessi, l-importanza ta 'sistemi ta' tkessiħ effiċjenti u skalabbli se tiżdied biss, u jagħmel it-tkessiħ likwidu pedament tal-infrastruttura futura tal-kompjuters ta 'prestazzjoni għolja.

 

 

Ibgħat l-inkjesta