雪球网
雪球网

咨询热线:

让建站和SEO变得简单

让不懂建站的用户快速建站,让会建站的提高建站效率!

将224个GPU塞进一个机柜里

发布时间:2024-11-14 09:39    浏览:64次

(原标题:将224个GPU塞进一个机柜里)

若是您但愿不错时常碰面,宽待标星储藏哦~

着手:内容编译自theregister,谢谢。

若是您以为 Nvidia 的 120 kW NVL72 机架配备 72 个 Blackwell 加速器,运筹帷幄密度格外高,那么它们与 HPE Cray 最新的 EX 系统比拟根柢不算什么,后者不错在单个机柜中装入三倍以上的 GPU。

Cray 的 EX154n 平台鄙人周于亚特兰大举行的超等运筹帷幄会议之前晓示,每个机柜将撑抓多达 224 个 Nvidia Blackwell GPU和 8,064 个 Grace CPU 中枢。关于 HPC 应用表情,这尽头于在 FP64 上跨越 10 petaFLOPS,关于寥落 AI 和机器学习责任负载,这尽头于在 FP4 上跨越 4.4 exaFLOPS,而这些责任负载的精度时常不是那么伏击。

具体来说,每个 EX154n 加速器刀片将配备一双 2.7 kW Grace Blackwell 超等芯片 (GB200),每个芯片配备两个 Blackwell GPU 和一个 72 核 Arm CPU。这两个超等芯片将通过 Nvidia 的 NVL4 参考成就互连。

在机架级别,仅运筹帷幄一项就将耗尽 300 kW 以上的电力,因此显而易见,就像昔日的 EX 系搭伙样,HPE 的 Blackwell 刀片将给与液冷。

事实上,这些系统饱胀无电扇,甚而包括全新的 Slingshot 400 系列以太网 NIC、电缆和交换机。顾名念念义,Slingshot 400 是对其前代居品的一次可喜升级,带宽从 200 Gbps 普及至 400 Gbps,与现时一代以太网和 InfiniBand 收罗保抓一致。

HPE 的上一代 Slingshot 200 互连已成为大型超等运筹帷幄平台的架海金梁,况兼是 Frontier、Aurora 和 Lumi 机器的中枢,仅举几例。

灾难的是,任何想要取得 Cray 超高密度 Blackwell 系统和高速 Slingshot 400 收罗的东谈主都必须恭候一段时间。预测这两款居品都要到 2025 年底才调出货。

若是您更可爱基于传统 CPU 的 HPC,那么 Cray 的第五代基于 Epyc 的 EX4252 Gen 2 运筹帷幄刀片将于来岁春季推出,每个机柜将配备多达八个 192 核的 Turin-C 处理器,所有 98,304 个中枢。

Cray 还将初始发售升级版 E2000 存储系统,该公司宣称,收货于基于 PCIe 5.0 的更快 NVMe 存储,该系统的 I/O 性能将比前几代居品提高一倍以上。HPE 预测将从 2025 岁首初始发售这些存储阵列。

固然 HPE 的 Cray EX 平台本旨比普通就业器或机架具有更高的密度,但它们并不是那种不错部署在普通数据中心的系统。因此,HPE 还推出了两款新式风冷 ProLiant Compute 就业器,它们运用了其以企业为中心的 iLO 无东谈主值守照管系统。

任何见过 Nvidia HGX 平台的东谈主都会对这些系统尽头闇练,该平台的 XD680 和 XD685 就业器均撑抓您遴荐的 8 种加速器。

令东谈主讶异的是,咱们并不像您预期的那样仅限于 Nvidia 和 AMD GPU。XD680 本色上标配了八个英特尔 Gaudi3 加速器,合计 1 TB HBM2e。正如咱们在春季报谈的那样,Gaudi3 与面前的加速器比拟具有尽头的竞争力。每个加速器都未必产生 1.8 petaFLOPS 的密集 BF16 性能,使其在运筹帷幄密集型责任负载方面比 H100、H200 和 AMD 的 MI300X 更具上风。

升级到 HPE 的 XD685,您不错遴荐八块 Nvidia H200,所有 1.1 TB HBM3e,或者行将推出的 Blackwell GPU(可能是 B200),这应该会将内存容量普及到 1.5 TB。前者将于 2025 岁首推出,而基于 Blackwell 的系统推出时间仍不太明确。

若是您不可爱 Nvidia,或者您需要更多内存,HPE 还推出了一款搭载 AMD 新推出的 MI325X 的系统版块。该系统于 10 月与加速器一皆发布,将配备高达 2 TB 的 HBM3e 内存,并将于 2025 年第一季度发货。

功能雄壮的新式超等运筹帷幄机平台

惠普企业公司今天示意,正在更新其高性能运筹帷幄平台居品组合。

推广的居品线包括几个新的 HPE Cray Supercoming EX 系统,以及一双新的 HPE Proliant 就业器,这些就业器针对东谈主工智能责任负载进行了优化,包括大型话语模子教育和微调。

HPE 示意,这些系统是为崇敬惩办一些寰球上最毒手问题的讨论机构想象的。它们针对的是更传统的 HPC 责任负载,举例 DNA 测序和股票往还自动化,而不是只专注于 AI 责任负载。

运用超等运筹帷幄机制造巨头HPE 于 2019 年收购的Cray 的专科学问,它们亦然同类居品中第一台给与100% 无电扇、径直液体冷却系统架构制造的机器,该架构涵盖机器的每一层,包括运筹帷幄节点、收罗和存储。

这些居品包括 HPE Cray Supercomputing EX154n 加速器刀片,将于来岁年底推出,旨在大幅裁减完成超等运筹帷幄任务所需的时间。它还想象用于处理 AI 责任负载,为此,它不错在一个机柜中容纳多达 224 个 Nvidia Corp. 的全新Blackwell 图形处理单位。每个加速器刀片都配备一个 Nvidia Grace Blackwell NVL4 超等芯片,所有可容纳四个通过 NVLink 相连的 Blackwell GPU,并通过 NVLink-C2C 与两个 Nvidia Grace 中央处理单位配对。

行将推出的是新的 HPE Cray Supercomputing EX4252 Gen 2 Compute Blade,将于来岁春季推出。它更像是一个传统的超等运筹帷幄平台,因为它经由优化,不错撑抓篡改常的运筹帷幄应用。

它枯竭 GPU 硬件,这可能使它对 AI 的用处不大,但就传统责任负载而言,它是一款雄壮的居品,单个机柜中最多可容纳 98,304 个 CPU 内核,使其成为同类居品中最雄壮的单机架系统。每个内核配备八个由 Advanced Micro Devices Inc. 制造的第五代 EPYC CPU,可提供极高的 CPU 密度,使客户未必在比以前小得多的空间内收尾更高性能的运筹帷幄。

为了配合新的 Cray Supercomputing EX 型号,HPE 还推出了下一代百亿亿次级互连居品组合,系结了撑抓高达 400 千兆位/秒速率的收罗接口完毕器、电缆和交换机。此外,还有一个新的存储系统和就业软件值得期待。

新的收罗基础标准被称为 HPE Slingshot Interconnect 400,其线速是上一代互连的两倍。它还撑抓自动拥塞照管和自符合路由等高等功能,这意味着它不错动态再行路由和优化相连,以确保它撑抓的任何给定责任负载的蔓延尽可能低。它将于来岁秋季面向基于最新 HPE Cray 系统的集群推出。

至于 HPE Cray 超等运筹帷幄存储系统 E2000,它提供的输入/输出容量性能是 HPE 前代超等运筹帷幄机存储系统的两倍多。在底层,它运用开源 Lustre 文献存储系统,这有助于减少与 I/O 操作关联的平静时间。这一切加起来比以前快得多的存储读写速率,并将在明岁首推出时权臣提高妙等运筹帷幄操作的性能。

临了还有新的 HPE Cray 超等运筹帷幄用户就业软件,该软件旨在通过优化系统后果、照管功耗等新功能来改善其超等运筹帷幄平台的用户体验。

固然 Cray 超等运筹帷幄机针对篡改常的 HPC 责任负载进行了优化,但新的 HPE ProLiant Compute XD 就业器专为面前险些每个企业都渴慕收受的统统伏击的 AI 责任负载而构建。

HPE 高等副总裁兼 HPC 和 AI 基础标准惩办决策总司理 Trish Damkroger 示意,企业和政府对“自主 AI 盘算推算”越来越感好奇艳羡,因为这些盘算推算使他们未必饱胀完毕我方的 AI 模子和教育数据。但关于自主 AI,这些组织需要造访一些格外雄壮的硬件,而这恰是 ProLiant Compute XD 就业器所提供的。

HPE 于 3 月推出了首批用于 AI 的 ProLiant Compute 就业器,但 XD 型号是一种全新的机器类别,经由优化,可撑抓部署大型高性能 AI 集群。该公司一直与 Nvidia 密切结合,对它们进行微调以撑抓起先进的 LLM。

新款机型包括 HPE ProLiant Compute XD688,这是两款机型中功能最雄壮的一款,面向优先接洽性能而非资本的客户。该公司示意,这款机型面向 AI 教育和推理,买家不错遴荐 8 个 Nvidia H200 SXM Tensor Core GPU 或五机架机箱中相似数目的 Nvidia Blackwell GPU。这是一款液冷系统,将于明岁首上市,与 Nvidia 推出 Blackwell GPU 的时间约莫相似。

除了 Nvidia 硬件,客户还有更多遴荐。HPE 最近晓示推出HPE ProLiant Compute XD685 的零丁版块,该版块配备八个 AMD Instinct MI325X 加速器和两个 AMD EPYC CPU,而不是 Nvidia 的硬件,后者也将于明岁首上市销售。

至于风冷式 HPE ProLiant Compute XD680 就业器,它是一种替代决策,面向那些但愿优化性价比,同期仍能处理最尖刻的 AI 教育、调优和推理任务的客户。它莫得使用 Nvidia 的 GPU,而是使用英特尔公司的八个Gaudi 3 AI 加速器,这些加速器被压缩成一个紧凑的节点。它们将很快初始销售,发布日历定于下个月。

这两款新就业器均给与了 HPE 的 Integrated Lights-Out 时刻,用于而已照管,使采纳的授权东谈主员未必从任何位置造访它们,与传统的带内收罗造访比拟,提供了更高的安全性。

HPE 示意,新款 Proliant XD 就业器附带可选就业,举例安设、定制、集成和考据,以及在公司我方的制造工场内进行的全面测试,以炫耀但愿加速现场部署的客户的需求。

Damkroger 示意:“咱们的客户但愿咱们未必加速他们的东谈主工智能系统部署,从而更快、更高效地收尾价值,并运用咱们数十年托付、部署和就业全集成系统的训戒。”

https://www.theregister.com/2024/11/13/hpe_cray_ex/

半导体杰作公众号推选

专注半导体鸿沟更多原创内容

慈祥寰球半导体产业动向与趋势

*免责声明:本文由作家原创。著作内容系作家个东谈主不雅点,半导体行业不雅察转载仅为了传达一种不同的不雅点,不代表半导体行业不雅察对该不雅点赞同或撑抓,若是有任何异议,宽待关联半导体行业不雅察。

今天是《半导体行业不雅察》为您共享的第3946期内容,宽待慈祥。

『半导体第一垂直媒体』

及时 专科 原创 深度

公众号ID:icbank

可爱咱们的内容就点“在看”共享给小伙伴哦