龐大的數(shù)據(jù)集、呈爆炸式增長的模型大小和復(fù)雜的模擬需要多個極速互連的 GPU 以及充分加速的軟件堆棧。NVIDIA HGX™ AI 超級計算平臺整合了 NVIDIA GPU、NVIDIA® NVLink®、NVIDIA InfiniBand 網(wǎng)絡(luò)及 NVIDIA NGC™ 目錄中經(jīng)全面優(yōu)化的 NVIDIA AI 和 HPC 軟件堆棧，提供出色的應(yīng)用性能。NVIDIA HGX 具備端到端性能和靈活性，可助力研究人員和科學(xué)家整合模擬仿真、數(shù)據(jù)分析和 AI，推動科學(xué)研究取得新進展。
NVIDIA HGX 將 NVIDIA A100 Tensor Core GPU 與高速互連技術(shù)相結(jié)合，打造功能強大的服務(wù)器。HGX 擁有 16 個 A100 GPU，具有高達 1.3 TB 的 GPU 顯存和超過 2 TB/秒的顯存帶寬，可實現(xiàn)非凡加速。
與前幾代產(chǎn)品相比，HGX 借助 Tensor Float 32 (TF32) 開箱即可為 AI 提供高達 20 倍的加速，同時借助 FP64 實現(xiàn) 2.5 倍的 HPC 加速。NVIDIA HGX 提供了令人驚嘆的 10 petaFLOPS，為 AI 和 HPC 領(lǐng)域打造出全球性能強勁的加速擴展服務(wù)器平臺。
HGX 經(jīng)過全面測試且易于部署，可集成至合作伙伴服務(wù)器中，以提供有保證的性能。HGX 平臺提供 4-GPU 和 8-GPU HGX 主板并采用 SXM GPU，也可采用 PCIe GPU 的形式以提供模塊化部署選項，為主流服務(wù)器帶來卓越計算性能。
DLRM 訓(xùn)練
基于 HugeCTR 框架的 DLRM，精度 = FP16 | NVIDIA A100 80GB 批量大小 = 48 | NVIDIA A100 40GB 批量大小 = 32 | NVIDIA V100 32GB 批量大小 = 32。
深度學(xué)習(xí)模型的大小和復(fù)雜性急劇增加，需要系統(tǒng)具備大容量內(nèi)存、強大計算能力和快速互連能力來實現(xiàn)可擴展性。 借助 NVIDIA NVSwitch™ 提供的高速多對多全 GPU 通信，HGX 能處理極其先進的 AI 模型。A100 80GB GPU 使 GPU 顯存容量提高了一倍，可在單個 HGX 中提供高達 1.3 TB 的顯存。對于在擁有龐大數(shù)據(jù)表的超大模型（深度學(xué)習(xí)推薦模型 (DLRM)）上出現(xiàn)的新興工作負載，相較于 A100 40GB GPU 驅(qū)動的 HGX，它能將處理性能加速高達 3 倍。
大數(shù)據(jù)分析基準測試 | 針對 10TB 數(shù)據(jù)集的 30 次分析零售查詢、ETL、ML、NLP | V100 32GB，RAPIDS/Dask | A100 40GB 和 A100 80GB，RAPIDS/Dask/BlazingSQL
機器學(xué)習(xí)模型需要通過加載、轉(zhuǎn)換和處理極大型數(shù)據(jù)集來獲取重要見解。借助高達 1.3TB 的統(tǒng)一顯存和通過 NVSwitch 實現(xiàn)的多對多全 GPU 通信，由 A100 80GB GPU 驅(qū)動的 HGX 能夠加載巨大的數(shù)據(jù)集并對其執(zhí)行計算，從而快速獲得可行見解。 在大數(shù)據(jù)分析基準測試中，A100 80GB 提供見解的吞吐量比 A100 40GB 高兩倍，因此非常適合處理數(shù)據(jù)集大小急增的新型工作負載。
HPC 應(yīng)用程序需要每秒執(zhí)行大量計算增加每個服務(wù)器節(jié)點的計算密度可大幅減少所需的服務(wù)器數(shù)量，因而能夠大大節(jié)省數(shù)據(jù)中心所用成本和空間并降低功耗。在模擬仿真方面，高維矩陣乘法需要每個處理器從眾多相鄰處理器中提取數(shù)據(jù)以執(zhí)行計算，這使得通過 NVIDIA NVLink 連接的 GPU 非常適合此用途。HPC 應(yīng)用還可以利用 A100 中的 TF32 在 4 年內(nèi)將單精度、密集矩陣乘法運算的吞吐量提高多達 11 倍。
由 A100 80GB GPU 提供支持的 HGX 在 Quantum Espresso（一種材質(zhì)模擬）上提供了比 A100 40GB GPU 高 2 倍的吞吐量，加快了見解獲取速度。
熱門 HPC 應(yīng)用?
應(yīng)用加速的幾何平均數(shù)與 P100 加速性能對比：基準應(yīng)用：Amber [PME-Cellulose_NVE]、Chroma [szscl21_24_128]、GROMACS [ADH Dodec]、MILC [Apex Medium]、NAMD [stmv_nve_cuda]、PyTorch (BERT-Large Fine Tuner]、Quantum Espresso [AUSURF112-jR]、隨機森林 FP32 [make_blobs (160000 x 64 : 10)]、TensorFlow [ResNet-50]、VASP 6 [Si Huge] | 包含雙路 CPU 和 4 個 NVIDIA P100、V100 或 A100 GPU 的 GPU 節(jié)點。
Quantum Espresso?
使用 CNT10POR8 數(shù)據(jù)集測量 Quantum Espresso 時的結(jié)果，精度 = FP64。
| HGX H100 | ||||
|---|---|---|---|---|
| H100 PCIe | 4-GPU | 8-GPU | 256-GPU | |
| GPUs | 1x NVIDIA H100 PCIe | HGX H100 4-GPU | HGX H100 8-GPU | 32x HGX H100 8-GPU |
| 外形規(guī)格 | PCIe | 4x NVIDIA H100 SXM | 8x NVIDIA H100 SXM | 16x NVIDIA H100 SXM |
| HPC 和 AI 計算 (FP64/TF32/FP16/FP8/INT8) | 48TF/800TF/1.6PF/3.2PF/3.2 POPS | 240TF/4PF/8PF/16PF/16POPS | 480TF/8PF/16PF/32PF/32POPS | 15PF/256PF/512PF/1EF/1EOPS |
| 顯存 | 每個 GPU 為 80GB | 高達 320GB | 高達 640GB | 高達 20TB |
| NVLink | 第四代 | 第四代 | 第四代 | 第四代 |
| NVSwitch | 不適用 | 不適用 | 第三代 | 第三代 |
| NVLink Switch | 不適用 | 不適用 | 不適用 | 第一代 |
| NVSwitch 互聯(lián) GPU 間帶寬 | 不適用 | 不適用 | 900 GB/s | 900 GB/s |
| 聚合總帶寬 | 900 GB/s | 3.6 TB/s | 7.2 TB/s | 57.6 TB/s |
| HGX A100 | ||||
|---|---|---|---|---|
| A100 PCIe | 4-GPU | 8-GPU | 16-GPU | |
| GPUs | 1x NVIDIA A100 PCIe | HGX A100 4-GPU | HGX A100 8-GPU | 2x HGX A100 8-GPU |
| 外形規(guī)格 | PCIe | 4x NVIDIA A100 SXM | 8x NVIDIA A100 SXM | 16x NVIDIA A100 SXM |
| HPC 和 AI 計算 (FP64/TF32/FP16/INT8) | 19.5TF/312TF/624TF/1.2POPS | 78TF/1.25PF/2.5PF/5POPS | 156TF/2.5PF/5PF/10POPS | 312TF/5PF/10PF/20POPS |
| 顯存 | 每個 GPU 為 80GB | 高達 320GB | 高達 640GB | 高達 1,280GB |
| NVLink | 第三代 | 第三代 | 第三代 | 第三代 |
| NVSwitch | 不適用 | 不適用 | 第二代 | 第二代 |
| NVSwitch 互聯(lián) GPU 間帶寬 | 不適用 | 不適用 | 600 GB/s | 600 GB/s |
| 聚合總帶寬 | 600 GB/s | 2.4 TB/s | 4.8 TB/s | 9.6 TB/s |
