[발표] 엔비디아, H100 Hopper 컴퓨팅 GPU 및 Grace 슈퍼칩 아키텍처 공개

기사 원문 - https://www.notebookcheck.net/Nvidia-unveils-H100-Hopper-compute-GPU-and-Grace-superchip-architectures.609352.0.html
　

Nvidia의 Hopper H100 AI 및 HPC GPU는 Grace 슈퍼칩과 함께 GTC에서 방금 공개되었습니다. 항상 그렇듯이 컴퓨팅 GPU 모델은 확장성이 뛰어나며 Nvidia는 다양한 데이터 센터 요구 사항에 맞는 다양한 다중 GPU 솔루션을 제공합니다. 반면에 단일 H100 Tensor Core GPU는 특히 FP 운영 부서에서 2020 Ampere A100 모델보다 크게 개선되었습니다.

우선 H100 GPU는 TSMC의 4nm 노드에서 제작되었으며 814mm² 다이 크기(A100보다 14mm² 작음)를 가지고 있습니다. 이 모델은 PCIe 5.0 호환성을 특징으로 하는 Nvidia의 첫 번째 모델이며 더 빠른 SXM 폼 팩터도 있습니다. GPU 자체는 800억 개 이상의 트랜지스터로 구성되어 있으며 이는 Ampere에 비해 거의 50% 증가한 수치입니다. 또한 SXM 표준을 위한 16896개의 CUDA 코어와 PCIe 5.0 표준을 위한 14592개의 CUDA 코어가 있는 132개의 GPU 클러스터를 제공하여 이전 세대보다 2배 이상 많은 수를 제공합니다.

L2 캐시는 40MB에서 50MB로 증가했지만 메모리 버스는 5120비트에서 동일하게 유지되며 메모리 용량은 폼 팩터에 따라 3TB/s 또는 2TB/s 대역폭으로 80GB HBM3으로 설정됩니다. SXM 버전에는 528개의 Tensor 코어가 있고 700W가 필요하지만 PCIe 버전에는 456개의 Tensor 코어만 있고 350W TGP로 제한됩니다. Nvidia는 20x H100 GPU가 전 세계 인터넷 트래픽에 해당하는 양을 유지할 수 있다고 주장하지만 새로운 아키텍처는 미래의 슈퍼컴퓨터에 사용될 수백, 수천 개의 DGX 클러스터까지 확장할 수 있습니다.

FP 성능과 관련하여 H100 GPU는 FP8의 4PFLOPS(A100의 경우 6배), FP16의 2PFLOPS(A100의 경우 3배), TF32의 1PFLOPS(A100의 경우 3배) 및 FP64/FP32의 60TFLOPS( A100보다 3배). Tensor Core FP 계산으로 유사한 개선을 얻을 수 있습니다.

Nvidia는 또한 900GB/s NVLink로 연결된 H100 GPU와 Grace CPU를 결합한 Grace Hopper 슈퍼칩 모듈을 출시할 계획입니다. 마찬가지로 144개의 ARM 코어, 1TB/s LPDDR5x 메모리 대역폭 및 396MB 온칩 캐시를 제공하는 2개의 Grace CPU를 결합한 Grace 슈퍼칩도 있습니다. 이 Grace 슈퍼칩은 최대 8개의 Hopper GPU와 짝을 이룰 수 있지만 이러한 구성은 2023년 3분기 이전에 제공되지 않을 예정입니다. 그러나 Nvidia의 Hopper GPU는 2022년 3분기에 출하될 예정입니다.