NVIDIA H100 SXM
پرچم دار نسل Hopper برای آموزش و استنتاج مدلهای بزرگ؛ نسخهی SXM با ۸۰ گیگابایت HBM3 و NVLink نسل چهارم، معمولاً در سرورهای HGX هشت تایی.
این مشخصات هنوز توسط ویراستار با منبع رسمی تطبیق داده نشده است. پیش از تصمیم خرید، datasheet وندور را هم ببینید.
ظرفیت حافظه
80 GB
پهنای باند حافظه
3,350 GB/s
FP16/BF16 Tensor/Matrix
989.5 TFLOPS
حداکثر توان (TDP/TBP)
700 W
اعداد توان پردازشی Tensor/Matrix بدون sparsity (dense) درج شدهاند. وندورها معمولاً عدد با sparsity را که دو برابر است تبلیغ میکنند.
کلیات
| معماری | Hopper |
|---|---|
| فرایند ساخت | TSMC 4N |
| فرمفکتور | SXM |
حافظه
| ظرفیت حافظه | 80 GB |
|---|---|
| نوع حافظه | HBM3 |
| پهنای باند حافظه | 3,350 GB/s |
| ECC | دارد |
توان پردازشی (dense)
| FP64 | 34 TFLOPS |
|---|---|
| FP64 Tensor/Matrix | 67 TFLOPS |
| FP32 | 67 TFLOPS |
| TF32 Tensor/Matrix | 494.5 TFLOPS |
| FP16/BF16 Tensor/Matrix | 989.5 TFLOPS |
| FP8 Tensor/Matrix | 1,979 TFLOPS |
| INT8 Tensor/Matrix | 1,979 TOPS |
توان مصرفی
| حداکثر توان (TDP/TBP) | 700 W |
|---|
ارتباطات
| اتصال GPU به GPU | NVLink 4 |
|---|---|
| پهنای باند اتصال GPU به GPU | 900 GB/s |
| نسل PCIe | 5 |
| تعداد لین PCIe | 16 |
| تقسیمبندی سختافزاری مثلاً MIG در NVIDIA | MIG، تا ۷ نمونه |
منابع
- NVIDIA H100 Tensor Core GPU www.nvidia.com