NVIDIA H200 SXM
همان تراشهی H100 با حافظهی بزرگتر و سریعتر؛ ۱۴۱ گیگابایت HBM3e و ۴٫۸ ترابایت بر ثانیه، که برای مدلهای زبانی بزرگ و context طولانی تفاوت محسوسی ایجاد میکند.
این مشخصات هنوز توسط ویراستار با منبع رسمی تطبیق داده نشده است. پیش از تصمیم خرید، datasheet وندور را هم ببینید.
ظرفیت حافظه
141 GB
پهنای باند حافظه
4,800 GB/s
FP16/BF16 Tensor/Matrix
989.5 TFLOPS
حداکثر توان (TDP/TBP)
700 W
اعداد توان پردازشی Tensor/Matrix بدون sparsity (dense) درج شدهاند. وندورها معمولاً عدد با sparsity را که دو برابر است تبلیغ میکنند.
کلیات
| معماری | Hopper |
|---|---|
| فرایند ساخت | TSMC 4N |
| فرمفکتور | SXM |
حافظه
| ظرفیت حافظه | 141 GB |
|---|---|
| نوع حافظه | HBM3e |
| پهنای باند حافظه | 4,800 GB/s |
| ECC | دارد |
توان پردازشی (dense)
| FP64 | 34 TFLOPS |
|---|---|
| FP64 Tensor/Matrix | 67 TFLOPS |
| FP32 | 67 TFLOPS |
| TF32 Tensor/Matrix | 494.5 TFLOPS |
| FP16/BF16 Tensor/Matrix | 989.5 TFLOPS |
| FP8 Tensor/Matrix | 1,979 TFLOPS |
| INT8 Tensor/Matrix | 1,979 TOPS |
توان مصرفی
| حداکثر توان (TDP/TBP) | 700 W |
|---|
ارتباطات
| اتصال GPU به GPU | NVLink 4 |
|---|---|
| پهنای باند اتصال GPU به GPU | 900 GB/s |
| نسل PCIe | 5 |
| تعداد لین PCIe | 16 |
| تقسیمبندی سختافزاری مثلاً MIG در NVIDIA | MIG، تا ۷ نمونه |
منابع
- NVIDIA H200 Tensor Core GPU www.nvidia.com