NVIDIA L40S
کارت PCIe همه کاره برای استنتاج، fine-tuning سبک و گرافیک؛ ۴۸ گیگابایت GDDR6 با مصرف ۳۵۰ وات، بدون NVLink.
این مشخصات هنوز توسط ویراستار با منبع رسمی تطبیق داده نشده است. پیش از تصمیم خرید، datasheet وندور را هم ببینید.
ظرفیت حافظه
48 GB
پهنای باند حافظه
864 GB/s
FP16/BF16 Tensor/Matrix
362 TFLOPS
حداکثر توان (TDP/TBP)
350 W
اعداد توان پردازشی Tensor/Matrix بدون sparsity (dense) درج شده‌اند. وندورها معمولاً عدد با sparsity را که دو برابر است تبلیغ می‌کنند.
کلیات
| معماری | Ada Lovelace |
|---|---|
| فرایند ساخت | TSMC 4N |
| فرم‌فکتور | PCIe |
حافظه
| ظرفیت حافظه | 48 GB |
|---|---|
| نوع حافظه | GDDR6 |
| پهنای باند حافظه | 864 GB/s |
| ECC | دارد |
توان پردازشی (dense)
| FP64 | — |
|---|---|
| FP64 Tensor/Matrix | — |
| FP32 | 91.6 TFLOPS |
| TF32 Tensor/Matrix | 183 TFLOPS |
| FP16/BF16 Tensor/Matrix | 362 TFLOPS |
| FP8 Tensor/Matrix | 733 TFLOPS |
| INT8 Tensor/Matrix | 733 TOPS |
توان مصرفی
| حداکثر توان (TDP/TBP) | 350 W |
|---|
ارتباطات
| اتصال GPU به GPU | — |
|---|---|
| پهنای باند اتصال GPU به GPU | — |
| نسل PCIe | 4 |
| تعداد لین PCIe | 16 |
| تقسیم‌بندی سخت‌افزاری مثلاً MIG در NVIDIA | — |
منابع
- NVIDIA L40S GPU www.nvidia.com