H100 یا H200؟ وقتی تفاوت فقط در حافظه است

H200 از بیرون شبیه یک نسل جدید به نظر می‌رسد، ولی در عمل همان تراشه‌ی Hopper در H100 است با یک تغییر بزرگ: حافظه. اگر بدانید بار کاری شما به حافظه حساس است یا به توان پردازشی، انتخاب بین این دو ساده می‌شود.

چه چیزی یکسان است؟#

هر دو از تراشه‌ی GH100 استفاده می‌کنند. تعداد هسته‌ها، فرکانس و در نتیجه توان پردازشی در همه‌ی دقت‌ها (FP64، FP32، FP16، FP8) عملاً یکی است. هر دو با NVLink نسل چهارم به هم وصل می‌شوند و فرم فکتور SXM و سقف مصرف مشابهی دارند.

چه چیزی فرق دارد؟#

H200 به جای ۸۰ گیگابایت HBM3، حدود ۱۴۱ گیگابایت HBM3e دارد و پهنای باند حافظه‌اش هم بیشتر است. یعنی:

• مدل بزرگ‌تری روی هر GPU جا می‌شود و برای یک مدل مشخص به GPU کمتری نیاز دارید.
• برای استنتاج مدل‌های زبانی، جای بیشتری برای KV cache می‌ماند؛ context طولانی‌تر و batch بزرگ‌تر ممکن می‌شود.
• در مرحله‌ی تولید توکن که معمولاً به پهنای باند حافظه محدود است، پهنای باند بالاتر مستقیماً به سرعت بیشتر تبدیل می‌شود.

حافظه‌ی لازم برای هر اندازه‌ی مدل را با سخت افزار لازم برای اجرای LLM حساب کنید.

انتخاب#

1. استنتاج مدل‌های بزرگ یا context طولانی: H200؛ حافظه‌ی بیشتر یعنی GPU کمتر برای همان مدل.
2. آموزش یا بار کاری محاسبه محور که در ۸۰ گیگابایت جا می‌شود: H100 کافی است و معمولاً در دسترس‌تر است.
3. پیش از خرید: پلتفرم سرور (HGX) و پشتیبانی نرم افزار و درایور را با وندور سرور هماهنگ کنید.

برای فرم فکتور ماژول‌های شبکه‌ی خوشه‌ی GPU، QSFP-DD یا OSFP را ببینید.