سخت افزار لازم برای اجرای LLM روی سرور: GPU، حافظه و توان
برای اجرای مدل زبانی روی سرور چه GPU و چقدر VRAM لازم است؛ حساب حافظهی مدل و KV cache، نقش پهنای باند، مقایسهی GPUها، برق و خنک کنندگی و سه سناریوی نمونه.
برچسب: LLM
آموزش Ollama: اجرای مدلهای هوش مصنوعی روی سرور خودتان
نصب Ollama 0.34 روی لینوکس با systemd، اجرای مدل روی GPU، انتخاب مدل بر اساس VRAM، API سازگار با OpenAI، ایمن سازی دسترسی شبکه و نصب روی سرور آفلاین.
مدل زبانی بزرگ (LLM) چیست و چطور کار میکند؟
مدل زبانی بزرگ (LLM) چطور متن میسازد؛ توکن، پارامتر، پنجرهی context، مراحل آموزش، علت اطلاعات غلط و سخت افزار لازم برای اجرا، به زبان مهندس زیرساخت.
مقایسهی ChatGPT، Claude، Gemini و DeepSeek
مقایسهی ChatGPT، Claude، Gemini و DeepSeek در شهریور ۱۴۰۵؛ مدلها، نقاط قوت، دسترسی از ایران، حریم خصوصی و انتخاب برای کدنویسی، اسناد و اجرای داخلی.
DeepSeek در برابر ChatGPT: تفاوتها و کاربردها
DeepSeek یا ChatGPT؟ فرق دو سرویس در توانایی، هزینهی API، دسترسی از ایران، حریم خصوصی و اجرا روی سرور داخلی، و انتخاب برای کاربر، برنامه نویس و سازمان.
H100 یا H200؟ وقتی تفاوت فقط در حافظه است
H100 یا H200؟ H200 همان تراشهی Hopper است با حافظهی بیشتر و سریعتر؛ انتخاب برای آموزش یا استنتاج مدلهای زبانی به حساسیت بار کاری به حافظه بستگی دارد.