اجرای LLM

بهترین تنظیمات اجرای هوش مصنوعی محلی روی کارت گرافیک ۸ گیگابایتی

برای اجرای مدل‌های ، صرفاً انتخاب یک مدل کم‌حجم کافی نیست؛ تنظیماتی مثل حالت تفکر، روش نمونه‌برداری و اندازه پنجره متن نیز مستقیماً بر سرعت و کیفیت پاسخ و میزان مصرف حافظه تأثیر می‌گذارند. در چنین سیستمی بهتر است تنظیمات را متناسب با سخت‌افزار انتخاب کنید، نه اینکه دقیقاً از توصیه‌هایی پیروی کنید که برای مدل‌های ابری و سرورهای قدرتمند نوشته شده‌اند.

مقایسه AMD و NVIDIA در پردازش مدل‌های هوش مصنوعی در لپ‌تاپ، رایزن بهتر است یا RTX 4050 Mobile؟

سال‌ها AMD از نظر عملکرد در بیشتر کاربردهای مربوط به هوش مصنوعی، از NVIDIA عقب‌تر بوده است. NVIDIA تقریباً همیشه گزینه قدرتمندتری محسوب می‌شده، حتی اگر این برتری با پرداخت هزینه بیشتر به دست می‌آمد؛ موضوعی که هنوز هم تا حدی صدق می‌کند.

خوشبختانه به نظر می‌رسد AMD تا حد زیادی خود را به NVIDIA رسانده است و بسته‌ی نرم‌افزاری Radeon Open Compute یا ROCm این شرکت نیز در Linux تجربه‌ای شگفت‌انگیز و لذت‌بخش ارائه می‌دهد. در این مقاله از اینتوتک می‌خواهیم عملکرد کارت گرافیک انویدیا و ای‌ام‌دی در پردازش مدل‌های بزرگ زبانی یا به اختصار LLM روی کامپیوتر را با نگاهی به بنچ‌مارک‌ها مقایسه کنیم و به این سوال پاسخ دهیم که اگر بودجه محدود باشد و بخواهیم کارت گرافیک‌های نسبتاً ارزان را برای هوش مصنوعی انتخاب کنیم، انویدیا گزینه‌ی بهتری است یا ای‌ام‌دی نیز عملکرد قابل قبولی دارد؟

آخرین دیدگاه‌ها
۲۰۰ دیدگاه و پاسخ آخر
حراج بلک فرایدی هوشمندسازی خانه