مدل‌های به شما اجازه می‌دهند بدون وابستگی دائمی به سرویس‌های آنلاین، کارهایی مانند برنامه‌نویسی، خلاصه‌سازی متن و مدیریت اسناد را انجام دهید. با این حال، اجرای سریع یک مدل روی کامپیوتر همیشه به معنای دریافت پاسخ‌های دقیق نیست. انتخاب نسخه مناسب مدل، تنظیم میزان کوانتایز و استفاده از قالب گفت‌وگوی صحیح، نقش مهمی در کیفیت خروجی دارند؛ به‌خصوص اگر کارت گرافیک شما حافظه محدودی داشته باشد.

برای اجرای بهتر یا LLM روی سخت‌افزارهای معمولی، لازم نیست همیشه سراغ مدل‌های بزرگ‌تر یا نسخه‌های سنگین‌تر بروید. گاهی انتخاب یک مدل کوچک‌تر با دقت مناسب یا استفاده از معماری متخصصان ترکیبی می‌تواند نتیجه بهتری داشته باشد.

مقایسه لپ‌تاپ‌های مجهز به هوش مصنوعی محلی نشان می‌دهد که قدرت پردازنده گرافیکی به‌تنهایی تعیین‌کننده نیست؛ نرم‌افزارهای مورد استفاده برای اجرای مدل‌ها و میزان حافظه در دسترس نیز نقش مهمی دارند. در آزمایشی که دو پلتفرم NVIDIA RTX Spark و را برای اجرای مدل‌های هوش مصنوعی بررسی کرده، محصول انویدیا در بیشتر کارهایی که هر دو دستگاه قادر به انجام آن‌ها بودند، سریع‌تر عمل کرده است؛ با این حال، دستگاه AMD توانسته مدل بزرگ‌تری را اجرا کند که نسخه ۶۴ گیگابایتی رقیب از اجرای آن ناتوان بود.

اگر می‌خواهید مدل‌های هوش مصنوعی را روی کامپیوتر خودتان اجرا کنید، انتخاب ابزار مناسب به میزان تجربه و کنترل موردنیاز شما بستگی دارد. ابزارهایی مانند Ollama و llama.cpp بیشتر روی اجرای مدل و کنترل فنی تمرکز دارند، در حالی که LM Studio و Msty محیط گرافیکی کامل‌تری ارائه می‌کنند. LM Studio امکان جست‌وجو و دانلود مدل و اجرای آن در محیط چت را مستقیماً از داخل برنامه فراهم می‌کند.

در مقابل، KoboldCpp برای اجرای مدل‌های GGUF و تنظیم دقیق گزینه‌هایی مانند لایه‌های GPU و اندازه کانتکست امکانات بیشتری دارد.