اگر می‌خواهید مدل‌های هوش مصنوعی را روی کامپیوتر خودتان اجرا کنید، انتخاب ابزار مناسب به میزان تجربه و کنترل موردنیاز شما بستگی دارد. ابزارهایی مانند Ollama و llama.cpp بیشتر روی اجرای مدل و کنترل فنی تمرکز دارند، در حالی که LM Studio و Msty محیط گرافیکی کامل‌تری ارائه می‌کنند. LM Studio امکان جست‌وجو و دانلود مدل و اجرای آن در محیط چت را مستقیماً از داخل برنامه فراهم می‌کند.

در مقابل، KoboldCpp برای اجرای مدل‌های GGUF و تنظیم دقیق گزینه‌هایی مانند لایه‌های GPU و اندازه کانتکست امکانات بیشتری دارد.

ساخت دستیار تحقیقاتی هوش مصنوعی به‌صورت کاملاً محلی؛ اجرای RAG با Ollama و اسناد شخصی

اگر با PDF، مقاله، گزارش یا مجموعه‌ای از اسناد زیاد سروکار دارید، می‌توانید به‌جای آپلود آن‌ها در سرویس‌های ابری، یک دستیار تحقیقاتی هوش مصنوعی را روی کامپیوتر خودتان راه‌اندازی کنید. ترکیب Ollama با یک مدل زبانی محلی، مدل Embedding و ابزارهایی مانند Open WebUI یا AnythingLLM امکان ساخت یک سیستم RAG را فراهم می‌کند که اطلاعات موردنیاز را از میان فایل‌های شخصی پیدا کرده و در اختیار مدل قرار می‌دهد.

مزیت اصلی این روش فقط رایگان بودن نیست؛ اسناد در حالت اجرای کاملاً محلی روی سیستم باقی می‌مانند و برای پردازش آن‌ها به ارسال فایل به یک سرویس ابری نیاز ندارید. خود Ollama نیز اعلام می‌کند که در اجرای محلی، داده و محتوای پردازش‌شده روی دستگاه کاربر باقی می‌ماند.