اگر از مدل‌های هوش مصنوعی فقط برای چت استفاده کنید، معمولاً هزینه سرویس چندان پیچیده نیست. اما وقتی مدل را از طریق API به ابزارهایی مانند اتوماسیون‌ها و دستیارهای برنامه‌نویسی و Agentها متصل می‌کنید، تعداد درخواست‌ها می‌تواند خیلی سریع افزایش پیدا کند و هزینه استفاده از مدل‌های تجاری بالا برود.

در چنین شرایطی، استفاده از مدل‌های رایگان یا متن‌باز از طریق API می‌تواند گزینه‌ای برای کاهش هزینه باشد. NVIDIA در سرویس NIM خود مجموعه‌ای از مدل‌ها را با عنوان Free Endpoint ارائه می‌کند و تعداد و نوع این مدل‌ها در طول زمان تغییر می‌کند. در حال حاضر مدل‌هایی از شرکت‌هایی مانند Z.ai و Meta و Google و OpenAI در این فهرست دیده می‌شوند.

ساخت دستیار تحقیقاتی هوش مصنوعی به‌صورت کاملاً محلی؛ اجرای RAG با Ollama و اسناد شخصی

اگر با PDF، مقاله، گزارش یا مجموعه‌ای از اسناد زیاد سروکار دارید، می‌توانید به‌جای آپلود آن‌ها در سرویس‌های ابری، یک دستیار تحقیقاتی هوش مصنوعی را روی کامپیوتر خودتان راه‌اندازی کنید. ترکیب Ollama با یک مدل زبانی محلی، مدل Embedding و ابزارهایی مانند Open WebUI یا AnythingLLM امکان ساخت یک سیستم RAG را فراهم می‌کند که اطلاعات موردنیاز را از میان فایل‌های شخصی پیدا کرده و در اختیار مدل قرار می‌دهد.

مزیت اصلی این روش فقط رایگان بودن نیست؛ اسناد در حالت اجرای کاملاً محلی روی سیستم باقی می‌مانند و برای پردازش آن‌ها به ارسال فایل به یک سرویس ابری نیاز ندارید. خود Ollama نیز اعلام می‌کند که در اجرای محلی، داده و محتوای پردازش‌شده روی دستگاه کاربر باقی می‌ماند.