ساخت دستیار تحقیقاتی هوش مصنوعی به‌صورت کاملاً محلی؛ اجرای RAG با Ollama و اسناد شخصی

اگر با PDF، مقاله، گزارش یا مجموعه‌ای از اسناد زیاد سروکار دارید، می‌توانید به‌جای آپلود آن‌ها در سرویس‌های ابری، یک دستیار تحقیقاتی هوش مصنوعی را روی کامپیوتر خودتان راه‌اندازی کنید. ترکیب Ollama با یک مدل زبانی محلی، مدل Embedding و ابزارهایی مانند Open WebUI یا AnythingLLM امکان ساخت یک سیستم RAG را فراهم می‌کند که اطلاعات موردنیاز را از میان فایل‌های شخصی پیدا کرده و در اختیار مدل قرار می‌دهد.

مزیت اصلی این روش فقط رایگان بودن نیست؛ اسناد در حالت اجرای کاملاً محلی روی سیستم باقی می‌مانند و برای پردازش آن‌ها به ارسال فایل به یک سرویس ابری نیاز ندارید. خود Ollama نیز اعلام می‌کند که در اجرای محلی، داده و محتوای پردازش‌شده روی دستگاه کاربر باقی می‌ماند.

اجرای مدل‌های هوش مصنوعی به‌صورت محلی معمولاً به مقدار زیادی VRAM نیاز دارد و همه کاربران نیز به کارت گرافیکی جدید و قدرتمندی با بیش از ۲۰ گیگابایت VRAM دسترسی ندارند. با این حال، چند مدل سبک و در عین حال توانمند وجود دارند که بسته به نوع استفاده می‌توانند حتی با ۸ گیگابایت VRAM یا کمتر نیز عملکرد قابل‌قبولی ارائه دهند.

این مدل‌ها برای کاربران دارای کارت‌های گرافیک NVIDIA و AMD جذاب هستند و می‌توانند امکان اجرای مدل‌های زبانی بزرگ را روی سخت‌افزارهای قدیمی‌تر فراهم کنند. با اینتوتک همراه باشید تا مدل‌های بهینه برای رم ویدیویی ۸ گیگابایت کمتر را معرفی کنیم و بنچمارکی از مدل‌های مختلف ارایه کنیم.

سال‌ها AMD از نظر عملکرد در بیشتر کاربردهای مربوط به هوش مصنوعی، از NVIDIA عقب‌تر بوده است. NVIDIA تقریباً همیشه گزینه قدرتمندتری محسوب می‌شده، حتی اگر این برتری با پرداخت هزینه بیشتر به دست می‌آمد؛ موضوعی که هنوز هم تا حدی صدق می‌کند.

خوشبختانه به نظر می‌رسد AMD تا حد زیادی خود را به NVIDIA رسانده است و بسته‌ی نرم‌افزاری Radeon Open Compute یا ROCm این شرکت نیز در Linux تجربه‌ای شگفت‌انگیز و لذت‌بخش ارائه می‌دهد. در این مقاله از اینتوتک می‌خواهیم عملکرد کارت گرافیک انویدیا و ای‌ام‌دی در پردازش مدل‌های بزرگ زبانی یا به اختصار LLM روی کامپیوتر را با نگاهی به بنچ‌مارک‌ها مقایسه کنیم و به این سوال پاسخ دهیم که اگر بودجه محدود باشد و بخواهیم کارت گرافیک‌های نسبتاً ارزان را برای هوش مصنوعی انتخاب کنیم، انویدیا گزینه‌ی بهتری است یا ای‌ام‌دی نیز عملکرد قابل قبولی دارد؟