مرورگرهای مجهز به هوش مصنوعی معمولاً برای پاسخ‌گویی به پرسش‌ها یا خلاصه‌کردن صفحات وب به سرویس‌های ابری متکی هستند. یک روش متفاوت این است که مدل زبانی را روی کامپیوتر اجرا کنید و مرورگر را به همان مدل محلی متصل کنید. در این حالت پردازش گفت‌وگو با مدل روی سیستم خودتان انجام می‌شود و برای استفاده از مدل نیازی به اشتراک ماهانه یا کلید API سرویس‌های ابری ندارید.

BrowserOS از اتصال به مدل‌های محلی از طریق ابزارهایی مانند LM Studio و Ollama پشتیبانی می‌کند. مدل محلی می‌تواند برای خلاصه‌کردن صفحه فعلی، پرسیدن سؤال درباره محتوای صفحه و مقایسه اطلاعات چند تب کاربرد داشته باشد.

اجرای مدل‌های هوش مصنوعی به‌صورت محلی معمولاً به مقدار زیادی VRAM نیاز دارد و همه کاربران نیز به کارت گرافیکی جدید و قدرتمندی با بیش از ۲۰ گیگابایت VRAM دسترسی ندارند. با این حال، چند مدل سبک و در عین حال توانمند وجود دارند که بسته به نوع استفاده می‌توانند حتی با ۸ گیگابایت VRAM یا کمتر نیز عملکرد قابل‌قبولی ارائه دهند.

این مدل‌ها برای کاربران دارای کارت‌های گرافیک NVIDIA و AMD جذاب هستند و می‌توانند امکان اجرای مدل‌های زبانی بزرگ را روی سخت‌افزارهای قدیمی‌تر فراهم کنند. با اینتوتک همراه باشید تا مدل‌های بهینه برای رم ویدیویی ۸ گیگابایت کمتر را معرفی کنیم و بنچمارکی از مدل‌های مختلف ارایه کنیم.