مرورگرهای مجهز به هوش مصنوعی معمولاً برای پاسخگویی به پرسشها یا خلاصهکردن صفحات وب به سرویسهای ابری متکی هستند. یک روش متفاوت این است که مدل زبانی را روی کامپیوتر اجرا کنید و مرورگر را به همان مدل محلی متصل کنید. در این حالت پردازش گفتوگو با مدل روی سیستم خودتان انجام میشود و برای استفاده از مدل نیازی به اشتراک ماهانه یا کلید API سرویسهای ابری ندارید.
BrowserOS از اتصال به مدلهای محلی از طریق ابزارهایی مانند LM Studio و Ollama پشتیبانی میکند. مدل محلی میتواند برای خلاصهکردن صفحه فعلی، پرسیدن سؤال درباره محتوای صفحه و مقایسه اطلاعات چند تب کاربرد داشته باشد.
چرا اجرای مدل هوش مصنوعی محلی در مرورگر اهمیت دارد؟
یکی از مزیتهای اصلی مدل محلی این است که برای گفتوگو با مدل مجبور نیستید هر درخواست را به یک سرویس هوش مصنوعی ابری ارسال کنید. LM Studio میتواند مدل دانلودشده را کاملاً روی کامپیوتر اجرا کند و حتی در حالت آفلاین نیز امکان گفتوگو با مدل و اجرای سرور محلی را فراهم میکند.
این موضوع برای کارهایی مانند خلاصهکردن یک مقاله یا پرسیدن سؤال درباره صفحهای که در حال مطالعه آن هستید اهمیت بیشتری پیدا میکند. با این حال باید یک نکته را در نظر داشته باشید: محلی بودن مدل به معنی آفلاین شدن مرورگر نیست. خود مرورگر همچنان برای بازکردن سایتها و سرویسهای آنلاین به اینترنت متصل است. چیزی که در این روش محلی میشود پردازش درخواست توسط مدل زبانی است.
از طرف دیگر استفاده از مدل محلی میتواند هزینه استفاده از API را نیز کاهش دهد. البته در مقابل باید منابع سختافزاری سیستم مانند رم و حافظه گرافیکی را در اختیار مدل قرار دهید و سرعت پاسخگویی نیز به مدل انتخابی و سختافزار بستگی دارد.
اتصال BrowserOS به LM Studio برای اجرای مدل محلی
اگر از LM Studio استفاده میکنید ابتدا باید یک مدل سازگار را دانلود کرده و آن را در حافظه بارگذاری کنید. سپس از بخش توسعهدهنده LM Studio سرور محلی را فعال کنید. طبق مستندات فعلی LM Studio سرور به صورت پیشفرض روی localhost:1234 اجرا میشود و API سازگار با OpenAI نیز در اختیار برنامههای دیگر قرار میدهد.
در BrowserOS باید تنظیمات مربوط به ارائهدهنده مدل را باز کنید و گزینه مربوط به مدل محلی یا OpenAI-compatible را انتخاب کنید. سپس آدرس سرور و شناسه دقیق مدلی را که در LM Studio بارگذاری کردهاید وارد کنید.
مسیر تنظیمات در BrowserOS:
Settings → AI & Agents → AI Provider
برای اتصال از API سازگار با OpenAI میتوانید آدرس پایه سرور LM Studio را به شکل زیر وارد کنید:
http://localhost:1234/v1
LM Studio امکان استفاده از endpointهای سازگار با OpenAI مانند v1/models و v1/chat/completions را فراهم میکند. بنابراین برنامههایی که از ساختار API مشابه OpenAI پشتیبانی میکنند میتوانند به سرور محلی LM Studio متصل شوند.
بعد از وارد کردن مدل بهتر است اتصال را آزمایش کنید. اگر BrowserOS مدل را پیدا نکرد باید بررسی کنید که مدل در LM Studio بارگذاری شده باشد و سرور نیز فعال باشد.
اتصال BrowserOS به Ollama برای استفاده از LLM محلی
Ollama گزینه دیگری برای اجرای مدلهای زبانی روی کامپیوتر است. مزیت آن این است که مدیریت مدلها و اجرای سرور محلی را میتوان از طریق رابط خط فرمان انجام داد. BrowserOS نیز در فهرست ارائهدهندگان خود از مدلهای محلی از طریق Ollama پشتیبانی میکند.
پس از نصب Ollama و دریافت مدل موردنظر باید سرور Ollama فعال باشد. در این حالت BrowserOS میتواند به سرویس محلی متصل شود و مدل انتخابشده را برای پاسخگویی استفاده کند.
برای مدلهای محلی بهتر است مدلی انتخاب کنید که با مقدار رم و VRAM سیستم شما تناسب داشته باشد. مدلهای بزرگتر معمولاً کیفیت و توانایی بیشتری دارند اما اجرای آنها به حافظه بیشتری نیاز دارد. همچنین برای استفاده در مرورگر بهتر است مدلی انتخاب شود که در پاسخهای طولانی و درک محتوای صفحه عملکرد مناسبی داشته باشد.
در LM Studio نیز میتوانید سرور را از رابط گرافیکی یا خط فرمان اجرا کنید. دستور lms server start سرور محلی را اجرا میکند و پورت پیشفرض در مستندات فعلی 1234 است.
استفاده از مدل محلی برای خلاصهکردن صفحات وب
پس از برقراری اتصال میتوانید از دستیار BrowserOS برای کارهایی استفاده کنید که به درک محتوای صفحه نیاز دارند. خلاصهکردن مقاله، استخراج نکات اصلی، پرسیدن سؤال مشخص درباره متن و مقایسه محتوای چند تب از کاربردهای مناسب مدل محلی هستند.
بله، اینجا هم باید «برای نمونه» اصلاح شود و طبق قاعده شما «به عنوان مثال» بیاید:
به عنوان مثال میتوانید بعد از بازکردن یک مقاله از مدل بخواهید نکات اصلی آن را استخراج کند یا درباره یک ادعای مشخص موجود در صفحه سؤال بپرسید. هرچه درخواست مشخصتر باشد معمولاً نتیجه قابلاستفادهتر خواهد بود.
در اینجا باید بین Chat Mode و Agent Mode تفاوت بگذارید. مستندات فعلی BrowserOS مدلهای محلی را برای Chat Mode مناسب میدانند اما برای کارهای Agent که به استدلال چندمرحلهای و تعامل دقیق با عناصر صفحه نیاز دارند محدودیتهایی وجود دارد.
بنابراین مدل محلی برای خلاصهسازی و پرسشوپاسخ درباره یک صفحه گزینه مناسبی است اما نباید انتظار داشته باشید هر مدل محلی بتواند مانند یک مدل ابری قدرتمند وظایف پیچیده مرور وب را به صورت خودکار انجام دهد.
برای اجرای مدل محلی چه سختافزاری لازم است؟
نیاز سختافزاری به مدل انتخابی بستگی دارد. مدلهای کمحجم و کوانتایزشده برای سیستمهای معمولی مناسبتر هستند و مدلهای بزرگتر به رم و VRAM بیشتری احتیاج دارند.
اگر هدف شما بیشتر خلاصهسازی صفحات و پرسشوپاسخ است میتوانید از یک مدل نسبتاً کوچک استفاده کنید. در چنین کاربردی انتخاب مدل بسیار بزرگ لزوماً ضروری نیست و گاهی سرعت پاسخگویی مهمتر از تعداد پارامترها است.
همچنین باید فضای ذخیرهسازی مدلها را در نظر بگیرید. فایل مدلهای بزرگ میتواند چندین گیگابایت حجم داشته باشد و هنگام اجرا نیز بخشی از رم یا VRAM سیستم اشغال میشود.
آیا استفاده از LLM محلی در BrowserOS کاملاً خصوصی است؟
از نظر پردازش مدل زبانی میتوانید دادهها را روی کامپیوتر خود نگه دارید. LM Studio اعلام میکند که مدلهای دانلودشده و گفتوگو با آنها میتوانند کاملاً محلی اجرا شوند و درخواستهای سرور محلی نیز روی دستگاه باقی بمانند.
اما این موضوع را نباید با خصوصی یا آفلاین بودن کامل مرور وب اشتباه گرفت. وقتی سایتی را باز میکنید همچنان ارتباط عادی مرورگر با اینترنت برقرار است و کوکیها و اطلاعات موردنیاز سایت طبق سازوکار همان سرویس ارسال میشوند.
همچنین اگر سرور LM Studio را از localhost خارج کنید و آن را روی شبکه محلی در دسترس قرار دهید باید مراقب تنظیمات امنیتی باشید. مستندات LM Studio هشدار میدهد که اتصال به آدرسی غیر از 127.0.0.1 میتواند سرور را از حالت فقط محلی خارج کند و در چنین شرایطی استفاده از احراز هویت توصیه میشود.
در نتیجه اگر هدف شما بیشترین سطح کنترل و سادگی است بهتر است تا زمانی که نیاز خاصی ندارید سرور را فقط روی localhost نگه دارید.
جمعبندی
ترکیب BrowserOS با LM Studio یا Ollama راهی برای استفاده از یک مدل هوش مصنوعی محلی در مرورگر است. در این روش مدل روی کامپیوتر اجرا میشود و BrowserOS میتواند از آن برای خلاصهکردن صفحات و پرسشوپاسخ درباره محتوای وب استفاده کند.
برای شروع میتوانید یک مدل سبکتر را انتخاب کنید و ابتدا Chat Mode را امتحان کنید. اگر نتیجه و سرعت مناسب بود بعداً سراغ مدلهای بزرگتر بروید. در مقابل برای وظایف پیچیده Agent Mode باید توانایی مدل در استفاده از ابزارها و انجام کارهای چندمرحلهای را جداگانه بررسی کنید.
اینتوتک