مقایسه ۴ مدل هوش مصنوعی آفلاین در تحلیل فایل اکسل؛ کدام مدل محاسبات دقیق‌تری دارد؟

اجرای هوش مصنوعی آفلاین روی کامپیوترهای شخصی به لطف مدل‌های زبانی کوچک آسان‌تر شده است. امروزه می‌توان مدل‌هایی با چند میلیارد پارامتر را روی لپ‌تاپ یا کامپیوتر مجهز به کارت گرافیک میان‌رده اجرا کرد و بدون ارسال اطلاعات به سرویس‌های ابری، از آن‌ها برای تحلیل متن، برنامه‌نویسی و بررسی فایل‌ها کمک گرفت.

اما آیا هوش مصنوعی محلی برای تحلیل فایل اکسل و محاسبه قیمت محصولات قابل اعتماد است؟ مقایسه چهار مدل Gemma 4 و Phi-4 Mini و Ministral 3 نشان می‌دهد حتی مدل‌هایی که اطلاعات فایل را درست می‌خوانند، ممکن است در محاسبه میانگین، تشخیص ارزان‌ترین محصول یا تشخیص اطلاعات ناموجود اشتباه کنند.

مقایسه مدل‌های هوش مصنوعی محلی برای تحلیل فایل اکسل و CSV

برای بررسی دقت مدل‌های زبانی کوچک، یک فایل CSV شامل قیمت قطعات کامپیوتر در نظر گرفته شد. این فایل عمداً اطلاعات نامنظمی داشت؛ از جمله قیمت‌های دلاری و پوندی، ظرفیت‌های مختلف SSD، قیمت‌های نامشخص و ردیف‌های تکراری یا جمع‌بندی.

چهار مدل هوش مصنوعی آفلاین با شرایط نسبتاً مشابه آزمایش شدند:

• Gemma 4 E4B: مدل گوگل با حدود ۴٫۵ میلیارد پارامتر فعال در پیکربندی مورد آزمایش.
• Phi-4 Mini: مدل کوچک مایکروسافت با حدود ۳٫۸ میلیارد پارامتر.
• Ministral 3 3B: مدل سبک شرکت Mistral با حدود ۳٫۴ میلیارد پارامتر زبانی.
• Ministral 3 8B: نسخه بزرگ‌تر خانواده Ministral با حدود ۸٫۴ میلیارد پارامتر زبانی.

مدل‌ها با موتور llama.cpp و کوانتیزیشن Q4_K_M روی کامپیوتری مجهز به کارت گرافیک RTX 4070 Ti Super با حافظه ۱۶ گیگابایت اجرا شدند. پردازنده Ryzen 5 7600X و رم ۳۲ گیگابایتی نیز در سیستم وجود داشت.

برای هر مدل، پنجره کانتکست ۱۶ هزار توکنی در نظر گرفته شد و قابلیت جستجوی اینترنتی و ابزارهای جانبی غیرفعال بودند. هدف این بود که مدل‌ها فقط با اطلاعات فایل پاسخ دهند.

پرسش‌ها شامل محاسبه میانگین قیمت کارت گرافیک، پیدا کردن ارزان‌ترین کارت گرافیک ۱۶ گیگابایتی، شناسایی ارزان‌ترین SSD یک ترابایتی و شمارش مدل‌های SSD دو ترابایتی بودند. دو پرسش دیگر نیز عمداً به اطلاعاتی مربوط می‌شدند که در فایل وجود نداشت.

نکته مهم این است که برای پاسخ صحیح، مدل باید تفاوت قیمت روز با قیمت رسمی محصول را تشخیص دهد، ارزها را با یکدیگر اشتباه نگیرد و ظرفیت ۱۰۰۰ گیگابایت را معادل یک ترابایت در نظر بگیرد.

نتایج آزمایش Gemma 4 و Phi-4 Mini و Ministral 3؛ کدام مدل دقیق‌تر بود؟

نتایج نشان دادند که بزرگ‌تر بودن مدل لزوماً به معنای دقت بیشتر در تحلیل داده‌ها نیست. حتی بعضی مدل‌ها با وجود شناسایی ردیف‌های صحیح، در جمع و تقسیم اعداد اشتباه کردند.

Gemma 4 E4B در مجموع عملکرد مناسب‌تری داشت. این مدل در هر سه اجرای آزمایش، ارزان‌ترین SSD یک ترابایتی را درست تشخیص داد و در هیچ‌یک از پرسش‌های مربوط به اطلاعات ناموجود، پاسخ ساختگی ارائه نکرد. بااین‌حال، تنها در یکی از سه تلاش توانست میانگین ۵۳۹ دلاری کارت‌های گرافیک را درست محاسبه کند.

Phi-4 Mini در شناسایی SSD ارزان‌تر و شمارش محصولات غیرتکراری موفق بود، اما برای میانگین قیمت کارت‌های گرافیک دو پاسخ کاملاً متفاوت ۵۸۴٫۳۳ و ۴۰۳ دلار ارائه کرد. این اختلاف نشان می‌دهد حتی تنظیم دمای تولید پاسخ نزدیک صفر نیز همیشه خروجی یکسان و دقیق را تضمین نمی‌کند.

Ministral 3 3B توانست تعداد SSDهای دو ترابایتی را درست تشخیص دهد، اما در محاسبه میانگین قیمت‌ها و انتخاب ارزان‌ترین محصولات اشتباه کرد. در مقابل، هر دو پرسش مربوط به اطلاعات ناموجود را بدون ساختن پاسخ رد کرد.

Ministral 3 8B با وجود پارامترهای بیشتر، عملکرد قابل‌اعتمادتری نداشت. این مدل بعضی ردیف‌های مربوط به کارت‌های گرافیک را نادیده گرفت و میانگین قیمت را ۳۸۴ دلار محاسبه کرد. مشکل مهم‌تر این بود که برای یکی از پرسش‌های فاقد اطلاعات کافی، اعداد و توضیحات ساختگی ارائه داد.

جدول زیر امتیاز مدل‌ها را در مجموعه آزمایش نشان می‌دهد:

تعداد دفعات اجرای پرسش‌ها برای همه مدل‌ها یکسان نبود؛ بنابراین این نتایج یک بنچمارک جامع محسوب نمی‌شوند.

نکته قابل‌توجه اینکه هیچ‌کدام از مدل‌ها نتوانستند ارزان‌ترین کارت گرافیک ۱۶ گیگابایتی را درست تشخیص دهند. همگی به‌جای RX 9060 XT، مدل RTX 5060 Ti را انتخاب کردند.

این اشتباه نشان می‌دهد مدل زبانی ممکن است به‌جای مقایسه دقیق تمام ردیف‌های فایل، تحت تأثیر اطلاعات دیگر جدول یا الگوهای آشنای نام محصولات قرار بگیرد.

چگونه دقت هوش مصنوعی آفلاین را در تحلیل داده‌ها افزایش دهیم؟

اگر قصد دارید از مدل‌های زبانی کوچک برای تحلیل فایل اکسل استفاده کنید، بهتر است محاسبات مهم را بدون بررسی نپذیرید. این موضوع به‌خصوص برای گزارش‌های مالی، مقایسه قیمت و تحلیل داده‌های تجاری اهمیت دارد.

چند روش می‌تواند احتمال خطا را کاهش دهد:

• پاک‌سازی اطلاعات: ردیف‌های جمع‌بندی، قیمت‌های نامشخص و داده‌های تکراری را مشخص یا حذف کنید.
• یکسان‌سازی واحدها: ظرفیت SSD را به گیگابایت یا ترابایت تبدیل کنید و قیمت‌ها را بر اساس واحد پول تفکیک کنید.
• درخواست نمایش محاسبات: از مدل بخواهید ابتدا ردیف‌های انتخاب‌شده را فهرست کند و سپس میانگین یا مجموع را محاسبه کند.
• استفاده از ابزار محاسباتی: برای جمع، میانگین و فیلتر کردن داده‌ها، از فرمول‌های اکسل یا کد پایتون کمک بگیرید.
• جلوگیری از پاسخ ساختگی: در دستور خود تأکید کنید که اگر اطلاعات کافی وجود ندارد، مدل باید صریحاً اعلام کند.

به عنوان مثال، به‌جای پرسیدن «میانگین قیمت کارت‌های گرافیک چقدر است؟» بهتر است بنویسید:

فقط ردیف‌های مربوط به کارت گرافیک را بررسی کن. قیمت‌های عددی با واحد دلار آمریکا را از ستون Street Price انتخاب کن. قیمت‌های پوندی، سلول‌های خالی و ردیف‌های جمع‌بندی را کنار بگذار. ابتدا قیمت‌های انتخاب‌شده را نمایش بده و سپس میانگین را حساب کن. اگر اطلاعات کافی وجود ندارد، عددی حدس نزن.

برای محاسبات حساس، بهتر است مدل فقط داده‌ها را استخراج و دسته‌بندی کند و نتیجه نهایی با ابزار محاسباتی کنترل شود.

همچنین فعال کردن قابلیت اجرای کد در ابزارهایی که از آن پشتیبانی می‌کنند، می‌تواند دقت محاسبات را افزایش دهد. البته کد تولیدشده نیز باید بررسی شود تا ستون‌ها و ردیف‌های صحیح را انتخاب کرده باشد.

در مجموع، اجرای هوش مصنوعی محلی برای حفظ حریم خصوصی و کار با اطلاعات بدون اتصال به اینترنت مزیت مهمی دارد؛ اما مدل‌های کوچک هنوز جایگزین مطمئنی برای محاسبات دقیق اکسل نیستند. بهترین روش، ترکیب توانایی مدل در درک زبان طبیعی با ابزارهای محاسباتی قابل‌بررسی است.

اینتوتک