۴۰ معیار برتر مدل‌های زبان بزرگ (LLM) با پشتوانه تحقیقاتی و موارد استفاده آن‌ها

با توسعه روزافزون هوش مصنوعی مولد (GenAI)، تمرکز ویژه‌ای بر آزمایش و ارزیابی آن وجود دارد که منجر به انتشار چندین معیار (بنچمارک) برای مدل‌های زبان بزرگ (LLM) شده است. هر یک از این معیارها، قابلیت‌های متفاوتی از LLM را می‌سنجند – اما آیا برای ارزیابی کامل عملکرد در دنیای واقعی کافی هستند؟

این وبلاگ به بررسی برخی از محبوب‌ترین بنچمارک‌های LLM برای ارزیابی مدل‌های زبانی برتر مانند GPT 4o، Gemma 3 می‌پردازد. علاوه بر این، ما در مورد استفاده از LLM‌ها در سناریوهای عملی و اینکه آیا این معیارها برای پیاده‌سازی‌های پیچیده مانند سیستم‌های عامل‌محور (agentic systems) کافی هستند، بحث خواهیم کرد.

فهرست مطالب

• معیارهای ارزیابی: هوش مصنوعی سنتی در مقابل هوش مصنوعی مولد
• ۴۰ بنچمارک LLM
• درک بنچمارک‌های LLM
  • بنچمارک‌های درک دانش عمومی و زبان
  • بنچمارک‌های کدنویسی
  • بنچمارک‌های استدلال
• آیا بنچمارک‌های LLM کافی هستند؟
• ارزیابی عامل‌محور: فراتر از LLM‌ها
• جمع‌بندی نهایی

معیارهای ارزیابی: هوش مصنوعی سنتی در مقابل هوش مصنوعی مولد

الگوریتم‌های هوش مصنوعی سنتی، مانند الگوریتم‌هایی که برای طبقه‌بندی، رگرسیون و پیش‌بینی سری‌های زمانی استفاده می‌شوند، معمولاً سیستم‌های قطعی (deterministic) هستند. این بدان معناست که برای مجموعه‌ای مشخص از ورودی‌ها، انتظار می‌رود مدل یک خروجی ثابت تولید کند. در حالی که پیش‌بینی‌های مدل ممکن است بسته به آموزش آن از واقعیت پایه (ground truth) مورد انتظار منحرف شود، خروجی هنگام ارائه با همان ترکیب ورودی، پایدار باقی خواهد ماند. معیارهای ارزیابی استاندارد، مانند دقت (accuracy)، صحت (precision) و ریشه میانگین مربعات خطا (RMSE)، انحراف مدل از برچسب‌های واقعیت پایه را برای ارزیابی عملکرد آن کمی‌سازی می‌کنند. این معیارها یک سنجش ساده، ساختاریافته و عینی از اثربخشی هوش مصنوعی ارائه می‌دهند.

با این حال، این مورد برای مدل‌های هوش مصنوعی مولد صادق نیست. این مدل‌های مولد غیرقطعی هستند، یعنی یک خروجی متوالی تولید می‌کنند و هر عنصر در توالی به صورت احتمالی تعیین می‌شود. هیچ واقعیت پایه ملموسی برای مقایسه خروجی مدل وجود ندارد، که ارزیابی آن‌ها را دشوار می‌کند. مدل‌های هوش مصنوعی مولد در سناریوهای مختلفی مانند مکالمه عمومی، حل مسئله منطقی و چت‌بات‌های آموزنده استفاده می‌شوند. عملکرد آن‌ها بر اساس توانایی‌شان در پردازش ورودی و هرگونه زمینه (context) موجود و تولید پاسخی مرتبط با سناریو ارزیابی می‌شود. چندین معیار استاندارد برای این منظور ایجاد شده است. هر یک از این‌ها جنبه منحصربه‌فردی از مدل را هدف قرار داده و یک امتیاز ارزیابی ارائه می‌دهد که برای قضاوت در مورد عملکرد مدل استفاده می‌شود. بیایید این معیارها را با جزئیات بیشتری بررسی کنیم.

۴۰ بنچمارک LLM

در ادامه به ۴۰ معیار رایج LLM و هدف هر یکپرداخته شده است.

درک بنچمارک‌های LLM

برای درک بهتر برخی از این معیارها، در ادامه جزئیات بیشتری در مورد چند مورد از محبوب‌ترین آن‌ها که برای ارزیابی LLM استفاده می‌شوند، ارائه شده است.

بنچمارک‌های درک دانش عمومی و زبان

معیارهای رایج طراحی شده برای آزمایش درک زبان طبیعی یک مدل عبارتند از:

۱. بنچمارک MMLU

بنچمارک درک زبان چندوظیفه‌ای عظیم (MMLU) یک بنچمارک همه‌منظوره است که برای ارزیابی مدل در برابر موضوعات متنوع طراحی شده است. این بنچمارک شامل سوالات چندگزینه‌ای است که ۵۷ موضوع از جمله علوم، فناوری، مهندسی و ریاضیات (STEM)، علوم اجتماعی، علوم انسانی و غیره را پوشش می‌دهد. دشواری سوالات از سطح ابتدایی تا پیشرفته حرفه‌ای متغیر است.

در اینجا یک نمونه سوال از مجموعه داده مربوط به اخلاق تجاری آورده شده است:

_______ مانند بیت‌کوین به طور فزاینده‌ای در حال تبدیل شدن به جریان اصلی هستند و مجموعه‌ای کامل از پیامدهای اخلاقی مرتبط را به همراه دارند، به عنوان مثال، آن‌ها ______ و ______تر هستند. با این حال، از آن‌ها برای مشارکت در _______ نیز استفاده شده است.

• الف. رمزارزها، گران، امن، جرایم مالی
• ب. ارز سنتی، ارزان، ناامن، کمک‌های خیریه
• ج. رمزارزها، ارزان، امن، جرایم مالی
• د. ارز سنتی، گران، ناامن، کمک‌های خیریه

توجه: MMLU به طور گسترده‌ای اشباع شده در نظر گرفته می‌شود و معمولاً معیار مناسبی برای مقایسه مدل‌های امروزی نیست. با این حال، با توجه به کاربرد رایج و تاریخی آن، هنوز هم ارزش آشنایی دارد.

۲. چالش استدلال AI2 (ARC)

چالش استدلال AI2 (ARC) مجموعه‌ای از ۷۷۸۷ سوال علوم در سطح دبستان است. این مجموعه داده به دو بخش آسان و چالشی تقسیم شده است، که بخش چالشی شامل سوالاتی است که هم توسط یک الگوریتم مبتنی بر بازیابی و هم یک الگوریتم وقوع کلمه به اشتباه پاسخ داده شده‌اند.

در اینجا یک نمونه سوال از مجموعه داده آورده شده است:

سوال: جورج می‌خواهد با مالیدن دستانش به سرعت آن‌ها را گرم کند. کدام سطح پوست بیشترین گرما را تولید می‌کند؟

• الف. کف دست خشک
• ب. کف دست خیس
• ج. کف دست پوشیده از روغن
• د. کف دست پوشیده از لوسیون

بنچمارک‌های کدنویسی

۴. HumanEval

معیار ارزیابی دستی (Hand-written Evaluation Benchmark) مجموعه‌ای از چالش‌های برنامه‌نویسی است که برای سنجش توانایی‌های کدنویسی یک مدل طراحی شده‌اند. این مجموعه برای نخستین‌بار در مقاله‌ی «Evaluating Large Language Model Trained on Code» معرفی شد و شامل 164 چالش برنامه‌نویسی به‌صورت دستی نوشته‌شده است.

این چالش‌ها به‌صورت دستی تهیه شده‌اند زیرا اکثر مدل‌های زبانی بزرگ (LLMها) پیش‌تر با داده‌هایی که از مخازن GitHub جمع‌آوری شده‌اند آموزش دیده‌اند. هر مسئله شامل امضای تابع (function signature)، توضیح عملکرد (docstring)، بدنه‌ی تابع (body)، و چندین تست واحد (unit test) است؛ به‌طور میانگین ۷٫۷ تست برای هر مسئله در نظر گرفته شده است.

در ادامه یک نمونه از مسائل موجود در این مجموعه ارائه شده است:

def solution(lst):
    """Given a non-empty list of integers, return the sum of all of the odd elements
    that are in even positions.

    Examples
    solution([5, 8, 7, 1])=12
    solution([3, 3, 3,3, 3]) =9
    solution([30, 13, 24, 321]) =0
    """

LLMs output: return sum(lst[i] for i in range(0,len(lst)) if i % 2 == 0 and lst[i] % 2 == 1)

۵. CodeXGLUE

مجموعه داده بنچمارک CodeXGLUE برای آزمایش درک و تولید کد توسط LLM‌ها ساخته شده است. این مجموعه شامل ۱۰ وظیفه در ۱۴ مجموعه داده و یک پلتفرم برای ارزیابی و مقایسه مدل‌ها است. وظایف را می‌توان به ۴ دسته بالاتر تقسیم کرد:

• کد به کد: این شامل ترجمه کد، تکمیل کد، اشکال‌زدایی و تعمیر کد است.
• متن به کد: این شامل تولید کد از توضیحات زبان طبیعی و تجزیه و تحلیل معنایی بین کد و توضیحات متنی است.
• کد به متن: این شامل خلاصه‌سازی و توضیح کد است.
• متن به متن: این شامل ترجمه مستندات کد از یک زبان طبیعی به زبان دیگر است.

در اینجا مثالی از وظیفه ترجمه کد آورده شده است:

یک مثال در مجموعه داده ترجمه کد، وظیفه ترجمه کد از بنچمارک CodeXGLUE – منبع

۶. SWE-Bench

بنچمارک SWE-Bench شامل ۲۲۹۴ مسئله واقعی مهندسی نرم‌افزار است که از GitHub استخراج شده‌اند. وظایف شامل درک نظرات از درخواست‌های pull در GitHub و ایجاد تغییرات مرتبط در پایگاه کد است. LLM وظیفه دارد مسئله را شناسایی و حل کرده و تست‌ها را اجرا کند تا از صحت عملکرد همه چیز اطمینان حاصل شود.

بنچمارک‌های استدلال

در اینجا چند معیار آورده شده است که توانایی مدل را در انجام استدلال منطقی برای رسیدن به نتیجه آزمایش می‌کنند.

۷. GSM8k

GSM8k شامل ۸.۵ هزار مسئله ریاضی در سطح دبستان و از نظر زبانی متنوع است. این مسائل به زبان طبیعی بیان شده‌اند، که درک آن‌ها را برای مدل‌های هوش مصنوعی چالش‌برانگیز می‌کند. این معیار توانایی LLM‌ها را در تجزیه مسئله به زبان طبیعی، تشکیل یک زنجیره تفکر و رسیدن به راه‌حل آزمایش می‌کند.

در اینجا یک نمونه مسئله از مجموعه داده آورده شده است:

مسئله: بث در یک هفته ۴ دسته ۲ دوجینی کلوچه می‌پزد. اگر این کلوچه‌ها به طور مساوی بین ۱۶ نفر تقسیم شوند، هر نفر چند کلوچه مصرف می‌کند؟

راه‌حل: بث ۴ * ۲ = ۸ دوجین کلوچه می‌پزد. در هر دوجین ۱۲ کلوچه وجود دارد، بنابراین او ۱۲ * ۸ = ۹۶ کلوچه درست می‌کند. او ۹۶ کلوچه را به طور مساوی بین ۱۶ نفر تقسیم می‌کند، بنابراین هر نفر ۹۶ / ۱۶ = ۶ کلوچه می‌خورد.

پاسخ نهایی: ۶

۸. ارزیابی استدلال خلاف واقع (CRASS)

CRASS یک طرح آزمایشی جدید با استفاده از به اصطلاح شرطی‌های خلاف واقع و به طور دقیق‌تر، شرطی‌های خلاف واقع سوالی ارائه می‌دهد. یک گزاره خلاف واقع، عبارتی است که سناریویی را ارائه می‌دهد که ممکن بود اتفاق بیفتد اما نیفتاده است. این‌ها همچنین معمولاً به عنوان سناریوهای «چه می‌شد اگر» شناخته می‌شوند. معیارهای CRASS شامل چندین سناریو از این دست با واقعیت‌های جایگزین هستند و درک مدل را در برابر این‌ها آزمایش می‌کنند.

یک نمونه سناریو از مجموعه داده این است:

زنی آتشی را می‌بیند. چه اتفاقی می‌افتاد اگر زن به آتش سوخت می‌رساند؟
آتش بزرگتر می‌شد.
آتش کوچکتر می‌شد.
این امکان‌پذیر نیست.

۹. Big-Bench Hard (BBH)

معیار اصلی Big-Bench شامل ۲۰۰ وظیفه در حوزه‌هایی مانند محاسبات عددی و استدلال منطقی، دانش عمومی (commonsense) و برنامه‌نویسی است. با این حال، بیشتر مدل‌های زبانی بزرگ امروزی در بسیاری از این وظایف عملکردی بهتر از ارزیاب‌های انسانی دارند. «Big-Bench Hard» زیرمجموعه‌ای از نسخه اصلی است که شامل ۲۳ وظیفه چالش‌برانگیز می‌شود که در آن‌ها هیچ مدل زبانی عملکردی بهتر از انسان نداشته است. این وظایف توانایی‌های استدلالی مدل‌ها و توسعه‌ی زنجیره‌ استدلال (chain-of-thought) را به چالش می‌کشند.

یک نمونه سؤال از این بنچ‌مارک به شکل زیر است:
سؤال: امروز، «هانا» به زمین فوتبال رفت. در چه بازه‌ی زمانی ممکن است او رفته باشد؟
ما می‌دانیم که:
هانا ساعت ۵ صبح بیدار شد. […] زمین فوتبال بعد از ساعت ۶ عصر بسته شد. […]

گزینه‌ها:
A. از ۳ بعدازظهر تا ۵ بعدازظهر
B. از ۵ بعدازظهر تا ۶ بعدازظهر
C. از ۱۱ صبح تا ۱ بعدازظهر
D. از ۱ بعدازظهر تا ۳ بعدازظهر

آیا بنچمارک‌های LLM کافی هستند؟

بنچ‌مارک‌های مربوط به مدل‌های زبانی بزرگ (LLM) ابزار بسیار خوبی برای ارزیابی عملکرد این مدل‌ها در سناریوهای دنیای واقعی هستند، اما سؤال اصلی همچنان باقی‌ست: آیا این بنچ‌مارک‌ها برای یک ارزیابی جامع کافی هستند؟ بنچ‌مارک‌هایی که تاکنون به آن‌ها اشاره شد، تنها بخش کوچکی از مجموعه‌ی موجود هستند و چارچوب‌های دیگری نیز برای وظایف متنوع‌تری وجود دارد.

علاوه بر این، هیچ مدل زبانی خاصی در تمام ارزیابی‌ها برتری ندارد، چرا که هر مدل با هدف خاصی آموزش دیده است. به عنوان مثال، مدل GPT-4.5 که به‌تازگی عرضه شده، در درک پایه‌ای زبان عملکردی بهتر از مدل قدیمی‌تر o3-mini دارد، اما در وظایف استدلال پیچیده ضعیف‌تر عمل می‌کند، چرا که به‌صورت اختصاصی برای استدلال زنجیره‌وار (Chain-of-Thought یا CoT) آموزش ندیده است.

نمرات ارزیابی برای GPT-4.5 در مقایسه با GPT-4o و o3-mini – منبع

با اینکه هر بنچ‌مارک عملکرد مدل‌های زبانی بزرگ (LLM) را در چند سناریوی خاص اندازه‌گیری می‌کند، اما این اعداد تصویر کاملی از عملکرد کلی مدل ارائه نمی‌دهند. یک مدل ممکن است در بنچ‌مارک‌های مختلف—even در یک حوزه خاص—عملکرد متفاوتی داشته باشد، چرا که هر بنچ‌مارک مجموعه‌ای متفاوت از وظایف را شامل می‌شود.

این موضوع نشان می‌دهد که بیشتر بنچ‌مارک‌ها برای ارزیابی‌هایی خاص و نسبتاً آسان طراحی شده‌اند. نمونه‌ای شاخص از یک چارچوب ارزیابی جامع، بنچ‌مارک Humanity’s Last Exam (HLE) است که یکی از معدود چارچوب‌هایی است که به‌منظور ایجاد یک معیار واحد برای سنجش عملکرد مدل طراحی شده است. HLE شامل ۲۷۰۰ وظیفه بسیار چالش‌برانگیز و چندوجهی در حوزه‌های مختلف دانشگاهی است.

نتایج به‌دست‌آمده از ارزیابی مدل‌های پیشرفته بر اساس HLE نشان می‌دهد که مدل‌های فعلی LLM هنوز با کاستی‌های جدی مواجه‌اند و همچنین بنچ‌مارک‌های متداول برای ارزیابی دقیق و همه‌جانبه‌ در دنیای امروز کافی نیستند.

بنچ‌مارک‌هایی که عملکرد ضعیف مدل‌های زبانی بزرگ (LLMها) را در آزمون HLE نشان می‌دهند – منبع

یکی دیگر از عوامل مهمی که باید در نظر گرفت این است که سیستم‌های مدرن اکنون به سمت پیاده‌سازی‌های عامل‌محور (agentic) حرکت می‌کنند.
بنچ‌مارک‌های سنتی ممکن است پاسخ تولیدی مدل را ارزیابی کنند، اما عملکرد آن را در چارچوب یک سیستم خودکار و عامل‌محور مورد سنجش قرار نمی‌دهند.

ارزیابی عامل‌محور: فراتر از LLM‌ها

یک سیستم عامل‌محور (agentic system) فراتر از درک زبان و تولید داده عمل می‌کند. چنین سیستمی شامل خواندن جریان‌های داده در زمان واقعی، تعامل با محیط، و تجزیه‌ی وظایف برای رسیدن به یک هدف مشخص است.
عامل‌های هوش مصنوعی (AI agents) به‌سرعت در حال محبوب شدن هستند و موارد استفاده‌ی جالب و کاربردی زیادی از آن‌ها در صنایعی مانند پشتیبانی مشتری، تجارت الکترونیک و امور مالی پیدا شده است. این عامل‌ها حتی در موقعیت‌های غیرمعمول ولی سرگرم‌کننده‌ای هم به کار رفته‌اند—برای مثال، مدل Claude Sonnet 3.7 از شرکت Anthropic بازی Pokemon Red را روی کنسول قدیمی Game Boy انجام داده است!

نمرات بنچ‌مارک‌های سنتی، عملکرد مدل‌ها را در سناریوهای واقعی و قابل اجرا در دنیای واقعی نشان نمی‌دهند. سیستم‌های عامل‌محور عملیاتی نیاز به بنچ‌مارک‌های تخصصی‌تری مانند AgentBench و t-bench دارند تا بتوانند توانمندی‌های عامل را به‌درستی بسنجند.
این بنچ‌مارک‌ها تعامل مدل‌های زبانی با ماژول‌هایی مانند پایگاه‌داده‌ها و گراف‌های دانش را ارزیابی کرده و عملکرد آن‌ها را در پلتفرم‌ها و سیستم‌عامل‌های مختلف بررسی می‌کنند.

علاوه بر این، عامل‌های هوش مصنوعی باید از نظر زمان انجام وظیفه نسبت به انسان‌ها نیز مورد سنجش قرار گیرند.
مطالعات نشان می‌دهد که هرچند افق زمانی برای انجام خودکار وظایف در حال رشد نمایی است، سیستم‌های عامل‌محور هنوز از نیروی انسانی عقب‌تر هستند و برای خودکارسازی کامل کارهای روزمره به زمان بیشتری نیاز دارند.

جمع‌بندی نهایی

عصر هوش مصنوعی مولد (GenAI) فرارسیده، و به‌نظر می‌رسد که ماندگار خواهد بود. مدل‌های مولد به‌سرعت در حال ادغام در جریان‌های کاری روزمره هستند، کارهای تکراری را خودکار کرده و بهره‌وری را بهبود می‌بخشند. اما با افزایش این میزان از پذیرش، ارزیابی دقیق سیستم‌های مبتنی بر مدل‌های زبانی بزرگ (LLM) و عملکرد آن‌ها در سناریوهای واقعی و چالش‌برانگیز، امری حیاتی است.

بنچ‌مارک‌های مختلفی برای ارزیابی LLMها طراحی شده‌اند که هر یک عملکرد مدل را در سناریوهای متفاوتی می‌سنجند. برخی بر توانایی مدل در استدلال منطقی تمرکز دارند، در حالی که برخی دیگر بر توانایی حل مسائل برنامه‌نویسی و تولید کد تأکید می‌کنند.
با این حال، با عرضه مدل‌های جدیدتر و هوشمندتر، حتی محبوب‌ترین بنچ‌مارک‌ها نیز برای ارزیابی کامل مدل‌ها ناکافی به‌نظر می‌رسند.
بنچ‌مارک‌هایی مانند HLE نشان می‌دهند که حتی مدل‌های پیشرفته‌ی امروزی نیز در شرایط دشوار می‌توانند ضعف‌هایی از خود نشان دهند.

علاوه بر این، با افزایش استقبال از هوش مصنوعی عامل‌محور (agentic AI)، نیاز به روش‌های ارزیابی جدیدتر و مقاوم‌تری برای سیستم‌های سرتاسری (end-to-end) داریم. بنچ‌مارک‌های سنتی توانایی مدل در درک محیط یا رسیدن به یک هدف مشخص را مورد ارزیابی قرار نمی‌دهند.

با پیشرفت GenAI، معیارهای ارزیابی نیز باید تکامل یابند تا پاسخ‌گوی نیازهای عملی و فزاینده‌ باشند. استانداردهای جدیدی باید تعریف شوند تا اطمینان حاصل شود که پذیرش هوش مصنوعی با ایمنی و کارایی همراه باشد.