GSM8K چیست؟ دیتاست مسائل ریاضی برای آموزش LLMها

خلاصه دیتاست

دیتاست GSM8K (مخفف Grade School Math 8K) شامل ۸۵۰۰ مسئله ریاضی متنی در سطح دبستان است که از نظر زبانی متنوع و از کیفیت بالایی برخوردارند. این دیتاست با هدف پشتیبانی از وظیفه «پاسخ به سؤال» در مسائل ریاضی پایه طراحی شده که نیاز به استدلال چندمرحله‌ای یک LLM دارند.

• حل این مسائل بین ۲ تا ۸ مرحله زمان می‌برد.
• راه‌حل‌ها عمدتاً شامل دنباله‌ای از محاسبات پایه با استفاده از عملیات ساده حسابی (+ − × ÷) هستند تا به پاسخ نهایی برسند.
• طبق مقاله معرفی دیتاست، یک دانش‌آموز باهوش مقطع راهنمایی باید بتواند تمام این مسائل را حل کند: «حل مسائل به مفاهیمی فراتر از سطح مقدماتی جبر نیاز ندارد و اکثریت قریب‌به‌اتفاق مسائل بدون تعریف متغیر نیز قابل حل هستند.»
• راه‌حل‌ها به زبان طبیعی ارائه شده‌اند، نه صرفاً به صورت فرمول‌های ریاضی. به نقل از مقاله: «ما باور داریم این قالب زبانی، عمومی‌ترین و مفیدترین شکل داده است و می‌تواند به درک بهتر نحوه استدلال درونی مدل‌های زبانی بزرگ کمک کند.»

وظایف پشتیبانی‌شده و لیدربوردها

این دیتاست عموماً برای ارزیابی توانایی مدل‌های زبانی بزرگ در منطق و ریاضیات استفاده می‌شود و در بسیاری از بنچمارک‌ها از جمله LLM Leaderboard به کار رفته است.

زبان‌ها

متن‌های این دیتاست به زبان انگلیسی هستند. کد BCP-47 مربوطه: en.

ساختار دیتاست

نمونه‌های داده

در پیکربندی main، هر نمونه شامل یک رشته برای پرسش ریاضی در سطح دبستان و یک رشته برای پاسخ به آن با چندین مرحله استدلال و یادداشت‌های محاسباتی است.

{ 'question': 'Natalia sold clips to 48 of her friends in April, and then she sold half as many clips in May. How many clips did Natalia sell altogether in April and May?', 'answer': 'Natalia sold 48/2 = <<48/2=24>>24 clips in May.\nNatalia sold 48+24 = <<48+24=72>>72 clips altogether in April and May.\n#### 72', }

در پیکربندی socratic، هر نمونه علاوه بر پرسش و پاسخ، شامل زیرفر‌سش‌های استقرایی نیز هست.

{ 'question': 'Natalia sold clips to 48 of her friends in April, and then she sold half as many clips in May. How many clips did Natalia sell altogether in April and May?', 'answer': 'How many clips did Natalia sell in May? ** Natalia sold 48/2 = <<48/2=24>>24 clips in May.\nHow many clips did Natalia sell altogether in April and May? ** Natalia sold 48+24 = <<48+24=72>>72 clips altogether in April and May.\n#### 72', }

فیلدهای داده

• question: متن پرسش ریاضی سطح دبستان.
• answer: متن کامل پاسخ شامل مراحل استدلالی به همراه یادداشت‌های محاسباتی و پاسخ نهایی عددی.

تقسیم‌بندی داده

ایجاد دیتاست

جمع‌آوری اولیه داده و نرمال‌سازی

طبق پیوست A مقاله:

ابتدا مجموعه‌ای اولیه شامل هزار مسئله و پاسخ به زبان طبیعی توسط فریلنسرها در Upwork گردآوری شد. سپس از پلتفرم Surge AI برای گسترش حجم داده‌ها استفاده شد. پس از گردآوری کامل دیتاست، از کارگران خواسته شد همه مسائل را مجدداً حل کنند (بدون این‌که کسی مسئله خودش را دوباره حل کند). تطابق بین پاسخ‌های جدید و اولیه بررسی شد و موارد دارای اختلاف یا اصلاح یا حذف شدند. در بررسی نهایی، حدود ۱.۷٪ از مسائل هنوز اختلاف داشتند که این میزان به عنوان درصد تخمینی خطاها یا ابهامات محاسبه شده است. احتمال وجود خطاهای ظریف بیشتر نیز مطرح است.

اطلاعات بیشتر: https://huggingface.co/datasets/openai/gsm8k