معرفی Min P: روش جدید نمونه‌برداری توکن برای LLMها

Min P، یک روش نمونه‌برداری (sampling) جدید برای مدل‌های زبانی بزرگ (LLMs). با کمتر از ۱۰ خط کد برای پیاده سازی است که در در دیتاست‌های GSM8K و GPQA حدود ۱۰ تا ۲۰ درصد عملکرد بهتری نسبت به Top P در temperature با مقدار ۱ به دست آورده است.

جالب اینجاست که در دیتاست GPQA و همچنین در توانایی نوشتن خلاقانه، وقتی میزان temperature بالاتر از ۱ می‌رود، استدلال مدل بهتر می‌شود!

Min P چطور کار می‌کند؟

ایده اصلی Min P این است که یک آستانه پویا (dynamic threshold) برای حذف توکن‌ها از فضای انتخاب تنظیم شود. این آستانه به صورت زیر تعریف می‌شود:

$\text{Threshold} = p_{\text{base}} \times p_{\text{(top token)}}$

برای مثال، اگر مقدار پایه p(base) = 0.1 باشد و احتمال بیشترین توکن 0.9، آنگاه تمام توکن‌هایی که احتمالشان کمتر از 0.09 است از فضای انتخاب حذف می‌شوند.

مزایا در شرایط مختلف

در توزیع‌هایی با عدم قطعیت بالا (مثل نوشتن خلاقانه یا ساختن اسم‌های منحصربه‌فرد)، آستانه پایین است و تنوع انتخاب‌ها بیشتر خواهد بود.
در توزیع‌هایی با قطعیت بالا (مثل ریاضی یا به خاطر آوردن اسم‌ها و حقایق)، آستانه بالاتر می‌رود و روی پاسخ‌های محتمل‌تر تمرکز می‌کند.

ترکیب با temperature بالا

وقتی Min P با دمای بالا ترکیب شود، قدرت واقعی‌اش مشخص می‌شود. چون توکن‌های انتهای توزیع (tail-end) فضای بیشتری پر می‌کنند. در حالت نمونه‌برداری معمولی یا Top P = 0.9، نیمی از توزیع توکن‌ها اشتباه هستند! اما با Min P = 0.1، حتی در دمای ۳، فقط توکن‌های درست باقی می‌مانند.

نتیجه مهم

معمولاً در دماهای بالاتر از ۱، خطاها به سرعت انباشته شده و متن دچار بی‌ارتباطی می‌شود. اما Min P نه‌تنها در temperatureهای تا ۱ عملکرد بنچمارک‌ها را بهتر می‌کند، بلکه حتی در temperature بالاتر از ۱ هم انسجام استدلال را حفظ کرده و بهبود می‌بخشد! این ویژگی در واقع استفاده از دماهای بالا را در مدل‌های زبانی برای کاربردهایی مثل نوشتن خلاقانه باز می‌کند.

منابع بیشتر

برای جزئیات بیشتر می‌توانید نسخه اول مقاله را در لینک زیر ببینید. نویسندگان در نسخه دوم گزارش قصد دارند آزمایش‌های بیشتری با روش‌های نمونه‌برداری مختلف، مدل‌های بزرگ‌تر و تحلیل‌های تئوریک‌تر انجام دهیم. اما نسخه اول طوری نوشته شده که توسعه‌دهندگان بتوانند به‌سرعت آن را درک و پیاده‌سازی کنند:

لینک مقاله Turning Up the Heat: Min-p Sampling for Creative and Coherent LLM Outputs

اگر علاقه دارید LLM را به صورت تخصصی شروع کنید، در دوره‌ی آموزشی زیر شرکت نمایید: