در بخش قبلی آموختیم که هر Agent نیاز به یک مدل هوش مصنوعی در هسته خود دارد، و LLM ها رایج‌ترین نوع مدل‌های هوش مصنوعی برای این منظور هستند.

اکنون خواهیم آموخت که LLM ها چیستند و چگونه به Agent ها قدرت می‌بخشند.

این بخش توضیحی فنی و مختصر درباره استفاده از LLM ها ارائه می‌دهد. اگر می‌خواهید عمیق‌تر به این موضوع بپردازید، می‌توانید دوره LLM کلاس ویژن را بررسی کنید.

مدل زبانی بزرگ (Large Language Model) چیست؟

LLM نوعی از مدل هوش مصنوعی است که در درک و تولید زبان انسانی برتری دارد. این مدل‌ها روی حجم عظیمی از داده‌های متنی آموزش می‌بینند که به آنها امکان می‌دهد الگوها، ساختار و حتی ظرافت‌های زبان را یاد بگیرند. این مدل‌ها معمولاً از میلیون‌ها پارامتر تشکیل شده‌اند.

اکثر LLM ها در حال حاضر بر پایه معماری Transformer ساخته شده‌اند—یک معماری یادگیری عمیق مبتنی بر الگوریتم “Attention”، که از زمان انتشار BERT توسط Google در سال ۲۰۱۸ مورد توجه قابل توجهی قرار گرفته است.

هر LLM دارای برخی توکن‌های خاص مخصوص به آن مدل است. LLM از این توکن‌ها برای باز کردن و بستن اجزای ساختاری تولید خود استفاده می‌کند. به عنوان مثال، برای نشان دادن شروع یا پایان یک توالی، پیام یا پاسخ. علاوه بر این، پرامپت‌های ورودی که ما به مدل می‌دهیم نیز با توکن‌های خاص ساختاربندی شده‌اند. مهمترین آنها توکن پایان توالی EOS که مخفف End of sequence token میباشد، است.

اشکال توکن‌های خاص در میان ارائه‌دهندگان مدل بسیار متنوع هستند.

جدول زیر تنوع توکن‌های خاص را نشان می‌دهد.

درک پیش‌بینی توکن بعدی

LLM ها به عنوان خودهمبسته (autoregressive) شناخته می‌شوند، به این معنی که خروجی از یک گذر، ورودی برای گذر بعدی می‌شود. این چرخه ادامه می‌یابد تا زمانی که مدل پیش‌بینی کند توکن بعدی همان توکن EOS است، که در این نقطه مدل می‌تواند متوقف شود.

بر اساس این امتیازات، ما استراتژی‌های متعددی برای انتخاب توکن‌ها جهت تکمیل جمله داریم.

• ساده‌ترین استراتژی رمزگشایی این است که همیشه توکن با بالاترین امتیاز را انتخاب کنیم.

شما می‌توانید خودتان با فرآیند رمزگشایی SmolLM2 در این فضا تعامل داشته باشید (به یاد داشته باشید، رمزگشایی تا رسیدن به یک توکن EOS که برای این مدل <|im_end|> است، ادامه می‌یابد):

اما استراتژی‌های رمزگشایی پیشرفته‌تری نیز وجود دارد. به عنوان مثال، جستجوی پرتویی (beam search) چندین توالی کاندیدا را بررسی می‌کند تا توالی با بالاترین امتیاز کل را پیدا کند – حتی اگر برخی از توکن‌های منفرد امتیاز پایین‌تری داشته باشند.

توجه تمام چیزی است که نیاز دارید (Attention is all you need)

یک جنبه کلیدی معماری Transformer، مکانیزم توجه (Attention) است. هنگام پیش‌بینی کلمه بعدی، همه کلمات در یک جمله به یک اندازه مهم نیستند؛ کلماتی مانند “فرانسه” و “پایتخت” در جمله “پایتخت فرانسه … است” حاوی بیشترین معنا هستند.

این فرآیند شناسایی مرتبط‌ترین کلمات برای پیش‌بینی توکن بعدی، بسیار موثر است.

اگرچه اصل اساسی LLM‌ها که پیش‌بینی توکن بعدی است از زمان GPT-2 ثابت مانده، پیشرفت‌های قابل توجهی در مقیاس‌پذیری شبکه‌های عصبی و بهبود مکانیزم توجه برای توالی‌های طولانی‌تر و طولانی‌تر صورت گرفته است.

اگر با LLM‌ها تعامل داشته‌اید، احتمالاً با اصطلاح طول زمینه (context length) آشنا هستید، که به حداکثر تعداد توکن‌هایی که LLM می‌تواند پردازش کند و حداکثر دامنه توجه آن اشاره دارد.