Foundation model یا مدل بنیادی

• مدل پایه چیست؟
• چه چیزی مدل‌های پایه را منحصربه‌فرد می‌کند؟
• چرا مدل‌های پایه اهمیت دارند؟
• مدل‌های پایه چگونه کار می‌کنند؟
• مدل‌های پایه چه توانایی‌هایی دارند؟
• نمونه‌هایی از مدل‌های پایه
• چالش‌های مدل‌های پایه

مدل پایه چیست؟

مدل‌های پایه (Foundation Models) که بر روی مجموعه داده‌های عظیمی آموزش دیده‌اند، شبکه‌های عصبی عمیق و بزرگی هستند که روش کار دانشمندان داده را در یادگیری ماشین (ML) متحول کرده‌اند. به جای توسعه هوش مصنوعی (AI) از ابتدا، دانشمندان داده از یک مدل پایه به عنوان نقطه شروع برای توسعه مدل‌های ML استفاده می‌کنند که برنامه‌های جدید را سریع‌تر و با هزینه کمتر قدرت می‌بخشند. اصطلاح مدل پایه توسط محققان برای توصیف مدل‌های ML که بر روی طیف وسیعی از داده‌های عمومی و بدون برچسب آموزش دیده‌اند و قادر به انجام وظایف عمومی متنوعی مانند درک زبان، تولید متن و تصویر، و مکالمه به زبان طبیعی هستند، ابداع شد.

چه چیزی مدل‌های پایه را منحصربه‌فرد می‌کند؟

یکی از ویژگی‌های منحصربه‌فرد مدل‌های پایه، انعطاف‌پذیری آن‌ها است. این مدل‌ها می‌توانند طیف گسترده‌ای از وظایف متفاوت را با دقت بالا بر اساس ورودی‌ها (prompts) انجام دهند. برخی از این وظایف عبارت‌اند از:

• پردازش زبان طبیعی (NLP)
• پاسخگویی به سؤالات
• طبقه‌بندی تصاویر

اندازه و ماهیت عمومی مدل‌های پایه آن‌ها را از مدل‌های سنتی یادگیری ماشین متمایز می‌کند، که معمولاً وظایف خاصی مانند تحلیل احساسات در متن، دسته‌بندی تصاویر و پیش‌بینی روندها را انجام می‌دهند.

چرا مدل‌های پایه اهمیت دارند؟

مدل‌های پایه می‌توانند چرخه عمر یادگیری ماشین را به طور اساسی تغییر دهند. با اینکه توسعه این مدل‌ها از ابتدا میلیون‌ها دلار هزینه دارد، در بلندمدت مقرون‌به‌صرفه است. زیرا دانشمندان داده می‌توانند با استفاده از مدل‌های از پیش آموزش‌دیده‌شده، برنامه‌های جدید ML را سریع‌تر و ارزان‌تر توسعه دهند.

یکی از کاربردهای بالقوه، خودکارسازی وظایف و فرآیندها، به ویژه آنهایی است که نیازمند قابلیت‌های استدلال هستند. در اینجا چند کاربرد برای مدل‌های foundation آورده شده است:

• پشتیبانی مشتری
• ترجمه زبان
• تولید محتوا
• نگارش متون تبلیغاتی
• طبقه‌بندی تصاویر
• ایجاد و ویرایش تصاویر با وضوح بالا
• استخراج اطلاعات از اسناد
• رباتیک
• مراقبت‌های بهداشتی
• خودروهای خودران

مدل‌های پایه چگونه کار می‌کنند؟

مدل‌های پایه نوعی هوش مصنوعی مولد (Generative AI) هستند. آن‌ها بر اساس یک یا چند ورودی (prompt) و دستورالعمل‌های زبان انسانی، خروجی تولید می‌کنند. این مدل‌ها بر روی شبکه‌های عصبی پیچیده‌ای مانند GANs، Transformers و VAE ساخته شده‌اند.

مدل‌های پایه چه توانایی‌هایی دارند؟

مدل‌های پایه یا foundation، حتی با وجود اینکه از قبل آموزش دیده‌اند، می‌توانند در حین استنتاج (Inference) از ورودی‌های داده یا prompt‌ها یاد بگیرند. این بدان معناست که می‌توانید از طریق prompt‌های دقیق و حساب شده، خروجی‌های جامعی را توسعه دهید. وظایفی که مدلهای بنیادی می‌توانند انجام دهند شامل پردازش زبان، درک بصری، تولید کد و تعامل انسان‌محور است.

نمونه‌هایی از مدل‌های پایه

مدل‌های پایه در سال‌های اخیر رشد قابل توجهی داشته‌اند. برخی از مدل‌های برجسته از سال ۲۰۱۸ تاکنون عبارت‌اند از:

25 مدل برتر زبانی بزرگ در سال 2025

• BERT (مدل bidirectional مبتنی بر Transformer)
  منتشر شده در سال ۲۰۱۸، Bidirectional Encoder Representations from Transformers (BERT) یکی از اولین مدل‌های foundation بود. BERT یک مدل bidirectional است که زمینه یک توالی کامل را تحلیل می‌کند و سپس پیش‌بینی می‌کند. این مدل روی مجموعه‌ای از متون ساده و ویکی‌پدیا با استفاده از ۳.۳ میلیارد توکن (کلمه) و ۳۴۰ میلیون پارامتر آموزش دیده است. BERT می‌تواند به سؤالات پاسخ دهد، جملات را پیش‌بینی کند و متون را ترجمه کند.
• GPT (Generative Pre-trained Transformer) از OpenAI

  مدل Generative Pre-trained Transformer (GPT) در سال ۲۰۱۸ توسط OpenAI توسعه یافت. این مدل از یک دیکودر ترانسفورمر ۱۲ لایه با مکانیسم خود-توجهی استفاده می‌کند و روی مجموعه داده BookCorpus که شامل بیش از ۱۱,۰۰۰ رمان رایگان است، آموزش دیده است. یک ویژگی قابل توجه GPT-1 توانایی انجام یادگیری بدون نمونه (zero-shot learning) است.

  GPT-2 در سال ۲۰۱۹ منتشر شد. OpenAI آن را با استفاده از ۱.۵ میلیارد پارامتر (در مقایسه با ۱۱۷ میلیون پارامتر استفاده شده در GPT-1) آموزش داد. GPT-3 دارای یک شبکه عصبی ۹۶ لایه و ۱۷۵ میلیارد پارامتر است و با استفاده از مجموعه داده Common Crawl با ۵۰۰ میلیارد کلمه آموزش دیده است. چت‌بات محبوب ChatGPT بر اساس GPT-3.5 است. و GPT-4، آخرین نسخه، در اواخر سال ۲۰۲۲ راه‌اندازی شد و با موفقیت آزمون یکنواخت وکالت را با نمره ۲۹۷ (۷۶٪) گذراند.

• Amazon Nova (شامل مدل‌های درک متن و تصویر)
  Amazon Nova نسل جدیدی از مدل‌های foundation که توسط آمازون اراده شده اند.Amazon Nova Micro، Amazon Nova Lite و Amazon Nova Pro مدل‌های درک هستند که ورودی‌های متنی، تصویری و ویدیویی را می‌پذیرند و خروجی متنی تولید می‌کنند.
  Amazon Nova Canvas و Amazon Nova Reel مدل‌های تولید محتوای خلاقانه هستند که ورودی‌های متنی و تصویری را می‌پذیرند و تصاویر یا ویدیوهای خروجی تولید می‌کنند. آنها برای ارائه تصاویر و ویدیوهای قابل سفارشی‌سازی با کیفیت بالا برای تولید محتوای بصری طراحی شده‌اند.
• AI21 Jurassic (مدل پردازش زبان طبیعی)
  Jurassic-1 که در سال ۲۰۲۱ منتشر شد، یک مدل زبانی auto-regressive با ۷۶ لایه با ۱۷۸ میلیارد پارامتر است. Jurassic-1 متن شبیه انسان تولید می‌کند و وظایف پیچیده را حل می‌کند. عملکرد آن قابل مقایسه با GPT-3 است.در مارس ۲۰۲۳، AI21 Labs نسخه Jurrassic-2 را منتشر کرد که قابلیت‌های پیروی از دستورالعمل و زبانی بهبود یافته‌ای دارد.
• Claude 3.7 Sonnet

  هوشمندترین و پیشرفته‌ترین مدل Anthropic، Claude 3.7 Sonnet، قابلیت‌های استثنایی در طیف متنوعی از وظایف و ارزیابی‌ها نشان می‌دهد و همچنین از Claude 3 Opus پیشی می‌گیرد.

• Claude 3 Opus
  Opus یک مدل بسیار هوشمند با عملکرد قابل اعتماد در وظایف پیچیده است. می‌تواند با prompt‌های باز و سناریوهای ناشناخته با روانی قابل توجه و درک شبیه انسان کار کند. از Opus برای خودکارسازی وظایف و تسریع تحقیق و توسعه در طیف متنوعی از موارد استفاده و صنایع استفاده کنید.
• Claude Haiku
  Haiku سریع‌ترین و فشرده‌ترین مدل Anthropic برای پاسخگویی تقریباً آنی است. Haiku بهترین انتخاب برای ساخت تجربه‌های AI بی‌نقص است که تعاملات انسانی را تقلید می‌کنند. شرکت‌ها می‌توانند از Haiku برای نظارت بر محتوا، بهینه‌سازی مدیریت موجودی، تولید ترجمه‌های سریع و دقیق، خلاصه‌سازی داده‌های ساختار نیافته و موارد دیگر استفاده کنند.
• Cohere (مدل‌های پردازش زبان و تولید متن)
  Cohere دو LLM دارد: یکی مدل تولید با قابلیت‌های مشابه GPT-3 و دیگری representation model برای درک زبان‌ها است. در حالی که Cohere تنها ۵۲ میلیارد پارامتر دارد، در بسیاری از جنبه‌ها از GPT-3 پیشی می‌گیرد.
• Stable Diffusion (مدل تولید تصویر از متن)
  Stable Diffusion یک مدل متن به تصویر است که می‌تواند تصاویر واقعی با وضوح بالا تولید کند. این مدل در سال ۲۰۲۲ منتشر شد و دارای یک مدل انتشار است که از فناوری‌های نویز‌دار کردن و حذف نویز برای یادگیری نحوه ایجاد تصاویر استفاده می‌کند.این مدل کوچکتر از فناوری‌های انتشار رقیب مانند DALL-E 2 است، به این معنی که نیازی به زیرساخت محاسباتی گسترده ندارد. Stable Diffusion روی یک کارت گرافیک معمولی یا حتی روی یک گوشی هوشمند با پلتفرم Snapdragon Gen2 اجرا می‌شود.
• BLOOM (مدل چندزبانه با قابلیت تولید متن و کد)
  BLOOM یک مدل چندزبانه (multilingual) با معماری مشابه GPT-3 است. این مدل در سال ۲۰۲۲ به عنوان یک تلاش مشترک با مشارکت بیش از هزار دانشمند و تیم Hugging Space توسعه یافت. این مدل دارای ۱۷۶ میلیارد پارامتر است و آموزش آن سه و نیم ماه با استفاده از ۳۸۴ GPU Nvidia A100 طول کشید. اگرچه checkpoint این مدب به ۳۳۰ گیگابایت فضای ذخیره‌سازی نیاز دارد، اما روی یک کامپیوتر مستقل با ۱۶ گیگابایت RAM اجرا می‌شود. BLOOM می‌تواند متن به ۴۶ زبان ایجاد کند و به ۱۳ زبان برنامه‌نویسی کد بنویسد.
• Hugging Face (پلتفرم توسعه و به‌اشتراک‌گذاری مدل‌های یادگیری ماشین)
  Hugging Face یک پلتفرم است که ابزارهای متن‌باز برای ساخت و استقرار مدل‌های یادگیری ماشین ارائه می‌دهد. به عنوان یک کامیونیتی (community hub)  عمل می‌کند و توسعه‌دهندگان می‌توانند مدل‌ها و مجموعه داده‌ها را به اشتراک بگذارند و سرچ کنند. عضویت برای افراد رایگان است، اگرچه اشتراک‌های پولی سطوح بالاتری از دسترسی را ارائه می‌دهند. شما دسترسی عمومی به تقریباً ۲۰۰,۰۰۰ مدل و ۳۰,۰۰۰ مجموعه داده دارید.

چالش‌های مدل‌های پایه

مدل‌های foundation می‌توانند به طور منسجم به prompt‌ها درباره موضوعاتی که به طور صریح روی آنها آموزش ندیده‌اند، پاسخ دهند. اما آنها نقاط ضعف خاصی دارند. در اینجا برخی از چالش‌های پیش روی مدل‌های foundation آمده است:

1. نیاز به زیرساخت قوی:
   توسعه مدل‌های پایه از ابتدا بسیار پرهزینه و زمان‌بر است. و به منابع عظیمی نیاز دارد، و آموزش ممکن است ماه‌ها طول بکشد.
2. ادغام در سیستم‌های نرم‌افزاری – برای کاربرد عملی، این مدل‌ها باید با ابزارهای مهندسی prompt و fine-tuning یکپارچه شوند.
3. عدم درک عمیق – مدل‌ها ممکن است پاسخ‌های دستوری و ظاهراً صحیح، اما بدون درک واقعی از مفهوم پرسش ارائه دهند. مدل‌های foundation در درک زمینه یک prompt مشکل دارند. و آنها از نظر اجتماعی یا روانشناختی آگاه نیستند.
4. پاسخ‌های نادرست یا نامناسب – برخی پاسخ‌ها ممکن است اشتباه، نامناسب یا مغرضانه باشند.
5. تعصب و سوگیری داده‌ها – اگر مجموعه داده‌های آموزشی حاوی محتوای نامناسب یا جانبدارانه باشند، مدل این سوگیری را به ارث خواهد برد.
   تعصب یک احتمال مشخص است زیرا مدل‌ها می‌توانند گفتار نفرت‌انگیز و زیرمتن‌های نامناسب را از مجموعه داده‌های آموزشی دریافت کنند. برای جلوگیری از این مسئله، توسعه‌دهندگان باید داده‌های آموزشی را با دقت فیلتر کرده و هنجارهای خاصی را در مدل‌های خود کدگذاری کنند.

منبع: https://aws.amazon.com/what-is/foundation-models/