تفاوت انتقال یادگیری و فاین‌تیونینگ در یادگیری عمیق

تفاوت‌های کلیدی بین فاین‌تیونینگ و انتقال یادگیری

۱. محدوده آموزش

• انتقال یادگیری (Transfer Learning): معمولاً، فقط لایه‌های نهایی روی وظیفه جدید آموزش می‌بینند، در حالی که بقیه مدل از پیش آموزش‌دیده freeze می‌شود. ایده این است که از ویژگی‌های آموخته‌شده از مدل از پیش آموزش‌دیده استفاده کرده و آن‌ها را برای وظیفه جدید سازگار کنیم.
• فاین‌تیونینگ (Fine-Tuning): شامل تنظیم وزن‌های کل مدل (یا حداقل زیرمجموعه‌ای از لایه‌ها) است، که به این معنی است که مدل فرصت یادگیری بیشتر و تخصصی شدن در وظیفه جدید را دارد. این امکان را می‌دهد که هم لایه‌های استخراج ویژگی و هم لایه‌های طبقه‌بندی با مجموعه داده هدف سازگار شوند.

۲. نیازمندی‌های داده

• انتقال یادگیری: از آنجا که مدل از پیش آموزش‌دیده قبلاً ویژگی‌های عمومی مفیدی را ثبت کرده است، انتقال یادگیری می‌تواند حتی زمانی که مجموعه داده جدید کوچک است، بسیار مؤثر باشد. شما فقط نیاز به بازآموزی لایه‌های نهایی دارید، که معمولاً به داده بسیار کمتری نیاز دارد.
• فاین‌تیونینگ: فاین‌تیونینگ ممکن است به داده بیشتری نسبت به انتقال یادگیری نیاز داشته باشد زیرا مدل به طور کامل‌تری تنظیم می‌شود. در نتیجه، ممکن است برای دستیابی به عملکرد بهینه بدون بیش‌برازش (overfitting) به مجموعه داده نسبتاً بزرگتری نیاز داشته باشید.

۳. هزینه محاسباتی

• انتقال یادگیری: از آنجا که فقط چند لایه آخر بازآموزی می‌شوند، انتقال یادگیری از نظر محاسباتی کم هزینه‌تر و سریع‌تر است. این آن را برای موقعیت‌هایی که منابع محدود هستند، ایده‌آل می‌سازد.
• فاین‌تیونینگ: فاین‌تیونینگ می‌تواند از نظر محاسباتی پرهزینه‌تر باشد زیرا کل مدل (یا چندین لایه) بازآموزی می‌شود، که زمان آموزش و نیازهای محاسباتی را افزایش می‌دهد.

۴. سازگاری‌پذیری

• انتقال یادگیری: مدل بیشتر احتمال دارد ویژگی‌های عمومی که از مجموعه داده اصلی یاد گرفته را حفظ کند، و توانایی آن برای سازگاری با وظایف جدید ممکن است به آنچه می‌تواند از تغییر لایه‌های نهایی یاد بگیرد، محدود شود.
• فاین‌تیونینگ: فاین‌تیونینگ انعطاف‌پذیری بیشتری برای سازگاری با وظیفه هدف ارائه می‌دهد زیرا لایه‌های بیشتری تنظیم می‌شوند. این به‌ویژه زمانی مفید است که وظیفه منبع و وظیفه هدف کاملاً متفاوت باشند، یا زمانی که وظیفه جدید ظرافت‌های خاصی دارد که به رفتار مدل سفارشی‌تر نیاز دارد.

۵. خطر بیش‌برازش

• انتقال یادگیری: از آنجا که مدل فقط لایه‌های نهایی خود را به‌روزرسانی می‌کند، خطر بیش‌برازش زمانی که مجموعه داده کوچکتری دارید، کمتر است.
• فاین‌تیونینگ: فاین‌تیونینگ می‌تواند خطر بیش‌برازش را افزایش دهد، به‌ویژه اگر مجموعه داده کوچک باشد و مدل پارامترهای بسیار زیادی برای تنظیم داشته باشد. تکنیک‌های regularization مانند حذف تصادفی (dropout) یا توقف زودهنگام (early stopping) ممکن است برای جلوگیری از بیش‌برازش ضروری باشند.