Regularization
ارسال شده توسط مدیریت سایت
1403/03/08
198 بازدید
Regularization مجموعهای از تکنیکها در یادگیری ماشین، شبکههای عصبی و یادگیری عمیق است که با هدف جلوگیری از بیشبرازش (overfitting) مدل به دادههای آموزشی استفاده میشود. بیشبرازش زمانی رخ میدهد که مدل به جای یادگیری الگوهای کلی و تعمیمپذیر، جزئیات و نویزهای خاص دادههای آموزشی را یاد میگیرد، که باعث کاهش عملکرد مدل بر روی دادههای جدید میشود.
Regularization با اضافه کردن یک اصطلاح جریمه (penalty term) به تابع هزینه، پیچیدگی مدل را کاهش داده و مدل را به سمت سادهتر شدن سوق میدهد. این اصطلاح جریمه معمولاً بر اساس اندازه وزنهای مدل محاسبه میشود. دو روش رایج Regularization عبارتند از:
- L1 Regularization: در این روش، مجموع قدرمطلق وزنها به عنوان جریمه به تابع هزینه اضافه میشود. این روش باعث میشود بسیاری از وزنها به صفر میل کنند، که میتواند به انتخاب ویژگیهای مهم منجر شود.
- L2 Regularization: در این روش، مجموع مربع وزنها به عنوان جریمه به تابع هزینه اضافه میشود. این روش باعث میشود وزنها به مقادیر کوچکتری میل کنند، اما به ندرت به صفر میرسند.
این تکنیکها به مدل کمک میکنند تا تعمیمپذیری بهتری بر روی دادههای جدید داشته باشد و از پیچیدگی بیمورد مدل جلوگیری کنند.
مطالب زیر را حتما مطالعه کنید
یادگیری نیمهنظارتی یا Semi-supervised learning
یادگیری نیمهنظارتشده یا نیمه نظارتی ( به انگلیسی Semi-supervised learning)...
یادگیری عمیق (دیپ لرنینگ) چیست؟
یادگیریعمیق یا دیپلرنینگ، زیر شاخهای از یادگیریماشین، به رایانهها میآموزد...
Federated Learning: راهی نوین برای حفظ حریم خصوصی در یادگیری ماشین
در دنیای امروز، با توجه به پیشرفتهای چشمگیر دیپلرنینگ و...
یادگیری عمیق با تنسورفلو و کراس
یادگیری عمیق یکی از زیرشاخههای یادگیری ماشین است که به...
مکانیزمهای توجه در یادگیری عمیق چیستند؟
مکانیزم توجه یکی از ابداعات بنیادی در هوشمصنوعی و یادگیریماشین...
Weight Decay یا کاستن وزن
weight-decay یا کاستن وزن، یا L2 Regularization، یک تکنیک Regularization...
دیدگاهتان را بنویسید