Regularization

Regularization مجموعه‌ای از تکنیک‌ها در یادگیری ماشین، شبکه‌های عصبی و یادگیری عمیق است که با هدف جلوگیری از بیش‌برازش (overfitting) مدل به داده‌های آموزشی استفاده می‌شود. بیش‌برازش زمانی رخ می‌دهد که مدل به جای یادگیری الگوهای کلی و تعمیم‌پذیر، جزئیات و نویزهای خاص داده‌های آموزشی را یاد می‌گیرد، که باعث کاهش عملکرد مدل بر روی داده‌های جدید می‌شود.

Regularization با اضافه کردن یک اصطلاح جریمه (penalty term) به تابع هزینه، پیچیدگی مدل را کاهش داده و مدل را به سمت ساده‌تر شدن سوق می‌دهد. این اصطلاح جریمه معمولاً بر اساس اندازه وزن‌های مدل محاسبه می‌شود. دو روش رایج Regularization عبارتند از:

1.  L1 Regularization: در این روش، مجموع قدرمطلق وزن‌ها به عنوان جریمه به تابع هزینه اضافه می‌شود. این روش باعث می‌شود بسیاری از وزن‌ها به صفر میل کنند، که می‌تواند به انتخاب ویژگی‌های مهم منجر شود.
2.  L2 Regularization: در این روش، مجموع مربع وزن‌ها به عنوان جریمه به تابع هزینه اضافه می‌شود. این روش باعث می‌شود وزن‌ها به مقادیر کوچکتری میل کنند، اما به ندرت به صفر می‌رسند.

این تکنیک‌ها به مدل کمک می‌کنند تا تعمیم‌پذیری بهتری بر روی داده‌های جدید داشته باشد و از پیچیدگی بی‌مورد مدل جلوگیری کنند.