Weight Decay یا کاستن وزن

weight-decay یا کاستن وزن، یا L2 Regularization، یک تکنیک Regularization است که به وزن‌های شبکه عصبی اعمال می‌شود. در این روش، ما یک تابع هزینه را که ترکیبی از تابع هزینه اصلی و یک جریمه بر

L2 Norm وزن‌ها است به حداقل می‌رسانیم:

$L_{new}\left(w\right) = L_{original}\left(w\right) + \lambda{w^{T}w}$

که در آن $\lambda$ مقداری است که قدرت جریمه را تعیین می‌کند (ترغیب به داشتن وزن‌های کوچکتر).

weight-decay می‌تواند مستقیماً در قانون به‌روزرسانی وزن‌ها گنجانده شود، به جای اینکه فقط به طور ضمنی از طریق تعریف در تابع هدف مشخص شود. اغلب weight-decay به پیاده‌سازی اشاره دارد که در آن مستقیماً در قانون به‌روزرسانی وزن‌ها مشخص می‌شود (در حالی که L2 Regularization معمولاً پیاده‌سازی است که در تابع هدف مشخص می‌شود).