Weight Decay یا کاستن وزن
ارسال شده توسط مدیریت سایت
1403/03/08
136 بازدید
weight-decay یا کاستن وزن، یا L2 Regularization، یک تکنیک Regularization است که به وزنهای شبکه عصبی اعمال میشود. در این روش، ما یک تابع هزینه را که ترکیبی از تابع هزینه اصلی و یک جریمه بر
L2 Norm وزنها است به حداقل میرسانیم:
که در آن مقداری است که قدرت جریمه را تعیین میکند (ترغیب به داشتن وزنهای کوچکتر).
weight-decay میتواند مستقیماً در قانون بهروزرسانی وزنها گنجانده شود، به جای اینکه فقط به طور ضمنی از طریق تعریف در تابع هدف مشخص شود. اغلب weight-decay به پیادهسازی اشاره دارد که در آن مستقیماً در قانون بهروزرسانی وزنها مشخص میشود (در حالی که L2 Regularization معمولاً پیادهسازی است که در تابع هدف مشخص میشود).
منبع تصویر: یادگیری عمیق، گودفلو و همکاران
منبع: https://paperswithcode.com/method/weight-decay
مطالب زیر را حتما مطالعه کنید
یادگیری عمیق (دیپ لرنینگ) چیست؟
یادگیریعمیق یا دیپلرنینگ، زیر شاخهای از یادگیریماشین، به رایانهها میآموزد...
همه چیز درباره توابع فعالیت (Activation Functions) در شبکههای عصبی و مشکل محو شدگی گرادیان
در دنیای یادگیری عمیق و شبکههای عصبی، توابع فعالیت (Activation...
Federated Learning: راهی نوین برای حفظ حریم خصوصی در یادگیری ماشین
در دنیای امروز، با توجه به پیشرفتهای چشمگیر دیپلرنینگ و...
یادگیری عمیق با تنسورفلو و کراس
یادگیری عمیق یکی از زیرشاخههای یادگیری ماشین است که به...
مکانیزمهای توجه در یادگیری عمیق چیستند؟
مکانیزم توجه یکی از ابداعات بنیادی در هوشمصنوعی و یادگیریماشین...
Regularization
Regularization مجموعهای از تکنیکها در یادگیری ماشین، شبکههای عصبی و...
دیدگاهتان را بنویسید