الگوریتمهای بهینه سازی شبکه عصبی

این ویدیوها توسط Andrew Ng، استادیار دانشگاه استنفورد، تدریس شده‌اند. 

Andrew Ng در این ویدیوها، الگوریتم‌های بهینه‌سازی را به گونه‌ای توضیح می‌دهد که درک آن‌ها برای افراد مبتدی نیز آسان باشد. او از مثال‌های عملی و تصاویر برای توضیح مفاهیم پیچیده استفاده می‌کند. این کار باعث می‌شود که یادگیری الگوریتم‌های بهینه‌سازی برای افراد مبتدی نیز آسان و لذت‌بخش باشد.

در ویدیوی اول، مینی‌بچ گرادیان نزولی (Mini-batch Gradient Descent) معرفی می‌شود. این الگوریتم یک نسخه بهبود یافته از گرادیان نزولی معمولی است که در آن، به جای استفاده از کل مجموعه داده در هر مرحله، از یک زیرمجموعه کوچک (مینی‌بچ) استفاده می‌شود. این کار باعث افزایش سرعت و کارایی الگوریتم می‌شود.

در ویدیوی دوم، به بررسی عمیق‌تری از مینی‌بچ گرادیان نزولی پرداخته می‌شود. در این ویدیو، نحوه محاسبه گرادیان برای مینی‌بچ‌ها توضیح داده می‌شود. همچنین، تفاوت‌های بین مینی‌بچ گرادیان نزولی، گرادیان نزولی دسته‌ای (Batch Gradient Descent) و گرادیان نزولی تصادفی (Stochastic Gradient Descent) بررسی می‌شود.

در ویدیوی سوم، میانگین‌های وزن‌دار نمایی (Exponentially Weighted Averages) معرفی می‌شود. این روش برای محاسبه میانگین متحرک از داده‌ها استفاده می‌شود. این کار می‌تواند برای کاهش نوسانات داده‌ها و بهبود دقت پیش‌بینی‌ها مفید باشد.

در ویدیوی چهارم، به بررسی عمیق‌تری از میانگین‌های وزن‌دار نمایی پرداخته می‌شود. در این ویدیو، نحوه محاسبه میانگین‌های وزن‌دار نمایی با استفاده از فرمول‌های ریاضی توضیح داده می‌شود. همچنین، کاربردهای میانگین‌های وزن‌دار نمایی در یادگیری ماشین بررسی می‌شود.

در ویدیوی پنجم، تصحیح سوگیری در میانگین‌های وزن‌دار نمایی (Bias Correction in Exponentially Weighted Averages) توضیح داده می‌شود. این روش می‌تواند دقت محاسبه میانگین‌های وزن‌دار نمایی را بهبود بخشد.

در ویدیوی ششم، گرادیان نزولی با حرکت (Gradient Descent with Momentum) معرفی می‌شود. این الگوریتم با استفاده از یک مقدار حرکت (Momentum) سعی می‌کند از نوسانات گرادیان نزولی جلوگیری کند. این کار می‌تواند باعث بهبود دقت و سرعت الگوریتم شود.

در ویدیوی هفتم، RMSProp معرفی می‌شود. این الگوریتم یک روش بهبود یافته از گرادیان نزولی با حرکت است که از یک وزن متغیر برای محاسبه حرکت استفاده می‌کند. این کار می‌تواند باعث بهبود دقت الگوریتم در مناطق ناهموار تابع هدف شود.

در ویدیوی هشتم، ADAM معرفی می‌شود. این الگوریتم یک روش ترکیبی از گرادیان نزولی با حرکت و RMSProp است که می‌تواند دقت و سرعت الگوریتم را بهبود بخشد.

در ویدیوی نهم، کاهش نرخ یادگیری (Learning Rate Decay) توضیح داده می‌شود. این روش با کاهش تدریجی نرخ یادگیری در طول فرآیند آموزش، می‌تواند از نوسانات الگوریتم جلوگیری کند و به آن کمک کند تا به یک نقطه بهینه پایدار برسد.

در ویدیوی دهم، مشکل بهینه‌های محلی (The Problem of Local Optima) بررسی می‌شود. این مشکل یکی از چالش‌های اصلی در یادگیری ماشین است. بهینه‌های محلی نقاطی هستند که در آنها گرادیان تابع هدف برابر با صفر است، اما لزوماً نقاط بهینه جهانی نیستند. الگوریتم‌های بهینه‌سازی ممکن است به این بهینه‌های محلی گیر کنند و نتوانند به نقاط بهینه جهانی برسند.