واحدهای اساسی دیپ لرنینگ و تاریخ معرفی آنها

تاریخ هوش مصنوعی فراز و نشیب های زیادی را طی کرده تا به دیپ لرنینگ امروزی رسیدیم. در اینجا برخی از اساسی‌ترین واحدهای محاسباتی که امروزه در یادگیری عمیق (دیپ لرنینگ) از آنها برای ساخت شبکه‌هایمان استفاده می کنیم آورده شده اند. این واحدهای حیاتی، به جد از تاثیر گذارترین مفاهیم دیپ لرنینگ امروزه است.

اگر به تاریخچه یادگیری عمیق علاقه دارید، توصیه می کنم این مقالات را بخوانید:

• سال 1989: لایه‌ی کانولوشنالی یا Convolution layer : مقاله
• سال 1997: لایه‌ی LSTM: مقاله
• سال 2010: روش مقداردهی اولیه وزنهای Glorot یا Glorot weight initialization technique: مقاله
• سال 2011: تابع فعالیت ReLU یا ReLU activation function: مقاله
• سال 2012: روش بهینه سازی AdaDelta یا AdaDelta optimizer: مقاله
• سال 2012: روش جست و جوی تصادفی برای هایپرپارامترها یا Random search for Hyper-Parameter Optimization: مقاله
• سال 2012: Feature dropout: مقاله
• سال 2012: Transfer learning: مقاله‌ی Deep Learning of Representations for Unsupervised and Transfer Learning
• سال 2013: Word2Vec Embedding: مقاله‌ی Efficient Estimation of Word Representations in Vector Space
• سال 2013: Maxout network: مقاله
• سال 2014: لایه‌ی GRU: مقاله‌ی On the Properties of Neural Machine Translation: Encoder–Decoder Approaches
• سال 2014: روش بهینه‌سازی Adam یا Adam Optimizer: مقاله
• سال 2014: لایه‌ی Dropout: مقاله
• سال 2014: GloVe Embedding: مقاله
• سال 2015: Batch normalization: مقاله
• سال 2015: PReLU: مقاله
• سال 2016: Layer normalization: مقاله
• سال 2017: Self Attention layer: مقاله

اگر به نظرتون چیزی جا افتاده حتما تو کامنتها اضافه کنید