واحدهای اساسی دیپ لرنینگ و تاریخ معرفی آنها
ارسال شده توسط علیرضا اخوان پور
1401/08/27
2.47k بازدید

تاریخ هوش مصنوعی فراز و نشیب های زیادی را طی کرده تا به دیپ لرنینگ امروزی رسیدیم. در اینجا برخی از اساسیترین واحدهای محاسباتی که امروزه در یادگیری عمیق (دیپ لرنینگ) از آنها برای ساخت شبکههایمان استفاده می کنیم آورده شده اند. این واحدهای حیاتی، به جد از تاثیر گذارترین مفاهیم دیپ لرنینگ امروزه است.
اگر به تاریخچه یادگیری عمیق علاقه دارید، توصیه می کنم این مقالات را بخوانید:
- سال 1989: لایهی کانولوشنالی یا Convolution layer : مقاله
- سال 1997: لایهی LSTM: مقاله
- سال 2010: روش مقداردهی اولیه وزنهای Glorot یا Glorot weight initialization technique: مقاله
- سال 2011: تابع فعالیت ReLU یا ReLU activation function: مقاله
- سال 2012: روش بهینه سازی AdaDelta یا AdaDelta optimizer: مقاله
- سال 2012: روش جست و جوی تصادفی برای هایپرپارامترها یا Random search for Hyper-Parameter Optimization: مقاله
- سال 2012: Feature dropout: مقاله
- سال 2012: Transfer learning: مقالهی Deep Learning of Representations for Unsupervised and Transfer Learning
- سال 2013: Word2Vec Embedding: مقالهی Efficient Estimation of Word Representations in Vector Space
- سال 2013: Maxout network: مقاله
- سال 2014: لایهی GRU: مقالهی On the Properties of Neural Machine Translation: Encoder–Decoder Approaches
- سال 2014: روش بهینهسازی Adam یا Adam Optimizer: مقاله
- سال 2014: لایهی Dropout: مقاله
- سال 2014: GloVe Embedding: مقاله
- سال 2015: Batch normalization: مقاله
- سال 2015: PReLU: مقاله
- سال 2016: Layer normalization: مقاله
- سال 2017: Self Attention layer: مقاله
اگر به نظرتون چیزی جا افتاده حتما تو کامنتها اضافه کنید
مطالب زیر را حتما مطالعه کنید
آموزش PyG (pytorch-geometric) برای کار با داده های گرافی
امروزه پیشرفتهای روز افزون هوش مصنوعی در زمینه های مختلف...
پیشبینی ترافیک با روشهای پیشرفته شبکه عصبی گرافی در گوگل
گوگل دیپمایند توانسته است مزایای هوشمصنوعی را به لطفا شبکه...
ChatGPT چگونه ساخته شده است؟
ChatGPT چیست و چگونه ساخته شده؟! ما همه درباره چتجیپیتی،...
کاربردهای شبکههای عصبی گرافی (Graph Neural Networks)
شبکههای عصبی گرافی (GNN)، که به عنوان یک روش قدرتمند...
منابع آموزشی برای شبکه های عصبی گرافی (GNN) – بخش اول
شبکه های عصبی گرافی یا Graph Neural Network (به اختصار...
تفاوت بینایی کامپیوتر با بینایی ماشین
خلاصه - تفاوت بینایی کامپیوتر و بینایی ماشین به عبارت...
دیدگاهتان را بنویسید